WO2021024830A1 - 情報処理装置、情報処理方法、調理ロボット、調理方法、および調理器具 - Google Patents

情報処理装置、情報処理方法、調理ロボット、調理方法、および調理器具 Download PDF

Info

Publication number
WO2021024830A1
WO2021024830A1 PCT/JP2020/028639 JP2020028639W WO2021024830A1 WO 2021024830 A1 WO2021024830 A1 WO 2021024830A1 JP 2020028639 W JP2020028639 W JP 2020028639W WO 2021024830 A1 WO2021024830 A1 WO 2021024830A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
serving
cooking
plating
new
Prior art date
Application number
PCT/JP2020/028639
Other languages
English (en)
French (fr)
Inventor
藤田　雅博
ミカエル シェグフリード シュプランガー
辰志 梨子田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to KR1020227001598A priority Critical patent/KR20220039707A/ko
Priority to US17/628,452 priority patent/US20220258345A1/en
Priority to JP2021537230A priority patent/JPWO2021024830A1/ja
Priority to EP20849834.5A priority patent/EP4011255A4/en
Priority to CN202080055844.XA priority patent/CN114269213A/zh
Publication of WO2021024830A1 publication Critical patent/WO2021024830A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23L—FOODS, FOODSTUFFS, OR NON-ALCOHOLIC BEVERAGES, NOT COVERED BY SUBCLASSES A21D OR A23B-A23J; THEIR PREPARATION OR TREATMENT, e.g. COOKING, MODIFICATION OF NUTRITIVE QUALITIES, PHYSICAL TREATMENT; PRESERVATION OF FOODS OR FOODSTUFFS, IN GENERAL
    • A23L5/00—Preparation or treatment of foods or foodstuffs, in general; Food or foodstuffs obtained thereby; Materials therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0045—Manipulators used in the food industry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J43/00—Implements for preparing or holding food, not provided for in other groups of this subclass
    • A47J43/04—Machines for domestic use not covered elsewhere, e.g. for grinding, mixing, stirring, kneading, emulsifying, whipping or beating foodstuffs, e.g. power-driven
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2643—Oven, cooking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/50—Machine tool, machine tool null till machine tool work handling
    • G05B2219/50391—Robot

Definitions

  • This technology is particularly related to information processing devices, information processing methods, cooking robots, cooking methods, and cooking utensils that enable the generation of new servings of dishes.
  • serving is a way to express taste, appearance, story, etc.
  • Restaurant chefs for example, are constantly required to create new presentations.
  • This technology was made in consideration of such a situation, and makes it possible to generate a new presentation of dishes.
  • the information processing device of the first aspect of the present technology is the foodstuff information which is the information about the foodstuff used for serving the dish, the serving operation information which is the information about the serving operation of the cook, and the cooking tool used for serving. It is provided with a serving generation unit that generates new serving information, which is information about new serving, based on serving information including cooking tool information, which is information about new serving.
  • the cooking robot on the second side and the cooking utensil on the third side of the present technology are the foodstuff information which is the information about the foodstuff used for serving the food, the serving operation information which is the information about the serving operation of the cook, and the serving operation information.
  • Plating refers to the serving of food. Cooking is completed by arranging cooked ingredients.
  • the new plating means a plating different from the plating prepared on the generation side of the plating.
  • the ingredients used for serving are different Plating
  • the serving position is different Plating
  • the color is different Plating
  • the tableware used for serving is different Plating
  • the order of serving is different, and so on.
  • the new Plating includes Plating in which at least one of the elements that make up the arrangement of is different.
  • the ingredients used for serving are not only ingredients such as meat and fish that have been cooked by heating or heating, but also vegetables cut with a kitchen knife and ingredients such as herbs and tomatoes themselves. included. Seasonings such as salt and pepper, and liquids such as sauces made by mixing multiple seasonings are also included in the ingredients used for serving.
  • the ingredients used for serving include all the elements that make up the final dish.
  • Cooking means the product that is completed after cooking. Cooking means the process of cooking and the act (work) of cooking.
  • this technology creates new plating for cooking and reproduces it in a cooking robot.
  • the cooking robot completes the dish by cooking according to the description of the recipe data prepared for each dish and serving the ingredients produced by the cooking.
  • FIG. 1 is a diagram showing an example of presentation of Plating by an information processing apparatus according to an embodiment of the present technology.
  • the situation shown in the upper part of Fig. 1 is the situation where the chef who is cooking is thinking about plating the food.
  • the information processing device 1 which is a tablet terminal is placed next to the chef who is cooking.
  • the information processing device 1 has a function of presenting new plating in response to a request from the chef.
  • the presentation of Plating is made in response to specifying a Plating subjective evaluation, which is a subjective evaluation of the appearance of Plating, such as "bright and gentle image”.
  • FIG. 2 is a diagram showing an example of a screen used for specifying the Plating subjective evaluation.
  • the plating subjective evaluation designation screen shown in FIG. 2 is displayed on the display of the information processing apparatus 1 when the chef performs a predetermined operation.
  • the radar chart 11 is displayed substantially in the center of the designated screen.
  • the radar chart 11 is a radar chart used for designating the Plating subjective evaluation.
  • Radar chart 11 is a radar chart centered on nine types of elements: brightness, gentleness, roughness, simplicity, vividness, size, temperature, weather, and season.
  • the Plating subjective evaluation is represented by nine factors such as brightness, tenderness, and roughness.
  • the chef specifies the value of each element by directly touching the position of each element on the radar chart 11 with a finger.
  • the Plating subjective evaluation may not be specified using the radar chart as shown in FIG. 2, but may be specified using voice.
  • the information processing apparatus 1 performs voice recognition, language analysis, and the like to specify the meaning of the chef's remarks.
  • Plating subjective evaluation is not specified by specifying the value on the radar chart, but the value of each element may be directly input by operating the keyboard or the like.
  • the plating image image which is the plating image imaged by the chef.
  • FIG. 3 is a diagram showing an example of a screen used for designating a Plating image.
  • a plurality of sample images serving as plating samples are displayed on the plating image image designation screen.
  • three sample images P1 to P3 are displayed. More sample images are displayed on the specified screen by scrolling.
  • FIG. 4 is a diagram showing an example of a sample image.
  • attribute information is set for each sample image.
  • the attribute information includes keywords representing the characteristics of Plating and subjective evaluation information of Plating.
  • the subjective evaluation included in the attribute information is a subjective evaluation when the chef himself or many third parties see the plating of the sample image.
  • the information processing apparatus 1 when the plating requested by the chef is specified as described above, the information processing apparatus 1 generates the plating corresponding to the chef's request, as shown in balloons # 2 and # 3. Presented to the chef.
  • Plating is presented by displaying an image showing Plating.
  • the chef is presented with how to realize the plating, such as "Put the strawberry sauce in the sauce dispenser ".
  • the presentation of Plating to the chef is performed using voice or screen display.
  • FIG. 5 is a diagram showing an example of input / output to the information processing device 1.
  • a Plating generation model is prepared in the information processing device 1.
  • the Plating generative model is a prediction model that outputs a new Plating (New Plating) by inputting the Plating subjective evaluation and the Plating image image.
  • the Plating generation model is generated by machine learning such as deep learning, and is prepared in the information processing apparatus 1.
  • the chef can receive the presentation of Plating generated using such a Plating generation model, try Plating according to the presentation, or get a hint from it and think of a new Plating.
  • the information processing device 1 can be said to be a new Plating itself or a Plating generator that presents information that serves as a hint for new Plating to the chef.
  • the Plating generation model as shown in FIG. 5 may be prepared not in the information processing apparatus 1 but in a server on the Internet. In this case, a new plating is generated in the server on the Internet, and the generated plating information is presented to the chef by the information processing apparatus 1.
  • FIG. 6 is a diagram showing a state of collection of learning data.
  • various devices for measuring the chef's movements are provided around the kitchen where the chef cooks.
  • cameras 41-1 and 41-2 are installed so that the angle of view is directed to the chef who is cooking.
  • the chef's movements are analyzed based on the images taken by the cameras 41-1 and 41-2.
  • the images taken by the cameras 41-1 and 41-2 may be moving images or still images.
  • Various sensors such as acceleration sensor, position sensor, temperature sensor, and distance sensor are attached to the chef's body. The analysis of chef's movements is also based on the sensor data measured by those sensors.
  • the analysis of the chef's movement is performed by the learning server 51 connected to the chef's device via the Internet.
  • the learning server 51 receives the information transmitted from the respective sensors including the cameras 41-1 and 41-2, and analyzes the chef's movement.
  • the chefs to be analyzed for movement are not only the chefs who receive the presentation of Plating, but also many other chefs.
  • the Plating generative model is trained based on the actions of various chefs.
  • the measurement of the chef's movements like this is continued until, for example, the cooking is completed.
  • a plurality of cooking processes are required to complete one dish, and the operation of each process is analyzed.
  • FIG. 7 is a diagram showing an example of a flow of generating cooking operation information and plating operation information.
  • each operation performed in the cooking steps # 1 to # N is measured (sensing), and cooking operation information # 1 to # N, which is information on the operation of each cooking process, is generated based on the measurement result. Will be done.
  • plating operation information which is information on the operation of the plating process is generated.
  • the cooking operation information includes, for example, food material information and operation information.
  • Ingredient information is information about the ingredients used by the chef in the cooking process.
  • Information about foodstuffs includes information indicating the type of foodstuff, the amount of foodstuff, the size of foodstuff, and the like.
  • the ingredient information when a chef cooks with carrots in a certain cooking process, the ingredient information includes information indicating that the carrots have been used. Ingredient information also includes information representing various foods used by the chef as ingredients for cooking, such as water and seasonings. Food is a variety of things that a person can eat.
  • the ingredients used by the chef are recognized, for example, by analyzing the images of the chef who is cooking with the cameras 41-1 and 41-2. Food information is generated based on the recognition result of food.
  • the operation information is information on the movement of the chef in the cooking process.
  • Information about the chef's movements includes information about the chef's body movements at each time, including the type of cooking tool used by the chef, hand movements, and the chef's standing position at each time.
  • the operation information when a chef cuts a certain food with a kitchen knife, the information indicating that the kitchen knife was used as a cooking tool, the cutting position, the number of cuttings, the force of cutting, the angle, the speed, etc. are the operation information. include.
  • FIG. 8 is a diagram showing an example of information constituting the plating operation information.
  • the plating operation information includes information representing the ingredients used for plating, information on the movement of the chef in the plating process, information on the tools used for plating, information on the arrangement of ingredients, and information used for plating. Contains information about the plated tableware.
  • Plating operation information is composed of these information at each time of the plating process.
  • Plating operation information is time-series data representing each of foodstuff, movement, tool, arrangement, and tableware.
  • FIG. 9 is a diagram showing an example of operation at the start time of the plating process.
  • the coordinates representing the planar position of the tableware and the layer representing the three-dimensional position are specified.
  • the tableware with a predetermined ID which is a circular flat plate, was used as the tableware used for plating.
  • FIG. 10 is a diagram showing an example of operation at time t1.
  • the operation as shown on the left side of FIG. 10 is performed at the time t1 after the lapse of a predetermined time from the time t0.
  • the strawberry sauce extruded in a dot shape is arranged in a ring shape so as to surround the center of the plate.
  • the chef's movements such as shifting the position of the right hand are specified without changing the ingredients, tools, and tableware.
  • the position of the fourth dot is specified as the arrangement of Plating.
  • FIG. 11 is a diagram showing an example of operation at time t2.
  • the chef's actions are to hold the brush and move the right hand holding the brush to the dot position at the reference position of the plate, without changing the ingredients and tableware.
  • the behavior such as is specified. It is also specified that the brush T2 was used as the tool used for plating.
  • the position of the first dot is specified as the arrangement of Plating.
  • FIG. 12 is a diagram showing an example of operation at time t3.
  • each of the dot-shaped strawberry sauces is stretched toward the center of the dish with the brush T2.
  • FIG. 13 is a diagram showing an example of operation at time t4.
  • Turner T3 was used as the tool used for Plating.
  • the position of the center of the plate is specified as the arrangement of Plating.
  • the position where the steak meat is placed is specified as layer 2 because it is the position of the layer above layer 1 where the strawberry sauce is placed.
  • FIG. 14 is a diagram showing an example of operation at time t5.
  • the tool is not used as the tool used for plating.
  • the position near the steak meat placed in the center of the plate is specified.
  • Plating operation information consisting of time-series data representing each of the above-mentioned ingredients, movements, tools, arrangements, and tableware related to plating is generated on the learning server 51 based on images taken during the plating process.
  • the Plating operation information and the cooking operation information generated based on the cooking process before the Plating process are linked, and the cooking data of each dish is generated.
  • FIG. 15 is a diagram showing an example of a cooking DB.
  • the new Plating is a Plating motion including various information such as ingredients, motions, tools, arrangements, and tableware. It will be generated based on the information.
  • FIG. 16 is a diagram showing an example of information used for learning a Plating generative model.
  • Plating operation information S (t), subjective evaluation information E (T), and plating result information V (T) are used for learning the Plating generation model.
  • Plating operation information S (t) is the time series data of the above-mentioned Plating operation information.
  • Subjective evaluation information E (T) is information representing the Plating subjective evaluation of a person who has seen the finished dish after the plating process is completed.
  • Time T represents the time when the Plating process was completed.
  • Plating result information V (T) is an image of the dish completed after the plating process is completed.
  • the Plating operation information S (t), the subjective evaluation information E (T), and the Plating result information V (T) of each dish are linked and managed.
  • the Plating generative model is a prediction model that outputs a new Plating by inputting the Plating subjective evaluation and the Plating image image.
  • FIG. 17 is a diagram showing an example of learning.
  • the plating operation information S (t), the subjective evaluation information E (T), and the plating result information V (T) are input to the learner 61 that trains the plating generation model. ..
  • the learning device 61 is provided on the learning server 51.
  • the learner 61 Since the Plating represented by the Plating result information V (T) is obtained by the Plating motion represented by the Plating motion information S (t), in the learner 61, when the Plating result information V (T) is input. The parameters that make up the neural network that output the Plating operation information S (t) are learned.
  • the subjective evaluation information E (T) is a subjective evaluation of Plating represented by the Plating result information V (T)
  • a neural network that outputs the plating operation information S (t) of the dish is Plating. Trained as a generative model.
  • the plating realized by the Plating operation information S (t) whose at least part has been changed is different from the Plating represented by the Plating result information V (T), that is, a new plating.
  • the Plating subjective evaluation specified by the chef using the screen as explained with reference to FIG. 2 corresponds to the changed subjective evaluation information E (T) referred to here. Further, the Plating image image specified by the chef using the screen as shown in FIG. 3 corresponds to the Plating result information V (T).
  • the Plating operation information S (t) for realizing Plating different from the Plating represented by the Plating image image is output from the Plating generative model. Will be.
  • RNNPB Recurrent Neural Network with Parametric Bias
  • RNNPB is a neural network that can learn / predict non-linear time series data by having recursive coupling. Further, by inputting the PB value corresponding to a certain pattern, a desired pattern can be output.
  • FIG. 19 is a diagram showing an example of prediction using RNNPB.
  • the RNNPB constituting the Plating generative model has a lower hierarchy that outputs the Plating operation information at time t + 1 when the Plating operation information at time t is input, the subjective evaluation, and the Plating result information.
  • the PB value (PB (t')) corresponding to V (T) is input, it is composed of the upper layer that outputs the value used as the PB value (PBt) of the lower layer.
  • the Plating subjective evaluation specified by the chef of brightness 5, gentleness 3, roughness 1, simplicity 2, ... is the subjective evaluation set in the sample image selected as the Plating image image. It is different from (Fig. 4).
  • the Plating operation information S (t) output from the RNNPB becomes the Plating operation information S (t) for realizing plating different from the Plating represented by the Plating image image.
  • the neural network that composes the Plating generative model is not limited to RNNPB.
  • the Plating generative model is constructed by various neural networks generated by learning the relationship between the subjective evaluation information E (T) and the Plating result information V (T) and the Plating motion information S (t). It is possible to do.
  • FIG. 20 is a diagram showing an example of Plating operation information S (t) output by the Plating generation model.
  • the Plating operation information S (t) corresponds to the Plating operation information of FIG. 8 which is the learning data, and is information on which foodstuff to be arranged and information on how to arrange it. It is time-series data of information on which tool to serve, information on where to place it, and information on what table to serve.
  • FIG. 21 is a block diagram showing a configuration example of hardware of the information processing device 1.
  • the information processing device 1 is composed of a computer such as a tablet terminal.
  • the CPU (Central Processing Unit) 101, ROM (Read Only Memory) 102, and RAM (Random Access Memory) 103 are connected to each other by the bus 104.
  • An input / output interface 105 is further connected to the bus 104.
  • An input unit 106 including a keyboard and a mouse, and an output unit 107 including a display and a speaker are connected to the input / output interface 105.
  • the input / output interface 105 is connected to a storage unit 108 composed of a hard disk, a non-volatile memory, or the like, a communication unit 109 composed of a network interface, or a drive 110 for driving the removable media 111.
  • the CPU 101 loads the program stored in the storage unit 108 into the RAM 103 via the input / output interface 105 and the bus 104 and executes the program, so that various processes such as generation of new Plating are performed.
  • FIG. 22 is a block diagram showing a functional configuration example of the information processing device 1.
  • At least a part of the functional units shown in FIG. 22 is realized by executing a predetermined program by the CPU 101 of FIG. 21.
  • the information processing unit 151 is realized in the information processing device 1.
  • the information processing unit 151 is composed of an acquisition unit 161, a plating generation unit 162, and a presentation unit 163.
  • the acquisition unit 161 acquires the Plating subjective evaluation and the Plating image image specified by the chef.
  • the information acquired by the acquisition unit 161 is supplied to the plating generation unit 162.
  • the Plating generation unit 162 has a Plating generation model.
  • the Plating generation unit 162 inputs the Plating subjective evaluation and the Plating image image supplied from the acquisition unit 161 into the Plating generation model, and outputs the Plating operation information S (t).
  • the Plating generation unit 162 outputs information representing the contents of the Plating operation information S (t) to the presentation unit 163 as new Plating information.
  • An image representing an image of Plating realized based on the Plating operation information S (t) output from the Plating generation model may be generated in the Plating generation unit 162 and supplied to the presentation unit 163.
  • the presentation unit 163 presents new plating information supplied from the plating generation unit 162.
  • the presentation of Plating may be performed by the sound from the speaker, or may be performed by the screen display of the display.
  • the presentation unit 163 presents, for example, a description of each operation for realizing new plating to the chef in order.
  • step S1 the acquisition unit 161 acquires the subjective evaluation of Plating that the chef imagines.
  • step S2 the acquisition unit 161 acquires a Plating image image representing the image of the chef's Plating.
  • step S3 the Plating generation unit 162 inputs the Plating subjective evaluation and the Plating image image specified by the chef into the Plating generation model, and outputs the Plating operation information S (t).
  • step S4 the presentation unit 163 presents the new plating information supplied from the plating generation unit 162 to the chef.
  • the information processing apparatus 1 can generate a new plating and present it to the chef.
  • the presentation of plating by the information processing device 1 is not performed by selecting the plating that meets the conditions from a plurality of platings prepared in advance, but is generated according to the conditions specified by the chef each time. It is done by.
  • the chef can receive the presentation of Plating that suits his image and try Plating according to the presentation, or get a hint from it and create a new Plating.
  • the chef specifies the Plating subjective evaluation and the Plating image image, but instead of the Plating image image, a keyword related to Plating may be specified.
  • a sample image that includes the keyword in the attribute information is selected and used as a Plating image image.
  • keywords are set in the attribute information of each sample image.
  • the sample image similar to the sample image selected by the chef may be used as the Plating image image.
  • the chef may be able to make corrections to the sample image.
  • the correction of the sample image is performed, for example, by clicking the part to be corrected and operating on the screen to change the shape or color.
  • the modified sample image is used as the Plating image image and Plating is generated.
  • the Plating image image may be specified by drawing an illustration by hand.
  • an illustration is drawn by hand, a sample image close to the illustration is searched, and the sample image is used as a Plating image image.
  • Plating once presented may be changed according to the utterance by the chef. For example, when utterances such as “brighter” and “more spring-like” are made, the Plating subjective evaluation is changed according to the content of the chef's utterance, and the changed Plating subjective evaluation is used for Plating. The generation is done.
  • ingredients should be changed for the Plating once presented. For example, when Plating using vanilla sauce is presented and when instructed to change to Plating using strawberry sauce, a sample of Plating using strawberry sauce similar to the sample image specified earlier. The image is searched and the sample image is used as the Plating image image.
  • FIG. 24 is a diagram showing a configuration example of a network system.
  • FIG. 24 shows a configuration when a new Plating is generated on the Plating generation server 171 on the Internet.
  • the Plating generation server 171 is provided with the same configuration as that of the information processing unit 151 shown in FIG.
  • Communication is performed between the Plating generation server 171 and the information processing device 1 provided on the chef side via the Internet.
  • Information representing the Plating subjective evaluation and the Plating image image specified by the chef is transmitted from the information processing apparatus 1 to the Plating generation server 171.
  • the acquisition unit 161 of the Plating generation server 171 receives the Plating subjective evaluation and the Plating image image transmitted from the information processing device 1.
  • the Plating generation unit 162 generates Plating as described above based on the Plating subjective evaluation and the Plating image image transmitted from the information processing device 1.
  • the presentation unit 163 transmits the plating information generated by the plating generation unit 162 to the information processing device 1 and causes the chef to present it.
  • FIG. 25 is a diagram showing a configuration example of a control system.
  • the control system includes a data processing device 301 and a cooking robot 302.
  • the cooking robot 302 is a robot having a drive system device such as a cooking arm and various sensors and equipped with a function of cooking.
  • the cooking robot 302 is installed in a home, for example.
  • the data processing device 301 is a device that controls the cooking robot 302.
  • the data processing device 301 is composed of a computer or the like.
  • the cooking robot 302 is controlled by the data processing device 301 based on the recipe data prepared for each dish.
  • the recipe data describes information about each cooking process and plating process.
  • the recipe data supplied to the data processing device 301 is generated in the Plating generation unit 162 (FIG. 22) by, for example, linking the information on the cooking process input from the outside with the information on the Plating process generated by the user. Will be done.
  • the Plating generation unit 162 also functions as a recipe data generation unit that generates recipe data used for controlling the cooking robot 302.
  • the data processing device 301 controls the cooking robot 302 based on the recipe data to prepare a dish.
  • Recipe data including Plating information generated by the information processing unit 151 of FIG. 22 is supplied to the data processing device 301 and used for controlling the cooking robot 302.
  • the data processing device 301 when recipe data is input as shown by arrow A1, the data processing device 301 outputs a command command based on the description of the recipe data as shown by arrow A2, so that the cooking operation of the cooking robot 302 To control.
  • the cooking robot 302 drives each part such as a cooking arm according to a command command supplied from the data processing device 301, and operates each cooking process. Further, the cooking robot 302 drives each part such as a cooking arm according to a command command supplied from the data processing device 301 to perform the operation of the plating process.
  • Command The command includes information for controlling the torque, drive direction, drive amount, etc. of the motor provided in the cooking arm.
  • Command commands are sequentially output from the data processing device 301 to the cooking robot 302 until the cooking is completed.
  • the cooking robot 302 takes an action in response to a command, the cooking is finally completed.
  • FIG. 26 is a diagram showing an example of the description content of the recipe data.
  • one recipe data is composed of a plurality of cooking process data sets.
  • a cooking process data set for cooking process # 1 a cooking process data set for cooking process # 2, ..., A cooking process data set for cooking process # N are included.
  • Each cooking process data set includes cooking operation information, which is information on cooking operations for realizing the cooking process.
  • cooking operation information is information on cooking operations for realizing the cooking process.
  • one cooking process data set is composed of time-series data of cooking operation information for realizing one cooking process.
  • Cooking operation information includes foodstuff information and operation information.
  • Ingredient information is information about ingredients used in the cooking process.
  • Information about foodstuffs includes information indicating the type of foodstuff, the amount of foodstuff, the size of foodstuff, and the like.
  • ingredients include not only ingredients that have not been cooked at all, but also ingredients that have been cooked (prepared) obtained by performing a certain cooking.
  • the food material information included in the cooking operation information of a certain cooking process includes information on the food material that has undergone the previous cooking process.
  • the operation information is information related to the movement of the cooking arm and the like in the cooking process.
  • the movement information includes information indicating the type of cooking tool used for cooking.
  • the operation information of the cooking process of cutting a certain ingredient includes information indicating that a kitchen knife is used as a cooking tool, information indicating the cutting position, the number of times of cutting, the force of cutting, the angle, the speed, and the like.
  • the operation information of the cooking process that stirs the pot containing the liquid as an ingredient includes information indicating that the ladle is used as a cooking tool, information indicating the force of stirring, angle, speed, time, and the like.
  • the operation information of the cooking process of baking a certain ingredient using an oven includes information indicating that the oven is used as a cooking tool, information indicating the heating power of the oven, baking time, and the like.
  • one recipe data includes a Plating process data set.
  • the Plating process data set contains the Plating operation information for realizing the Plating process.
  • the Plating process data set is composed of time-series data of Plating operation information for realizing the Plating process.
  • FIG. 27 is a diagram showing an example of a flow of reproducing a dish based on recipe data.
  • cooking is repeated for each cooking process based on the cooking operation information at each time included in the cooking process data set described in the recipe data. Is done by.
  • the ingredients used for plating are prepared through a plurality of cooking steps # 1 to # N.
  • the plating operation is performed based on the plating operation information at each time included in the plating process data set, so that the cooking is completed.
  • the plating step is performed after all the cooking steps are completed, but the plating step may be performed at a timing before other cooking steps as appropriate.
  • FIG. 28 is a diagram showing an arrangement example of the data processing device 301.
  • the data processing device 301 is provided as, for example, an external device of the cooking robot 302.
  • the data processing device 301 and the cooking robot 302 are connected to each other via a network such as the Internet.
  • the command command transmitted from the data processing device 301 is received by the cooking robot 302 via the network.
  • Various data such as an image taken by the camera of the cooking robot 302 and sensor data measured by a sensor provided in the cooking robot 302 are transmitted from the cooking robot 302 to the data processing device 301 via a network.
  • the data processing device 301 may be provided inside the housing of the cooking robot 302. In this case, the operation of each part of the cooking robot 302 is controlled according to the command command generated by the data processing device 301.
  • the data processing device 301 will be mainly described as being provided as an external device of the cooking robot 302.
  • FIG. 29 is a perspective view showing the appearance of the cooking robot 302.
  • the cooking robot 302 is a kitchen-type robot having a horizontally long rectangular parallelepiped housing 311. Various configurations are provided inside the housing 311 which is the main body of the cooking robot 302.
  • a cooking assistance system 312 is provided on the back side of the housing 311.
  • Each space formed in the cooking assist system 312 by being separated by a thin plate-like member has a function for assisting cooking by the cooking arms 321-1 to 321-4 such as a refrigerator, a microwave oven, and a storage.
  • the top plate 311A is provided with a rail in the longitudinal direction, and cooking arms 321-1 to 321-4 are provided on the rail.
  • the cooking arms 321-1 to 321-4 can be repositioned along the rail as a moving mechanism.
  • the cooking arms 321-1 to 321-4 are robot arms configured by connecting cylindrical members with joints. Various operations related to cooking are performed by the cooking arms 321-1 to 321-4.
  • the space above the top plate 311A is the cooking space where the cooking arms 321-1 to 321-4 cook.
  • the number of cooking arms is not limited to four.
  • the cooking arm 321 when it is not necessary to distinguish each of the cooking arms 321-1 to 321-4 as appropriate, they are collectively referred to as the cooking arm 321.
  • FIG. 30 is an enlarged view showing the state of the cooking arm 321.
  • attachments having various cooking functions are attached to the tip of the cooking arm 321.
  • various attachments such as an attachment having a manipulator function (hand function) for grasping foodstuffs and tableware, and an attachment having a knife function for cutting foodstuffs are prepared.
  • a knife attachment 331-1 which is an attachment having a knife function is attached to the cooking arm 321-1.
  • a lump of meat placed on the top plate 311A is cut using a knife attachment 331-1.
  • a spindle attachment 331-2 which is an attachment used for fixing ingredients and rotating ingredients, is attached to the cooking arm 321-2.
  • a peeler attachment 331-3 which is an attachment having the function of a peeler for peeling ingredients, is attached to the cooking arm 321-3.
  • the potato skin lifted by the cooking arm 321-2 using the spindle attachment 331-2 is peeled off by the cooking arm 321-3 using the peeler attachment 331-3. In this way, it is possible for a plurality of cooking arms 321 to cooperate with each other to perform one operation.
  • a manipulator attachment 331-4 which is an attachment having a manipulator function, is attached to the cooking arm 321-4.
  • a frying pan with chicken is carried to the space of the cooking assistance system 312, which has an oven function.
  • Such cooking operation and plating operation by the cooking arm 321 can be carried out by appropriately replacing the attachment according to the content of the work. It is also possible to attach the same attachment to a plurality of cooking arms 321 so that the manipulator attachments 331-4 are attached to each of the four cooking arms 321.
  • the cooking operation and the plating operation by the cooking robot 302 are performed not only by using the above attachments prepared as a tool for the cooking arm, but also by appropriately using the same tool as the tool used by a person for cooking. ..
  • a knife used by a person is grasped by a manipulator attachment 331-4, and cooking such as cutting of ingredients is performed using the knife.
  • FIG. 31 is a diagram showing the appearance of the cooking arm 321.
  • the cooking arm 321 is generally configured by connecting thin cylindrical members with hinge portions serving as joint portions.
  • Each hinge portion is provided with a motor or the like that generates a force for driving each member.
  • a detachable member 351, a relay member 353, and a base member 355 are provided in order from the tip.
  • the detachable member 351 and the relay member 353 are connected by a hinge portion 352, and the relay member 353 and the base member 355 are connected by a hinge portion 354.
  • an attachment / detachment portion 351A to which the attachment is attached / detached is provided.
  • the detachable member 351 has a detachable portion 351A to which various attachments are attached and detached, and functions as a cooking function arm portion for cooking by operating the attachments.
  • a detachable portion 356 attached to the rail is provided.
  • the base member 355 functions as a movement function arm portion that realizes the movement of the cooking arm 321.
  • FIG. 32 is a diagram showing an example of the range of motion of each part of the cooking arm 321.
  • the detachable member 351 is rotatable about the central axis of the circular cross section.
  • the flat small circle shown at the center of ellipse # 1 indicates the direction of the rotation axis of the alternate long and short dash line.
  • the detachable member 351 is rotatable about an axis passing through the fitting portion 351B with the hinge portion 352. Further, the relay member 353 can rotate about an axis passing through the fitting portion 353A with the hinge portion 352.
  • the two small circles shown inside the circle # 2 indicate the direction of each rotation axis (vertical direction on the paper surface).
  • the movable range of the detachable member 351 centered on the shaft passing through the fitting portion 351B and the movable range of the relay member 353 centered on the shaft passing through the fitting portion 353A are, for example, 90 degrees.
  • the relay member 353 is separated by a member 353-1 on the front end side and a member 353-2 on the rear end side. As shown by being surrounded by the ellipse # 3, the relay member 353 is rotatable about the central axis of the circular cross section at the connecting portion 353B between the member 353-1 and the member 353-2. Other movable parts also have basically the same range of motion.
  • the detachable member 351 having the detachable portion 351A at the tip, the relay member 353 connecting the detachable member 351 and the base member 355, and the base member 355 to which the detachable portion 356 is connected to the rear end are rotated by the hinge portions, respectively. Can be connected.
  • the movement of each movable part is controlled by a controller in the cooking robot 302 according to a command.
  • FIG. 33 is a diagram showing an example of connection between the cooking arm and the controller.
  • the cooking arm 321 and the controller 361 are connected via wiring in the space 311B formed inside the housing 311.
  • the cooking arms 321-1 to 321-4 and the controller 361 are connected via wirings 362-1 to 362-4, respectively.
  • the flexible wirings 362-1 to 362-4 will be appropriately bent according to the positions of the cooking arms 321-1 to 321-4.
  • FIG. 34 is a block diagram showing a configuration example of the cooking robot 302.
  • the cooking robot 302 is configured by connecting each part to a controller 361 (FIG. 33) as a control device for controlling the operation of the cooking robot 302.
  • a controller 361 FIG. 33
  • FIG. 34 the same configurations as those described above are designated by the same reference numerals. Duplicate explanations will be omitted as appropriate.
  • the camera 401, the sensor 402, and the communication unit 403 are connected to the controller 361.
  • the controller 361 is composed of a computer having a CPU, ROM, RAM, flash memory, and the like.
  • the controller 361 executes a predetermined program by the CPU and controls the overall operation of the cooking robot 302.
  • the data processing device 301 may be configured by the controller 361.
  • the controller 361 controls the communication unit 403 and transmits the image taken by the camera 401 and the sensor data measured by the sensor 402 to the data processing device 301.
  • the instruction command acquisition unit 411 and the arm control unit 412 are realized by executing a predetermined program.
  • the instruction command acquisition unit 411 acquires an instruction command transmitted from the data processing device 301 and received by the communication unit 403.
  • the command command acquired by the command command acquisition unit 411 is supplied to the arm control unit 412.
  • the arm control unit 412 controls the operation of the cooking arm 321 according to the command command acquired by the command command acquisition unit 411.
  • the camera 401 photographs the surroundings of the cooking robot 302, and outputs the image obtained by the photographing to the controller 361.
  • the camera 401 is provided at various positions such as the front of the cooking assist system 312 and the tip of the cooking arm 321.
  • the sensor 402 is composed of various sensors such as a temperature / humidity sensor, a pressure sensor, an optical sensor, a distance sensor, a human sensor, a positioning sensor, and a vibration sensor.
  • the measurement by the sensor 402 is performed at a predetermined cycle.
  • the sensor data indicating the measurement result by the sensor 402 is supplied to the controller 361.
  • the camera 401 and the sensor 402 may be provided at a position away from the housing 311 of the cooking robot 302.
  • the communication unit 403 is a wireless communication module such as a wireless LAN module and a mobile communication module compatible with LTE (Long Term Evolution).
  • the communication unit 403 communicates with the data processing device 301 and an external device such as a server on the Internet.
  • the cooking arm 321 is provided with a motor 421 and a sensor 422.
  • the motor 421 is provided at each joint of the cooking arm 321.
  • the motor 421 rotates about the axis according to the control by the arm control unit 412.
  • An encoder for measuring the amount of rotation of the motor 421, a driver for adaptively controlling the rotation of the motor 421 based on the measurement result by the encoder, and the like are also provided at each joint.
  • the sensor 422 is composed of, for example, a gyro sensor, an acceleration sensor, a touch sensor, and the like. While the cooking arm 321 is operating, the sensor 422 measures the angular velocity, acceleration, and the like of each joint, and outputs information indicating the measurement result to the controller 361. Sensor data indicating the measurement result of the sensor 422 is also transmitted from the cooking robot 302 to the data processing device 301 as appropriate.
  • FIG. 35 is a block diagram showing a functional configuration example of the data processing device 301.
  • At least a part of the functional units shown in FIG. 35 is realized by executing a predetermined program by the CPU of the computer constituting the data processing device 301.
  • the command generation unit 431 is realized in the data processing device 301.
  • the command generation unit 431 is composed of a recipe data acquisition unit 451, a robot state estimation unit 452, a control unit 453, and a command output unit 454.
  • the recipe data acquisition unit 451 acquires the recipe data newly generated by the information processing device 1 or the like and outputs it to the control unit 453.
  • An information processing unit 151 (FIG. 22) having a function of generating the entire recipe including Plating may be provided in the recipe data acquisition unit 451.
  • the robot state estimation unit 452 receives the image and sensor data transmitted from the cooking robot 302. From the cooking robot 302, an image taken by the camera of the cooking robot 302 and sensor data measured by a sensor provided at a predetermined position of the cooking robot 302 are transmitted at a predetermined cycle. The image taken by the camera of the cooking robot 302 shows the surroundings of the cooking robot 302.
  • the robot state estimation unit 452 analyzes the image and sensor data transmitted from the cooking robot 302 to obtain the state around the cooking robot 302 and the state of the cooking process, such as the state of the cooking arm 321 and the state of the ingredients. presume. Information indicating the surrounding state of the cooking robot 302 estimated by the robot state estimation unit 452 is supplied to the control unit 453.
  • the control unit 453 generates a command command for controlling the cooking robot 302 based on the cooking process data set and the mapping process data set described in the recipe data supplied from the recipe data acquisition unit 451. For example, a command command for causing the cooking arm 321 to perform an operation as represented by the cooking operation information included in the cooking process data set is generated.
  • the surrounding state of the cooking robot 302 estimated by the robot state estimation unit 452 is also referred to.
  • the instruction command generated by the control unit 453 is supplied to the command output unit 454.
  • the command output unit 454 transmits the command command generated by the control unit 453 to the cooking robot 302.
  • step S101 the recipe data acquisition unit 451 acquires recipe data representing the recipe generated by the information processing device 1 or the like.
  • step S102 the control unit 453 selects a predetermined cooking operation based on the cooking process data set described in the recipe data, and generates a command command for performing the selected cooking operation.
  • the cooking process dataset is selected in the order of the cooking process, and the cooking operations included in the selected cooking process are selected in the order of execution.
  • step S103 the command output unit 454 sends a command command to the cooking robot 302 to execute the cooking operation.
  • step S104 the robot state estimation unit 452 estimates the state of the cooking robot 302.
  • step S105 the control unit 453 determines whether or not all cooking operations have been completed. If it is determined in step S105 that all the cooking operations have not been completed, the process returns to step S102, the next cooking operation is selected, and the above processing is repeated.
  • step S106 the control unit 453 generates an instruction command for performing the plating operation based on the Plating process data set described in the recipe data. To do.
  • step S107 the command output unit 454 sends a command command to the cooking robot 302 to execute the Plating operation.
  • step S108 the robot state estimation unit 452 estimates the state of the cooking robot 302.
  • step S109 the control unit 453 determines whether or not the Plating operation is completed. If it is determined in step S109 that the Plating operation has not been completed, the process returns to step S106, and the above processing is repeated.
  • step S109 If it is determined in step S109 that the Plating operation has ended, the process ends. At this time, the dish is completed based on the new recipe data generated by the information processing device 1 or the like.
  • the information processing device 1 to generate recipe data for controlling a robot that cooks using the cooking arm.
  • FIG. 37 is a diagram showing another configuration example of the control system.
  • an electronic cooking utensil 303 such as a microwave oven is provided instead of the cooking robot 302.
  • the electronic cooking utensil 303 performs a cooking operation and a plating operation in accordance with a command command supplied from the data processing device 301 to perform cooking.
  • a plating operation such as heating a food ingredient such as chocolate and melting it in cooking is performed.
  • the installed program is recorded and provided on the removable media 111 shown in FIG. 21, which consists of an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a semiconductor memory, or the like. It may also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting.
  • the program can be pre-installed in the ROM 102 or the storage unit 108.
  • the program executed by the computer may be a program in which processing is performed in chronological order in the order described in this specification, or processing is performed in parallel or at a necessary timing such as when a call is made. It may be a program to be performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Mechanical Engineering (AREA)
  • Food Science & Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Nutrition Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Polymers & Plastics (AREA)
  • Manipulator (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本技術は、料理の新しい盛り付けを生成することができるようにする情報処理装置、情報処理方法、調理ロボット、調理方法、および調理器具に関する。 本技術の一側面の情報処理装置は、料理の盛り付けに用いられた食材に関する情報である食材情報、調理人の盛り付け動作に関する情報である盛り付け動作情報、および、盛り付けに用いられた調理ツールに関する情報である調理ツール情報を含む盛り付け情報に基づいて、新たな盛り付けに関する情報である新たな盛り付け情報を生成する。本技術は、キッチンに用意されるコンピュータに適用することができる。

Description

情報処理装置、情報処理方法、調理ロボット、調理方法、および調理器具
　本技術は、特に、料理の新しい盛り付けを生成することができるようにした情報処理装置、情報処理方法、調理ロボット、調理方法、および調理器具に関する。
　近年、調理工程を動画で共有するサービス、盛り付けられた料理の写真を共有するサービスなどでの見栄えを意識して、料理の盛り付けに対する要求が高くなってきている。
　料理において、盛り付けは、味、見栄え、ストーリーなどを表現する方法といえるものである。例えばレストランのシェフには、常に、新しい盛り付けを創造することが求められる。
特表２０１７－５０６１６９号公報 特表２０１７－５３６２４７号公報
　料理の世界における常識や文化などによる固定概念または経験に基づく固定概念が働くことにより、新しい盛り付けを創造し続けることは容易ではない。
　本技術はこのような状況に鑑みてなされたものであり、料理の新しい盛り付けを生成することができるようにするものである。
　本技術の第１の側面の情報処理装置は、料理の盛り付けに用いられた食材に関する情報である食材情報、調理人の盛り付け動作に関する情報である盛り付け動作情報、および、盛り付けに用いられた調理ツールに関する情報である調理ツール情報を含む盛り付け情報に基づいて、新たな盛り付けに関する情報である新たな盛り付け情報を生成する盛り付け生成部を備える。
　本技術の第２の側面の調理ロボットと第３の側面の調理器具は、料理の盛り付けに用いられた食材に関する情報である食材情報、調理人の盛り付け動作に関する情報である盛り付け動作情報、および、盛り付けに用いられた調理ツールに関する情報である調理ツール情報を含む盛り付け情報に基づいて生成された、新たな盛り付けに関する情報である新たな盛り付け情報に基づいて、前記新たな盛り付けの動作を行う制御部を備える。
本技術の一実施形態に係る情報処理装置によるPlatingの提示の例を示す図である。 Plating主観評価の指定に用いられる画面の例を示す図である。 Platingイメージ画像の指定に用いられる画面の例を示す図である。 サンプル画像の例を示す図である。 情報処理装置に対する入出力の例を示す図である。 学習データの収集の様子を示す図である。 調理動作情報とPlating動作情報の生成の流れの例を示す図である。 Plating動作情報を構成する情報の例を示す図である。 Plating動作の具体例を示す図である。 図９に続くPlating動作の具体例を示す図である。 図１０に続くPlating動作の具体例を示す図である。 図１１に続くPlating動作の具体例を示す図である。 図１２に続くPlating動作の具体例を示す図である。 図１３に続くPlating動作の具体例を示す図である。 料理DBの例を示す図である。 Plating生成モデルの学習に用いられる情報の例を示す図である。 学習の例を示す図である。 推論時のPlating生成モデルの状態を示す図である。 RNNPBを用いた予測の例を示す図である。 Plating生成モデルが出力するPlating動作情報S(t)の例を示す図である。 情報処理装置のハードウェアの構成例を示すブロック図である。 情報処理装置の機能構成例を示すブロック図である。 情報処理装置の処理について説明するフローチャートである。 ネットワークシステムの構成例を示す図である。 制御システムの構成例を示す図である。 レシピデータの記述内容の例を示す図である。 レシピデータに基づく料理の再現の流れの例を示す図である。 データ処理装置の配置例を示す図である。 調理ロボットの外観を示す斜視図である。 調理アームの様子を拡大して示す図である。 調理アームの外観を示す図である。 調理アームの各部の可動域の例を示す図である。 調理アームとコントローラの接続の例を示す図である。 調理ロボットの構成例を示すブロック図である。 データ処理装置の機能構成例を示すブロック図である。 データ処理装置の処理について説明するフローチャートである。 制御システムの他の構成例を示す図である。
＜本技術の概要＞
　本技術は、料理の新たなPlatingを生成し、シェフ、板前、コックなどと呼ばれる調理人に対して提示するものである。
　Plating(Food Plating)は、料理の盛り付けのことをいう。調理済みの食材などを盛り付けることによって、料理の完成となる。ここで、新たなPlatingとは、Platingの生成側に用意されているPlatingとは異なるPlatingのことを意味する。生成側に用意されているPlatingに対して、盛り付けに用いる食材が異なるPlating、盛り付け位置が異なるPlating、色が異なるPlating、盛り付けに用いる食器が異なるPlating、盛り付けの順番が異なるPlatingといったように、料理の盛り付けを構成する要素のうちの少なくともいずれかの要素が異なるPlatingが、新たなPlatingには含まれる。
　盛り付けに用いられる食材には、火を通したり熱を加えたりするなどして調理が行われた肉や魚などの食材だけでなく、包丁でカットした野菜や、香草やトマトなどの食材そのものも含まれる。塩、胡椒などの調味料、複数の調味料を混ぜ合わせてできたソースなどの液体も、盛り付けに用いられる食材に含まれる。
　すなわち、盛り付けに用いられる食材には、最終的に出来上がる料理を構成する全ての要素が含まれる。
　なお、料理は、調理を経て出来上がる成果物のことを意味する。調理は、料理を作る過程や、料理を作る行為（作業）のことを意味する。
　また、本技術は、料理の新たなPlatingを生成し、調理ロボットにおいて再現させるものである。調理ロボットは、料理毎に用意されるレシピデータの記述に従って調理を行うとともに、その調理によってできた食材を盛り付けることによって、料理を完成させる。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．Platingの提示
　２．Plating生成モデルの学習
　３．各装置の構成と動作
　４．調理ロボットの制御の例
　５．その他の例
＜Platingの提示＞
　図１は、本技術の一実施形態に係る情報処理装置によるPlatingの提示の例を示す図である。
　図１の上段に示す状況は、調理を行っているシェフが、料理のPlatingを考えている状況である。図１の例においては、タブレット端末である情報処理装置１が料理を行っているシェフの隣に置かれている。情報処理装置１は、シェフによる要求に応じて新たなPlatingを提示する機能を有する。
　例えば、吹き出し＃１に示すように、「明るくて優しいイメージのPlating」をシェフが望んでいるものとする。この例においては、「明るくて優しいイメージ」といったような、Platingの見た目の主観的な評価であるPlating主観評価を指定することに応じて、Platingの提示が行われる。
　図２は、Plating主観評価の指定に用いられる画面の例を示す図である。
　図２に示すPlating主観評価の指定画面は、所定の操作をシェフが行ったときに情報処理装置１のディスプレイに表示される。図２の例においては、指定画面の略中央にレーダーチャート１１が表示されている。レーダーチャート１１は、Plating主観評価の指定に用いられるレーダーチャートである。
　レーダーチャート１１は、明るさ、優しさ、荒々しさ、シンプルさ、鮮やかさ、サイズ感、温度感、天候、季節感の９種類の要素を軸とするレーダーチャートである。この例においては、Plating主観評価が、明るさ、優しさ、荒々しさなどの９種類の要素によって表される。例えば、シェフは、レーダーチャート１１上の各要素の位置を指で直接触れるなどして、それぞれの要素の値を指定する。
　図２に示すようなレーダーチャートを用いてPlating主観評価の指定が行われるのではなく、音声を用いて行われるようにしてもよい。Plating主観評価の指定が音声によって行われた場合、情報処理装置１においては、音声認識、言語解析などが行われ、シェフの発言内容の意味が特定される。
　Plating主観評価の指定がレーダーチャート上の値を指定することによって行われるのではなく、それぞれの要素の値を、キーボードなどを操作して直接入力するようにしてもよい。
　このようなPlating主観評価の指定とともに、例えば、シェフがイメージしているPlatingの画像であるPlatingイメージ画像の指定が行われる。
　図３は、Platingイメージ画像の指定に用いられる画面の例を示す図である。
　図３に示すように、Platingイメージ画像の指定画面には、Platingの見本となる複数のサンプル画像が表示される。図３の例においては、サンプル画像Ｐ１乃至Ｐ３の３つのサンプル画像が表示されている。スクロール操作などにより、さらに多くのサンプル画像が指定画面に表示される。
　シェフは、好みのサンプル画像を選択することによって、自分がイメージしているものに近いPlatingを表しているPlatingイメージ画像を指定することになる。
　図４は、サンプル画像の例を示す図である。
　図４の吹き出しに示すように、それぞれのサンプル画像に対しては属性情報が設定されている。属性情報には、Platingの特徴を表すキーワードや、Platingの主観評価情報が含まれる。属性情報に含まれる主観評価は、シェフ自身や、多くの第三者がサンプル画像のPlatingを見たときの主観評価である。
　このように、Platingの提示を受ける場合、シェフは、Plating主観評価とPlatingイメージ画像を選択することになる。
　図１の説明に戻り、シェフが要望するPlatingが以上のようにして指定された場合、情報処理装置１においては、シェフの要望に応じたPlatingが生成され、吹き出し＃２，＃３に示すようにシェフに対して提示される。
　図１の例においては、Platingを表す画像を表示することによって、Platingの提示が行われている。また、「ストロベリーソースをソースディスペンサーに入れて・・・」といったような、そのPlatingの実現の仕方がシェフに対して提示されている。このように、シェフに対するPlatingの提示は、音声や画面表示を用いて行われる。
　図５は、情報処理装置１に対する入出力の例を示す図である。
　図５に示すように、情報処理装置１には、Plating生成モデルが用意される。Plating生成モデルは、Plating主観評価とPlatingイメージ画像を入力として、新しいPlating（New Plating）を出力する予測モデルである。Plating生成モデルは、例えば、深層学習などの機械学習によって生成され、情報処理装置１に用意される。
　シェフは、このようなPlating生成モデルを用いて生成されたPlatingの提示を受けて、提示の通りにPlatingを行ってみたり、そこからヒントを得て新たなPlatingを考えたりすることができる。情報処理装置１は、新たなPlatingそのもの、あるいは、新たなPlatingのヒントとなる情報をシェフに提示するPlating生成器ということができる。
　なお、図５に示すようなPlating生成モデルが情報処理装置１に用意されるのではなく、インターネット上のサーバに用意されるようにしてもよい。この場合、インターネット上のサーバにおいて新たなPlatingが生成され、生成されたPlatingの情報が情報処理装置１によりシェフに対して提示される。
＜Plating生成モデルの学習＞
・学習データの収集
　図６は、学習データの収集の様子を示す図である。
　図６に示すように、シェフが調理を行うキッチンの周りには、シェフの動作を測定するための各種の機器が設けられる。図６の例においては、調理を行っているシェフに画角を向けたカメラ４１－１，４１－２が設置されている。カメラ４１－１，４１－２により撮影された画像に基づいて、シェフの動作の解析が行われる。カメラ４１－１，４１－２により撮影される画像は、動画像であってもよいし、静止画像であってもよい。
　シェフの体には、加速度センサ、位置センサ、温度センサ、距離センサなどの各種のセンサが取り付けられる。シェフの動作の解析は、それらのセンサにより測定されたセンサデータにも基づいて行われる。
　シェフの動作の解析は、シェフ側の装置とインターネットを介して接続される学習サーバ５１により行われる。学習サーバ５１は、カメラ４１－１，４１－２を含むそれぞれのセンサから送信された情報を受信し、シェフの動作を解析する。
　なお、動作の解析の対象となるシェフは、Platingの提示を受けるシェフだけでなく、それ以外の多くのシェフである。様々なシェフの動作に基づいて、Plating生成モデルの学習が行われる。
　このようなシェフの動作の測定は、例えば料理が完成するまで続けられる。１つの料理が完成するまでには複数の調理工程を経ることになるが、それぞれの工程の動作が解析される。
　図７は、調理動作情報とPlating動作情報の生成の流れの例を示す図である。
　図７の例においては、調理工程＃１乃至＃Ｎの動作が行われ、それらの動作によって作られた食材をPlating工程において盛り付けることによって、ある料理が完成している。
　この場合、調理工程＃１乃至＃Ｎにおいて行われたそれぞれの動作が測定（センシング）され、測定結果に基づいて、それぞれの調理工程の動作に関する情報である調理動作情報＃１乃至＃Ｎが生成される。
　また、Plating工程において行われた動作が測定され、測定結果に基づいて、Plating工程の動作に関する情報であるPlating動作情報が生成される。
　ここで、調理動作情報には、例えば、食材情報と動作情報が含まれる。食材情報は、調理工程においてシェフが使った食材に関する情報である。食材に関する情報には、食材の種類、食材の量、食材の大きさなどを表す情報が含まれる。
　例えば、ある調理工程においてにんじんを使った調理をシェフが行った場合、にんじんを使ったことを表す情報が食材情報に含まれる。水、調味料などの、料理の材料としてシェフが使った各種の食物を表す情報なども、食材情報に含まれる。食物は、人が食べることができる各種の物である。
　シェフが使った食材は、例えば、調理を行っているシェフをカメラ４１－１，４１－２で撮影した画像を解析することによって認識される。食材情報は、食材の認識結果に基づいて生成される。
　動作情報は、調理工程におけるシェフの動きに関する情報である。シェフの動きに関する情報には、シェフが使った調理ツールの種類、手の動きを含む、各時刻のシェフの体の動き、各時刻のシェフの立ち位置などを表す情報が含まれる。
　例えば、ある食材を、シェフが包丁を使って切った場合、調理ツールとして包丁を使ったことを表す情報、切る位置、切る回数、切り方の力加減、角度、スピードなどを表す情報が動作情報に含まれる。
　また、食材としての液体が入った鍋を、シェフがおたまを使ってかき混ぜた場合、調理ツールとしておたまを使ったことを表す情報、かき混ぜ方の力加減、角度、スピード、時間などを表す情報が動作情報に含まれる。
・Plating動作情報
　図８は、Plating動作情報を構成する情報の例を示す図である。
　図８に示すように、Plating動作情報には、Platingに用いられた食材を表す情報、Plating工程におけるシェフの動きに関する情報、Platingに用いられたツールに関する情報、食材の配置に関する情報、Platingに用いられた食器に関する情報が含まれる。
　Plating工程の各時刻におけるこれらの情報により、Plating動作情報が構成される。Plating動作情報は、食材、動き、ツール、配置、食器のそれぞれを表す時系列データである。
　図９乃至図１４を参照して、Plating動作情報の具体例について説明する。
　図９は、Plating工程の開始時刻の動作の例を示す図である。
　Plating工程の開始時刻である時刻ｔ０において、図９の左側に示すような動作が行われたものとする。この例においては、ストロベリーソースを充填したソースディスペンサーＴ１を右手に持って、先端を皿の所定の位置に押し当て、その状態で、少量のソースを押し出すような動作が行われている。この動作の様子が、カメラ４１－１，４１－２などにより撮影される。
　この場合、白抜き矢印の先に示すように、Platingに用いられた食材として、ストロベリーソースが用いられたことが特定される。
　また、シェフの動作として、ソースディスペンサーＴ１を右手で把持する、ソースディスペンサーＴ１を把持した右手を皿の基準位置に動かす、などの動作が特定される。
　Platingに用いられたツールとして、ソースディスペンサーＴ１が用いられたことが特定される。
　Platingの配置として、食器の平面的な位置を表す座標と、立体的な位置を表すレイヤが特定される。
　Platingに用いられた食器として、円形の平皿である所定のIDの食器が用いられたことが特定される。
　図１０は、時刻ｔ１における動作の例を示す図である。
　時刻ｔ０から所定時間経過後の時刻ｔ１において、図１０の左側に示すような動作が行われたものとする。この例においては、ドット状に押し出したストロベリーソースを、皿の中央を囲むように環状に並べる動作が行われている。
　４個目のドットを並べた時刻ｔ１においては、白抜き矢印の先に示すように、食材、ツール、食器については変わらずに、シェフの動作として、右手の位置をずらすなどの動作が特定される。また、Platingの配置として、４個目のドットの位置が特定される。
　図１１は、時刻ｔ２における動作の例を示す図である。
　時刻ｔ１から所定時間経過後の時刻ｔ２において、図１１の左側に示すような動作が行われたものとする。この例においては、ドット状のストロベリーソースを並べる動作が終わり、それに続けて、ツールを刷毛Ｔ２に持ち替えて、あるドットに押し当てる動作が行われている。
　この場合、白抜き矢印の先に示すように、食材、食器については変わらずに、シェフの動作として、刷毛を把持する、刷毛を把持した右手を皿の基準位置にあるドットの位置に動かす、などの動作が特定される。また、Platingに用いられたツールとして、刷毛Ｔ２が用いられたことが特定される。Platingの配置として、１個目のドットの位置が特定される。
　図１２は、時刻ｔ３における動作の例を示す図である。
　時刻ｔ２から所定時間経過後の時刻ｔ３において、図１２の左側に示すような動作が行われたものとする。この例においては、ドット状のストロベリーソースのそれぞれを、刷毛Ｔ２で皿の中央に向けて引き延ばす動作が行われている。
　１個目のストロベリーソースのドットを引き延ばした時刻ｔ３においては、白抜き矢印の先に示すように、食材、ツール、食器については変わらずに、シェフの動作として、右手の位置を、皿の中央に向けてスライドさせるなどの動作が特定される。また、Platingの配置として、スライド後の位置が特定される。
　図１３は、時刻ｔ４における動作の例を示す図である。
　時刻ｔ３から所定時間経過後の時刻ｔ４において、図１３の左側に示すような動作が行われたものとする。この例においては、ストロベリーソースを引き延ばす動作が終わり、それに続けて、ツールをターナーＴ３に持ち替えて、焼き上がったステーキ肉を皿の中央に置く動作が行われたものとする。
　この場合、白抜き矢印の先に示すように、Platingに用いられた食材として、ステーキ肉が用いられたことが特定される。また、シェフの動作として、ステーキ肉を載せたターナーＴ３を把持した右手を皿の中央に動かす、ターナーＴ３を降ろす、などの動作が特定される。
　また、Platingに用いられたツールとして、ターナーＴ３が用いられたことが特定される。Platingの配置として、皿の中央の位置が特定される。ステーキ肉が置かれた位置は、ストロベリーソースが配置されたレイヤ１の上のレイヤの位置であるから、レイヤ２として特定される。
　図１４は、時刻ｔ５における動作の例を示す図である。
　時刻ｔ４から所定時間経過後の時刻ｔ５において、図１４の左側に示すような動作が行われたものとする。この例においては、ステーキ肉の隣に香草を添える動作が行われ、これにより、Plating工程が終了されている。
　この場合、白抜き矢印の先に示すように、Platingに用いられた食材として、香草が用いられたことが特定される。また、シェフの動作として、ステーキ肉の隣に香草を添える動作が特定される。
　また、Platingに用いられたツールとして、ツールが用いられていないことが特定される。Platingの配置として、皿の中央に置かれたステーキ肉の近傍の位置が特定される。
　以上のようなPlatingに関する食材、動き、ツール、配置、食器のそれぞれを表す時系列データからなるPlating動作情報が、Plating工程の間に撮影された画像などに基づいて学習サーバ５１において生成される。
　また、Plating動作情報と、Plating工程の前の調理工程に基づいて生成された調理動作情報とが紐付けられ、それぞれの料理の調理データが生成される。
　図１５は、料理DBの例を示す図である。
　図１５に示すように、学習サーバ５１が管理する料理DBには、各料理の調理データとして、調理動作情報とPlating動作情報とを紐付けた情報が蓄積される。Plating生成モデルの学習には、各料理の調理データに含まれるPlating動作情報が用いられる。
　このようなPlating動作情報を用いた学習によって生成されたPlating生成モデルに基づいて生成されるものであるから、新たなPlatingは、食材、動作、ツール、配置、食器などの各情報を含むPlating動作情報に基づいて生成されていることになる。
・学習について
　図１６は、Plating生成モデルの学習に用いられる情報の例を示す図である。
　図１６に示すように、Plating生成モデルの学習には、Plating動作情報S(t)、主観評価情報E(T)、Plating結果情報V(T)が用いられる。
　Plating動作情報S(t)は、上述したPlating動作情報の時系列データである。
　主観評価情報E(T)は、Plating工程が完了してできあがった料理を見た人のPlating主観評価を表す情報である。時刻TはPlating工程が完了した時刻を表す。
　Plating結果情報V(T)は、Plating工程が完了してできあがった料理の画像である。
　学習サーバ５１においては、それぞれの料理のPlating動作情報S(t)、主観評価情報E(T)、Plating結果情報V(T)が紐付けて管理される。上述したように、Plating生成モデルは、Plating主観評価とPlatingイメージ画像を入力として、新しいPlatingを出力する予測モデルである。
　新しいPlatingはPlating動作情報S(t)の結果であるから、主観評価情報E(T)およびPlating結果情報V(T)と、Plating動作情報S(t)との関係が学習されていればよいことになる。
　図１７は、学習の例を示す図である。
　図１７に示すように、Plating生成モデルの学習を行う学習器６１に対しては、Plating動作情報S(t)、主観評価情報E(T)、およびPlating結果情報V(T)が入力される。学習器６１は学習サーバ５１に設けられる。
　Plating動作情報S(t)により表されるPlating動作によって、Plating結果情報V(T)により表されるPlatingが得られるから、学習器６１においては、Plating結果情報V(T)を入力したときにPlating動作情報S(t)を出力するようなニューラルネットワークを構成するパラメータの学習が行われる。
　また、主観評価情報E(T)は、Plating結果情報V(T)により表されるPlatingについての主観評価であるから、主観評価情報E(T)とPlating結果情報V(T)の関係の学習が行われる。
　ある料理の主観評価情報E(T)とPlating結果情報V(T)を入力したときに、図１８に示すように、その料理のPlating動作情報S(t)を出力するようなニューラルネットワークがPlating生成モデルとして学習される。
　ここで、主観評価情報E(T)を変更し、変更後の主観評価情報E(T)と、Plating結果情報V(T)を入力した場合、Plating生成モデルからは、少なくとも一部が変更されたPlating動作情報S(t)が出力される。
　少なくとも一部が変更されたPlating動作情報S(t)により実現されるPlatingは、Plating結果情報V(T)により表されるPlatingとは異なるPlating、すなわち、新たなPlatingとなる。
　図２を参照して説明したような画面を用いてシェフにより指定されたPlating主観評価が、ここでいう変更後の主観評価情報E(T)に対応する。また、図３に示すような画面を用いてシェフにより指定されたPlatingイメージ画像がPlating結果情報V(T)に対応する。
　シェフにより指定されたPlating主観評価とPlatingイメージ画像を入力した場合、Plating生成モデルからは、Platingイメージ画像により表されるPlatingとは異なるPlatingを実現するためのPlating動作情報S(t)が出力されることになる。
　例えば、Plating生成モデルとして、RNNPB(Recurrent Neural Network with Parametric Bias)が用いられる。RNNPBは、再帰結合を持つことで、非線形な時系列データを学習／予測することができるニューラルネットワークである。また、あるパターンに対応するPB値を入力することによって、所望のパターンを出力させることができるものである。
　図１９は、RNNPBを用いた予測の例を示す図である。
　図１９に示すように、Plating生成モデルを構成するRNNPBは、時刻tのPlating動作情報を入力したときに時刻t+1のPlating動作情報を出力する下位の階層と、主観評価と、Plating結果情報V(T)に対応するPB値（PB(t’)）とを入力したときに、下位の階層のPB値(PBt)として用いられる値を出力する上位の階層とから構成される。
　図１９の例においては、シェフにより指定されたPlating主観評価として、明るさ５、優しさ３、荒々しさ１、シンプルさ２、・・・がRNNPBに対して入力されている。また、あるPlatingイメージ画像に対応するPB値がRNNPBに対して入力されている。
　ここで、明るさ５、優しさ３、荒々しさ１、シンプルさ２、・・・のシェフにより指定されたPlating主観評価は、Platingイメージ画像として選択されたサンプル画像に設定されている主観評価（図４）とは異なるものである。これにより、RNNPBから出力されるPlating動作情報S(t)は、Platingイメージ画像により表されるPlatingとは異なるPlatingを実現するためのPlating動作情報S(t)となる。
　なお、Plating生成モデルを構成するニューラルネットワークはRNNPBに限定されるものではない。主観評価情報E(T)およびPlating結果情報V(T)と、Plating動作情報S(t)との関係が学習されることによって生成された各種のニューラルネットワークによりPlating生成モデルが構成されるようにすることが可能である。
　図２０は、Plating生成モデルが出力するPlating動作情報S(t)の例を示す図である。
　図２０に示すように、Plating動作情報S(t)は、学習データとなる図８のPlating動作情報に対応する形で、どの食材を盛り付けるのかに関する情報、どのような動きで盛り付けるのかに関する情報、どのツールを用いて盛り付けるのかに関する情報、どこに配置するのかに関する情報、何の食器に盛り付けるのかに関する情報の時系列データとなる。
　Plating生成モデルが出力するこれらの情報を提示することが、新たなPlatingを提示することになる。
＜各装置の構成と動作＞
・情報処理装置１の構成
　図２１は、情報処理装置１のハードウェアの構成例を示すブロック図である。
　図２１に示すように、情報処理装置１はタブレット端末などのコンピュータにより構成される。CPU(Central Processing Unit)１０１、ROM(Read Only Memory)１０２、RAM(Random Access Memory)１０３は、バス１０４により相互に接続される。
　バス１０４には、さらに、入出力インタフェース１０５が接続される。入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７が接続される。
　また、入出力インタフェース１０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、リムーバブルメディア１１１を駆動するドライブ１１０が接続される。
　CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを入出力インタフェース１０５およびバス１０４を介してRAM１０３にロードして実行することにより、新たなPlatingの生成などの各種の処理が行われる。
　図２２は、情報処理装置１の機能構成例を示すブロック図である。
　図２２に示す機能部のうちの少なくとも一部は、図２１のCPU１０１により所定のプログラムが実行されることによって実現される。
　図２２に示すように、情報処理装置１においては情報処理部１５１が実現される。情報処理部１５１は、取得部１６１、Plating生成部１６２、および提示部１６３から構成される。
　取得部１６１は、シェフにより指定されたPlating主観評価とPlatingイメージ画像を取得する。取得部１６１により取得された情報はPlating生成部１６２に供給される。
　Plating生成部１６２は、Plating生成モデルを有している。Plating生成部１６２は、取得部１６１から供給されたPlating主観評価とPlatingイメージ画像をPlating生成モデルに入力し、Plating動作情報S(t)を出力する。
　Plating生成部１６２は、Plating動作情報S(t)の内容を表す情報を、新たなPlatingの情報として提示部１６３に出力する。Plating生成モデルから出力されたPlating動作情報S(t)に基づいて実現されるPlatingのイメージを表す画像がPlating生成部１６２において生成され、提示部１６３に対して供給されるようにしてもよい。
　提示部１６３は、Plating生成部１６２から供給された新たなPlatingの情報を提示する。Platingの提示は、スピーカからの音声によって行われるようにしてもよいし、ディスプレイの画面表示によって行われるようにしてもよい。提示部１６３により、例えば、新たなPlatingを実現するための各動作の説明が順にシェフに対して提示される。
・情報処理装置１の動作
　図２３のフローチャートを参照して、新たなPlatingを生成する情報処理装置１の処理について説明する。
　ステップＳ１において、取得部１６１は、シェフがイメージするPlatingの主観評価を取得する。
　ステップＳ２において、取得部１６１は、シェフのPlatingのイメージを表すPlatingイメージ画像を取得する。
　ステップＳ３において、Plating生成部１６２は、シェフにより指定されたPlating主観評価とPlatingイメージ画像をPlating生成モデルに入力し、Plating動作情報S(t)を出力する。
　ステップＳ４において、提示部１６３は、Plating生成部１６２から供給された新たなPlatingの情報をシェフに対して提示する。
　以上の処理により、情報処理装置１は、新たなPlatingを生成し、シェフに対して提示することができる。情報処理装置１によるPlatingの提示は、あらかじめ用意されている複数のPlatingの中から条件に合うPlatingを選択することによって行われるのではなく、その都度、シェフにより指定された条件に応じて生成することによって行われる。
　シェフは、自分のイメージに合うPlatingの提示を受けて、提示の通りにPlatingを行ってみたり、そこからヒントを得て新たなPlatingを創造したりすることができる。
　以上においては、Plating主観評価とPlatingイメージ画像をシェフが指定するものとしたが、Platingイメージ画像に代えて、Platingに関するキーワードを指定することができるようにしてもよい。
　キーワードが指定された場合、そのキーワードを属性情報に含むサンプル画像が選択され、Platingイメージ画像として用いられる。図４を参照して説明したように、それぞれのサンプル画像の属性情報にはキーワードが設定されている。
　また、サンプル画像同士の類似度が設定されている場合、シェフが選択したサンプル画像に類似するサンプル画像がPlatingイメージ画像として用いられるようにしてもよい。
　これにより、シェフが意図していないPlatingが生成され、提示される可能性がある。
　また、サンプル画像に対してシェフが修正を加えることができるようにしてもよい。サンプル画像の修正は、例えば、修正したい部分をクリックし、形状や色を変えるための画面上の操作によって行われる。サンプル画像の修正が行われた場合、修正後のサンプル画像がPlatingイメージ画像として用いられ、Platingが生成される。
　これにより、自分のイメージが表現されているサンプル画像がない場合であっても、シェフは、自分のイメージ通りのPlatingイメージ画像を指定して、Platingの生成を行わせることができる。
　画面に表示されたサンプル画像を見て、Platingイメージ画像とするサンプル画像を指定するのではなく、手書きでイラストを描くなどして、Platingイメージ画像の指定が行われるようにしてもよい。手書きでイラストが描かれた場合、イラストに近いサンプル画像が検索され、そのサンプル画像がPlatingイメージ画像として用いられる。
　一度提示されたPlatingに対して、シェフによる発話に応じた変更が施されるようにしてもよい。例えば、「もっと明るく」、「もっと春らしく」などのような発話が行われた場合、シェフの発話の内容に応じてPlating主観評価が変更され、変更後のPlating主観評価を用いて、Platingの生成が行われる。
　また、一度提示されたPlatingに対して、食材を変更することを指定することができるようにしてもよい。例えば、バニラソースを用いたPlatingが提示された場合において、ストロベリーソースを用いたPlatingに変更することが指示されたとき、先に指定されたサンプル画像に類似し、ストロベリーソースを用いたPlatingのサンプル画像が検索され、そのサンプル画像がPlatingイメージ画像として用いられる。
　このように、Plating主観評価とPlatingイメージ画像の指定の方法として、各種の方法を用いることができる。
・ネットワークシステムの構成
　図２４は、ネットワークシステムの構成例を示す図である。
　図２４は、新たなPlatingの生成がインターネット上のPlating生成サーバ１７１において行われる場合の構成を示している。Plating生成サーバ１７１には、図２２に示す情報処理部１５１の構成と同じ構成が設けられる。
　Plating生成サーバ１７１とシェフ側に設けられた情報処理装置１との間では、インターネットを介して通信が行われる。情報処理装置１からPlating生成サーバ１７１に対しては、シェフにより指定されたPlating主観評価とPlatingイメージ画像を表す情報が送信される。
　Plating生成サーバ１７１の取得部１６１は、情報処理装置１から送信されてきたPlating主観評価とPlatingイメージ画像を受信する。
　Plating生成部１６２は、情報処理装置１から送信されてきたPlating主観評価とPlatingイメージ画像に基づいて、上述したようにしてPlatingを生成する。
　提示部１６３は、Plating生成部１６２により生成されたPlatingの情報を情報処理装置１に対して送信し、シェフに対して提示させる。
　このように、インターネット上のPlating生成サーバ１７１において新たなPlatingが生成されるようすることが可能である。
＜調理ロボットの制御の例＞
・制御システムの構成
　以上においては、人であるシェフを対象としたPlatingの生成について説明したが、調理ロボットを対象としたPlatingが生成されるようにしてもよい。この場合、新たに生成されたPlatingに応じたPlating動作が、調理ロボットにより行われる。
　図２５は、制御システムの構成例を示す図である。
　図２５に示すように、制御システムは、データ処理装置３０１と調理ロボット３０２から構成される。調理ロボット３０２は、調理アームなどの駆動系の装置、および、各種のセンサを有し、調理を行う機能を搭載したロボットである。調理ロボット３０２は、例えば家庭内に設置される。
　データ処理装置３０１は、調理ロボット３０２を制御する装置である。データ処理装置３０１はコンピュータなどにより構成される。
　図２５の左端に示すように、データ処理装置３０１による調理ロボット３０２の制御は、料理毎に用意されるレシピデータに基づいて行われる。レシピデータには、それぞれの調理工程とPlating工程に関する情報が記述されている。データ処理装置３０１に供給されるレシピデータは、例えば、外部から入力された調理工程に関する情報と、自分が生成したPlating工程に関する情報とを紐付けることによって、Plating生成部１６２（図２２）において生成される。Plating生成部１６２は、調理ロボット３０２の制御に用いられるレシピデータを生成するレシピデータ生成部としても機能する。
　データ処理装置３０１は、レシピデータに基づいて調理ロボット３０２を制御し、料理を作らせることになる。図２２の情報処理部１５１により生成されたPlatingの情報を含むレシピのデータが、データ処理装置３０１に対して供給され、調理ロボット３０２の制御に用いられる。
　例えば、矢印Ａ１に示すようにレシピデータが入力された場合、データ処理装置３０１は、矢印Ａ２に示すように、レシピデータの記述に基づいて命令コマンドを出力することによって、調理ロボット３０２の調理動作を制御する。
　調理ロボット３０２は、データ処理装置３０１から供給された命令コマンドに従って調理アームなどの各部を駆動し、各調理工程の動作を行う。また、調理ロボット３０２は、データ処理装置３０１から供給された命令コマンドに従って調理アームなどの各部を駆動し、Plating工程の動作を行う。命令コマンドには、調理アームに設けられたモータのトルク、駆動方向、駆動量を制御する情報などが含まれる。
　料理が完成するまでの間、データ処理装置３０１から調理ロボット３０２に対して命令コマンドが順次出力される。命令コマンドに応じた動作を調理ロボット３０２がとることにより、最終的に、料理が完成することになる。
　図２６は、レシピデータの記述内容の例を示す図である。
　図２６に示すように、１つのレシピデータは、複数の調理工程データセットから構成される。図２６の例においては、調理工程＃１に関する調理工程データセット、調理工程＃２に関する調理工程データセット、・・・、調理工程＃Ｎに関する調理工程データセットが含まれる。
　各調理工程データセットには、調理工程を実現するための調理動作に関する情報である調理動作情報が含まれる。例えば、１つの調理工程を実現するための調理動作情報の時系列データにより１つの調理工程データセットが構成される。
　調理動作情報には、食材情報と動作情報が含まれる。
　食材情報は、調理工程において用いる食材に関する情報である。食材に関する情報には、食材の種類、食材の量、食材の大きさなどを表す情報が含まれる。
　なお、食材には、調理が全く施されていない食材だけでなく、ある調理が施されることによって得られた調理済み（下処理済み）の食材も含まれる。ある調理工程の調理動作情報に含まれる食材情報には、それより前の調理工程を経た食材の情報が含まれる。
　動作情報は、調理工程における調理アームなどの動きに関する情報である。動きに関する情報には、調理に用いる調理ツールの種類を表す情報などが含まれる。
　例えば、ある食材を切る調理工程の動作情報には、調理ツールとして包丁を使うことを表す情報、切る位置、切る回数、切り方の力加減、角度、スピードなどを表す情報が含まれる。
　また、食材としての液体が入った鍋をかき混ぜる調理工程の動作情報には、調理ツールとしておたまを使うことを表す情報、かき混ぜ方の力加減、角度、スピード、時間などを表す情報が含まれる。
　ある食材を、オーブンを使って焼く調理工程の動作情報には、調理ツールとしてオーブンを使うことを表す情報、オーブンの火力、焼き時間などを表す情報が含まれる。
　また、図２６に示すように、１つのレシピデータには、Plating工程データセットが含まれる。Plating工程データセットには、Plating工程を実現するためのPlating動作情報が含まれる。例えば、Plating工程を実現するためのPlating動作情報の時系列データによりPlating工程データセットが構成される。
　図２７は、レシピデータに基づく料理の再現の流れの例を示す図である。
　図２７に示すように、調理ロボット３０２による料理の再現は、レシピデータに記述された調理工程データセットに含まれる各時刻の調理動作情報に基づいて調理を行うことを、調理工程毎に繰り返すことによって行われる。調理工程＃１～＃Ｎの複数の調理工程を経て、Platingに用いられる食材が用意される。
　調理工程＃Ｎの終了後、Plating工程データセットに含まれる各時刻のPlating動作情報に基づいてPlating動作が行われることによって、料理の完成となる。
　図２７の例においては全ての調理工程が終わってからPlating工程が行われるものとされているが、Plating工程は、適宜、他の調理工程の前のタイミングで行われることもある。
　図２８は、データ処理装置３０１の配置例を示す図である。
　図２８のＡに示すように、データ処理装置３０１は、例えば調理ロボット３０２の外部の装置として設けられる。図２８のＡの例においては、データ処理装置３０１と調理ロボット３０２は、インターネットなどのネットワークを介して接続されている。
　データ処理装置３０１から送信された命令コマンドは、ネットワークを介して調理ロボット３０２により受信される。調理ロボット３０２からデータ処理装置３０１に対しては、調理ロボット３０２のカメラにより撮影された画像、調理ロボット３０２に設けられたセンサにより計測されたセンサデータなどの各種のデータがネットワークを介して送信される。
　図２８のＢに示すように、データ処理装置３０１が調理ロボット３０２の筐体の内部に設けられるようにしてもよい。この場合、データ処理装置３０１が生成する命令コマンドに従って、調理ロボット３０２の各部の動作が制御される。
　以下、主に、データ処理装置３０１が、調理ロボット３０２の外部の装置として設けられるものとして説明する。
・調理ロボットの外観
　図２９は、調理ロボット３０２の外観を示す斜視図である。
　図２９に示すように、調理ロボット３０２は、横長直方体状の筐体３１１を有するキッチン型のロボットである。調理ロボット３０２の本体となる筐体３１１の内部に各種の構成が設けられる。
　筐体３１１の背面側には調理補助システム３１２が設けられる。薄板状の部材で区切ることによって調理補助システム３１２に形成された各スペースは、冷蔵庫、オーブンレンジ、収納などの、調理アーム３２１－１乃至３２１－４による調理を補助するための機能を有する。
　天板３１１Ａには長手方向にレールが設けられており、そのレールに調理アーム３２１－１乃至３２１－４が設けられる。調理アーム３２１－１乃至３２１－４は、移動機構としてのレールに沿って位置を変えることが可能とされる。
　調理アーム３２１－１乃至３２１－４は、円筒状の部材を関節部で接続することによって構成されるロボットアームである。調理に関する各種の作業が調理アーム３２１－１乃至３２１－４により行われる。
　天板３１１Ａの上方の空間が、調理アーム３２１－１乃至３２１－４が調理を行う調理空間となる。
　図２９においては４本の調理アームが示されているが、調理アームの数は４本に限定されるものではない。以下、適宜、調理アーム３２１－１乃至３２１－４のそれぞれを区別する必要がない場合、まとめて調理アーム３２１という。
　図３０は、調理アーム３２１の様子を拡大して示す図である。
　図３０に示すように、調理アーム３２１の先端には、各種の調理機能を有するアタッチメントが取り付けられる。調理アーム３２１用のアタッチメントとして、食材や食器などを掴むマニピュレーター機能（ハンド機能）を有するアタッチメント、食材をカットするナイフ機能を有するアタッチメントなどの各種のアタッチメントが用意される。
　図３０の例においては、ナイフ機能を有するアタッチメントであるナイフアタッチメント３３１－１が調理アーム３２１－１に取り付けられている。ナイフアタッチメント３３１－１を用いて、天板３１１Ａの上に置かれた肉の塊がカットされている。
　調理アーム３２１－２には、食材を固定させたり、食材を回転させたりすることに用いられるアタッチメントであるスピンドルアタッチメント３３１－２が取り付けられている。
　調理アーム３２１－３には、食材の皮をむくピーラーの機能を有するアタッチメントであるピーラーアタッチメント３３１－３が取り付けられている。
　スピンドルアタッチメント３３１－２を用いて調理アーム３２１－２により持ち上げられているジャガイモの皮が、ピーラーアタッチメント３３１－３を用いて調理アーム３２１－３によりむかれている。このように、複数の調理アーム３２１が連携して１つの作業を行うことも可能とされる。
　調理アーム３２１－４には、マニピュレーター機能を有するアタッチメントであるマニピュレーターアタッチメント３３１－４が取り付けられている。マニピュレーターアタッチメント３３１－４を用いて、チキンを載せたフライパンが、オーブン機能を有する調理補助システム３１２のスペースに運ばれている。
　このような調理アーム３２１による調理動作とPlating動作は、作業の内容に応じてアタッチメントを適宜取り替えて進められる。４本の調理アーム３２１のそれぞれにマニピュレーターアタッチメント３３１－４を取り付けるといったように、同じアタッチメントを複数の調理アーム３２１に取り付けることも可能とされる。
　調理ロボット３０２による調理動作とPlating動作は、調理アーム用のツールとして用意された以上のようなアタッチメントを用いて行われるだけでなく、適宜、人が調理に使うツールと同じツールを用いて行われる。例えば、人が使うナイフをマニピュレーターアタッチメント３３１－４によって掴み、ナイフを用いて食材のカットなどの調理が行われる。
・調理アームの構成
　図３１は、調理アーム３２１の外観を示す図である。
　図３１に示すように、調理アーム３２１は、全体的に、細い円筒状の部材を、関節部となるヒンジ部で接続することによって構成される。各ヒンジ部には、各部材を駆動させるための力を生じさせるモータなどが設けられる。
　円筒状の部材として、先端から順に、着脱部材３５１、中継部材３５３、およびベース部材３５５が設けられる。
　着脱部材３５１と中継部材３５３はヒンジ部３５２によって接続され、中継部材３５３とベース部材３５５はヒンジ部３５４によって接続される。
　着脱部材３５１の先端には、アタッチメントが着脱される着脱部３５１Ａが設けられる。着脱部材３５１は、各種のアタッチメントが着脱される着脱部３５１Ａを有し、アタッチメントを動作させることによって調理を行う調理機能アーム部として機能する。
　ベース部材３５５の後端には、レールに取り付けられる着脱部３５６が設けられる。ベース部材３５５は、調理アーム３２１の移動を実現する移動機能アーム部として機能する。
　図３２は、調理アーム３２１の各部の可動域の例を示す図である。
　楕円＃１で囲んで示すように、着脱部材３５１は、円形断面の中心軸を中心として回転可能とされる。楕円＃１の中心に示す扁平の小円は、一点鎖線の回転軸の方向を示す。
　円＃２で囲んで示すように、着脱部材３５１は、ヒンジ部３５２との嵌合部３５１Ｂを通る軸を中心として回転可能とされる。また、中継部材３５３は、ヒンジ部３５２との嵌合部３５３Ａを通る軸を中心として回転可能とされる。
　円＃２の内側に示す２つの小円はそれぞれの回転軸の方向（紙面垂直方向）を示す。嵌合部３５１Ｂを通る軸を中心とした着脱部材３５１の可動範囲と、嵌合部３５３Ａを通る軸を中心とした中継部材３５３の可動範囲は、それぞれ例えば９０度の範囲である。
　中継部材３５３は、先端側の部材３５３－１と、後端側の部材３５３－２により分離して構成される。楕円＃３で囲んで示すように、中継部材３５３は、部材３５３－１と部材３５３－２との連結部３５３Ｂにおいて、円形断面の中心軸を中心として回転可能とされる。他の可動部も、基本的に同様の可動域を有する。
　このように、先端に着脱部３５１Ａを有する着脱部材３５１、着脱部材３５１とベース部材３５５を連結する中継部材３５３、後端に着脱部３５６が接続されるベース部材３５５は、それぞれ、ヒンジ部により回転可能に接続される。各可動部の動きが、調理ロボット３０２内のコントローラにより命令コマンドに従って制御される。
　図３３は、調理アームとコントローラの接続の例を示す図である。
　図３３に示すように、調理アーム３２１とコントローラ３６１は、筐体３１１の内部に形成された空間３１１Ｂ内において配線を介して接続される。図３３の例においては、調理アーム３２１－１乃至３２１－４とコントローラ３６１は、それぞれ、配線３６２－１乃至３６２－４を介して接続されている。可撓性を有する配線３６２－１乃至３６２－４は、調理アーム３２１－１乃至３２１－４の位置に応じて適宜撓むことになる。
・調理ロボット３０２の構成
　図３４は、調理ロボット３０２の構成例を示すブロック図である。
　調理ロボット３０２は、調理ロボット３０２の動作を制御する制御装置としてのコントローラ３６１（図３３）に対して各部が接続されることによって構成される。図３４に示す構成のうち、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　コントローラ３６１に対しては、調理アーム３２１の他に、カメラ４０１、センサ４０２、および通信部４０３が接続される。
　コントローラ３６１は、CPU，ROM，RAM、フラッシュメモリなどを有するコンピュータにより構成される。コントローラ３６１は、CPUにより所定のプログラムを実行し、調理ロボット３０２の全体の動作を制御する。コントローラ３６１によってデータ処理装置３０１が構成されるようにしてもよい。
　例えば、コントローラ３６１は、通信部４０３を制御し、カメラ４０１により撮影された画像とセンサ４０２により測定されたセンサデータをデータ処理装置３０１に送信する。
　コントローラ３６１においては、所定のプログラムが実行されることにより、命令コマンド取得部４１１、アーム制御部４１２が実現される。
　命令コマンド取得部４１１は、データ処理装置３０１から送信され、通信部４０３において受信された命令コマンドを取得する。命令コマンド取得部４１１により取得された命令コマンドはアーム制御部４１２に供給される。
　アーム制御部４１２は、命令コマンド取得部４１１により取得された命令コマンドに従って調理アーム３２１の動作を制御する。
　カメラ４０１は、調理ロボット３０２の周囲の様子を撮影し、撮影によって得られた画像をコントローラ３６１に出力する。カメラ４０１は、調理補助システム３１２の正面、調理アーム３２１の先端などの様々な位置に設けられる。
　センサ４０２は、温湿度センサ、圧力センサ、光センサ、距離センサ、人感センサ、測位センサ、振動センサなどの各種のセンサにより構成される。センサ４０２による測定は所定の周期で行われる。センサ４０２による測定結果を示すセンサデータはコントローラ３６１に供給される。
　カメラ４０１とセンサ４０２が、調理ロボット３０２の筐体３１１から離れた位置に設けられるようにしてもよい。
　通信部４０３は、無線LANモジュール、LTE(Long Term Evolution)に対応した携帯通信モジュールなどの無線通信モジュールである。通信部４０３は、データ処理装置３０１や、インターネット上のサーバなどの外部の装置との間で通信を行う。
　図３４に示すように、調理アーム３２１にはモータ４２１とセンサ４２２が設けられる。
　モータ４２１は、調理アーム３２１の各関節部に設けられる。モータ４２１は、アーム制御部４１２による制御に従って軸周りの回転動作を行う。モータ４２１の回転量を測定するエンコーダ、モータ４２１の回転をエンコーダによる測定結果に基づいて適応的に制御するドライバなども各関節部に設けられる。
　センサ４２２は、例えばジャイロセンサ、加速度センサ、タッチセンサなどにより構成される。センサ４２２は、調理アーム３２１の動作中、各関節部の角速度、加速度などを測定し、測定結果を示す情報をコントローラ３６１に出力する。調理ロボット３０２からデータ処理装置３０１に対しては、適宜、センサ４２２の測定結果を示すセンサデータも送信される。
・データ処理装置３０１の構成
　図３５は、データ処理装置３０１の機能構成例を示すブロック図である。
　図３５に示す機能部のうちの少なくとも一部は、データ処理装置３０１を構成するコンピュータのCPUにより所定のプログラムが実行されることによって実現される。
　図３５に示すように、データ処理装置３０１においてはコマンド生成部４３１が実現される。コマンド生成部４３１は、レシピデータ取得部４５１、ロボット状態推定部４５２、制御部４５３、およびコマンド出力部４５４から構成される。
　レシピデータ取得部４５１は、情報処理装置１などにおいて新たに生成されたレシピデータを取得し、制御部４５３に出力する。Platingを含むレシピ全体の生成機能を有する情報処理部１５１（図２２）がレシピデータ取得部４５１内に設けられるようにしてもよい。
　ロボット状態推定部４５２は、調理ロボット３０２から送信されてきた画像とセンサデータを受信する。調理ロボット３０２からは、調理ロボット３０２のカメラにより撮影された画像と、調理ロボット３０２の所定の位置に設けられたセンサにより測定されたセンサデータが所定の周期で送信されてくる。調理ロボット３０２のカメラにより撮影された画像には、調理ロボット３０２の周囲の様子が写っている。
　ロボット状態推定部４５２は、調理ロボット３０２から送信されてきた画像とセンサデータを解析することによって、調理アーム３２１の状態、食材の状態などの、調理ロボット３０２の周囲の状態や調理工程の状態を推定する。ロボット状態推定部４５２により推定された調理ロボット３０２の周囲の状態などを示す情報は、制御部４５３に供給される。
　制御部４５３は、レシピデータ取得部４５１から供給されたレシピデータに記述される調理工程データセットとPlating工程データセットに基づいて、調理ロボット３０２を制御するための命令コマンドを生成する。例えば、調理工程データセットに含まれる調理動作情報により表される通りの動作を調理アーム３２１に行わせるための命令コマンドが生成される。
　命令コマンドの生成には、ロボット状態推定部４５２により推定された調理ロボット３０２の周囲の状態なども参照される。制御部４５３により生成された命令コマンドはコマンド出力部４５４に供給される。
　コマンド出力部４５４は、制御部４５３により生成された命令コマンドを調理ロボット３０２に送信する。
・データ処理装置３０１の動作
　図３６のフローチャートを参照して、調理ロボット３０２の動作を制御するデータ処理装置３０１の処理について説明する。
　ステップＳ１０１において、レシピデータ取得部４５１は、情報処理装置１などにより生成されたレシピを表すレシピデータを取得する。
　ステップＳ１０２において、制御部４５３は、レシピデータに記述される調理工程データセットに基づいて、所定の調理動作を選択し、選択した調理動作を行わせるための命令コマンドを生成する。例えば、調理工程データセットが調理工程の順に選択されるとともに、選択された調理工程に含まれる調理動作が実行順に選択される。
　ステップＳ１０３において、コマンド出力部４５４は、命令コマンドを調理ロボット３０２に送信し、調理動作を実行させる。
　ステップＳ１０４において、ロボット状態推定部４５２は、調理ロボット３０２の状態を推定する。
　ステップＳ１０５において、制御部４５３は、全ての調理動作が終了したか否かを判定する。全ての調理動作が終了していないとステップＳ１０５において判定した場合、ステップＳ１０２に戻り、次の調理動作を選択して、以上の処理が繰り返される。
　全ての調理動作が終了したとステップＳ１０５において判定された場合、ステップＳ１０６において、制御部４５３は、レシピデータに記述されるPlating工程データセットに基づいて、Plating動作を行わせるための命令コマンドを生成する。
　ステップＳ１０７において、コマンド出力部４５４は、命令コマンドを調理ロボット３０２に送信し、Plating動作を実行させる。
　ステップＳ１０８において、ロボット状態推定部４５２は、調理ロボット３０２の状態を推定する。
　ステップＳ１０９において、制御部４５３は、Plating動作が終了したか否かを判定する。Plating動作が終了していないとステップＳ１０９において判定した場合、ステップＳ１０６に戻り、以上の処理が繰り返される。
　Plating動作が終了したとステップＳ１０９において判定された場合、処理は終了となる。このとき、情報処理装置１などにより生成された新たなレシピデータに基づいて、料理が完成することになる。
　このように、調理アームを使って調理を行うロボットを制御するためのレシピデータが情報処理装置１により生成されるようにすることが可能である。
　図３７は、制御システムの他の構成例を示す図である。
　図３７に示す制御システムにおいては、調理ロボット３０２に代えて、電子レンジなどの電子調理器具３０３が設けられている。電子調理器具３０３は、データ処理装置３０１から供給された命令コマンドに従って調理動作とPlating動作を行い、調理を行うことになる。加熱機能を有する電子調理器具３０３においては、例えば、チョコレートなどの食材を加熱して料理上で溶かすなどのPlating動作が行われる。
　このように、調理動作とPlating動作を自動的に行う各種の機器の制御にレシピデータが用いられるようにすることが可能である。
＜その他の例＞
　調理工程とPlating工程の両方の工程が調理ロボット３０２により行われるものとしたが、調理工程についてはシェフにより行われ、Plating工程のみが調理ロボット３０２により行われるようにしてもよい。この場合、レシピデータには、Plating工程に関する情報だけが記述される。
・コンピュータの構成例
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
　インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図２１に示されるリムーバブルメディア１１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
　コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　１　情報処理装置，　５１　学習サーバ，　６１　学習器，　１５１　情報処理部，　１６１　取得部，　１６２　Plating生成部，　１６３　提示部，　１７１　Plating生成サーバ，　３０１　データ処理装置，　３０２　調理ロボット

Claims (19)

  1. 　料理の盛り付けに用いられた食材に関する情報である食材情報、調理人の盛り付け動作に関する情報である盛り付け動作情報、および、盛り付けに用いられた調理ツールに関する情報である調理ツール情報を含む盛り付け情報に基づいて、新たな盛り付けに関する情報である新たな盛り付け情報を生成する盛り付け生成部を備える
    　情報処理装置。
  2. 　前記盛り付け生成部は、前記盛り付け情報の時系列データに基づいて、各時刻の盛り付け動作に関する情報を含む前記新たな盛り付け情報を生成する
    　請求項１に記載の情報処理装置。
  3. 　前記盛り付け生成部は、盛り付けられた食材の配置に関する情報である配置情報をさらに含む前記盛り付け情報に基づいて、前記新たな盛り付け情報を生成する
    　請求項１に記載の情報処理装置。
  4. 　前記盛り付け生成部は、盛り付けに用いられた食器に関する情報である食器情報をさらに含む前記盛り付け情報に基づいて、前記新たな盛り付け情報を生成する
    　請求項１に記載の情報処理装置。
  5. 　前記新たな盛り付けに用いる食材を用意する際の調理工程に関する情報である調理工程情報と前記新たな盛り付け情報とを紐付けることによって、レシピデータを生成するレシピ生成部をさらに備える
    　請求項１に記載の情報処理装置。
  6. 　所定の料理の前記レシピデータに基づいて、前記調理工程と前記新たな盛り付けの工程を調理ロボットに行わせるための命令コマンドを生成する命令コマンド生成部をさらに備える
    　請求項５に記載の情報処理装置。
  7. 　前記食材情報、前記盛り付け動作情報、および前記調理ツール情報の少なくともいずれかは、前記調理人による盛り付けの様子を撮影して得られた画像を解析することによって、または、前記調理人による盛り付けの動作を測定したセンサデータを解析することによって得られた情報である
    　請求項１に記載の情報処理装置。
  8. 　前記盛り付け生成部は、前記盛り付け情報の時系列データと、前記調理人の盛り付けに対する人の主観評価を表す主観情報と、前記調理人の盛り付け結果を表す画像とに基づいて学習を行うことによって生成されたモデルに基づいて、前記新たな盛り付け情報を生成する
    　請求項２に記載の情報処理装置。
  9. 　前記モデルは、盛り付けに対する人の主観評価と、所定の盛り付け結果を表す画像とを入力とし、前記新たな盛り付けに関する時系列データを出力とするニューラルネットワークである
    　請求項８に記載の情報処理装置。
  10. 　前記新たな盛り付けを要求するユーザによる入力に基づいて、前記モデルの入力となる前記主観評価と前記所定の盛り付け結果を表す画像とを取得する取得部をさらに備える
    　請求項９に記載の情報処理装置。
  11. 　情報処理装置が、
    　料理の盛り付けに用いられた食材に関する情報である食材情報、調理人の盛り付け動作に関する情報である盛り付け動作情報、および、盛り付けに用いられた調理ツールに関する情報である調理ツール情報を含む盛り付け情報に基づいて、新たな盛り付けに関する情報である新たな盛り付け情報を生成する
    　情報処理方法。
  12. 　料理の盛り付けに用いられた食材に関する情報である食材情報、調理人の盛り付け動作に関する情報である盛り付け動作情報、および、盛り付けに用いられた調理ツールに関する情報である調理ツール情報を含む盛り付け情報に基づいて生成された、新たな盛り付けに関する情報である新たな盛り付け情報に基づいて、前記新たな盛り付けの動作を行う制御部を備える
    　調理ロボット。
  13. 　前記盛り付け情報の時系列データに基づいて生成された前記新たな盛り付け情報は、各時刻の盛り付け動作に関する情報を含む情報である
    　請求項１２に記載の調理ロボット。
  14. 　前記新たな盛り付け情報は、盛り付けられた食材の配置に関する情報である配置情報をさらに含む前記盛り付け情報に基づいて生成された情報である
    　請求項１２に記載の調理ロボット。
  15. 　前記新たな盛り付け情報は、盛り付けに用いられた食器に関する情報である食器情報をさらに含む前記盛り付け情報に基づいて生成された情報である
    　請求項１２に記載の調理ロボット。
  16. 　前記制御部は、前記新たな盛り付けに用いる食材を用意する際の調理工程に関する情報である調理工程情報と前記新たな盛り付け情報とを紐付けることによって生成されたレシピデータに基づいて、前記調理工程の動作と前記新たな盛り付けの動作とを制御する
    　請求項１２に記載の調理ロボット。
  17. 　前記レシピデータに基づいて、前記調理工程と前記新たな盛り付けの工程を行わせる命令コマンドを生成する命令コマンド生成部をさらに備える
    　請求項１６に記載の調理ロボット。
  18. 　調理ロボットが、
    　料理の盛り付けに用いられた食材に関する情報である食材情報、調理人の盛り付け動作に関する情報である盛り付け動作情報、および、盛り付けに用いられた調理ツールに関する情報である調理ツール情報を含む盛り付け情報に基づいて生成された、新たな盛り付けに関する情報である新たな盛り付け情報に基づいて、前記新たな盛り付けの動作を行う
    　調理方法。
  19. 　料理の盛り付けに用いられた食材に関する情報である食材情報、調理人の盛り付け動作に関する情報である盛り付け動作情報、および、盛り付けに用いられた調理ツールに関する情報である調理ツール情報を含む盛り付け情報に基づいて生成された、新たな盛り付けに関する情報である新たな盛り付け情報に基づいて、前記新たな盛り付けの動作を行う制御部を備える
    　調理器具。
PCT/JP2020/028639 2019-08-08 2020-07-27 情報処理装置、情報処理方法、調理ロボット、調理方法、および調理器具 WO2021024830A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020227001598A KR20220039707A (ko) 2019-08-08 2020-07-27 정보 처리 장치, 정보 처리 방법, 조리 로봇, 조리 방법, 및 조리 기구
US17/628,452 US20220258345A1 (en) 2019-08-08 2020-07-27 Information processing device, information processing method, cooking robot, cooking method, and cooking equipment
JP2021537230A JPWO2021024830A1 (ja) 2019-08-08 2020-07-27
EP20849834.5A EP4011255A4 (en) 2019-08-08 2020-07-27 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, COOKING PROBOT, COOKING METHOD AND COOKING UTENSIL
CN202080055844.XA CN114269213A (zh) 2019-08-08 2020-07-27 信息处理装置、信息处理方法、烹饪机器人、烹饪方法及烹饪设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019145959 2019-08-08
JP2019-145959 2019-08-08

Publications (1)

Publication Number Publication Date
WO2021024830A1 true WO2021024830A1 (ja) 2021-02-11

Family

ID=74503087

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028639 WO2021024830A1 (ja) 2019-08-08 2020-07-27 情報処理装置、情報処理方法、調理ロボット、調理方法、および調理器具

Country Status (6)

Country Link
US (1) US20220258345A1 (ja)
EP (1) EP4011255A4 (ja)
JP (1) JPWO2021024830A1 (ja)
KR (1) KR20220039707A (ja)
CN (1) CN114269213A (ja)
WO (1) WO2021024830A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150161912A1 (en) * 2013-12-09 2015-06-11 Lnternational Business Machines Corporation Analytics-based design and planning of creative menus
US20160179935A1 (en) * 2014-12-17 2016-06-23 International Business Machines Corporation Techniques for modifying recipes to reduce preparation times and/or incorporate preferred ingredients
JP2017506169A (ja) * 2014-02-20 2017-03-02 マーク オレイニク ロボット調理キッチン内の食品調製のための方法及びシステム
JP2019120485A (ja) * 2018-01-10 2019-07-22 財團法人食品工業發展研究所 食品調理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002318946A (ja) * 2001-04-18 2002-10-31 Yasushi Tsuneyama 料理品目設計方法
JP2010061383A (ja) * 2008-09-03 2010-03-18 Nikon Corp 自動レシピ作成装置およびプログラム
US10518409B2 (en) 2014-09-02 2019-12-31 Mark Oleynik Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries
CN108596233A (zh) * 2018-04-16 2018-09-28 上海小蚁科技有限公司 菜品监测方法及装置、存储介质、终端
KR101990742B1 (ko) * 2018-08-20 2019-06-18 박종목 요리 레시피 제작 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150161912A1 (en) * 2013-12-09 2015-06-11 Lnternational Business Machines Corporation Analytics-based design and planning of creative menus
JP2017506169A (ja) * 2014-02-20 2017-03-02 マーク オレイニク ロボット調理キッチン内の食品調製のための方法及びシステム
US20160179935A1 (en) * 2014-12-17 2016-06-23 International Business Machines Corporation Techniques for modifying recipes to reduce preparation times and/or incorporate preferred ingredients
JP2019120485A (ja) * 2018-01-10 2019-07-22 財團法人食品工業發展研究所 食品調理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"The easiest AI <artificial intelligence> super introduction", 28 March 2018, MYNAVI PUBLISHING, JP, ISBN: 978-4-8399-6559-4, article ONISHI, KANAKO: "Chapter 3. ", pages: 149 - 153, XP009533752 *
See also references of EP4011255A4

Also Published As

Publication number Publication date
EP4011255A1 (en) 2022-06-15
EP4011255A4 (en) 2022-09-21
JPWO2021024830A1 (ja) 2021-02-11
KR20220039707A (ko) 2022-03-29
CN114269213A (zh) 2022-04-01
US20220258345A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
US11707837B2 (en) Robotic end effector interface systems
EP3107429B1 (en) Methods and systems for food preparation in a robotic cooking kitchen
CN112088070A (zh) 用于操作机器人系统并执行机器人交互的系统及方法
US20230031545A1 (en) Robotic kitchen systems and methods in an instrumented environment with electronic cooking libraries
WO2021024830A1 (ja) 情報処理装置、情報処理方法、調理ロボット、調理方法、および調理器具
WO2021140961A1 (ja) 情報処理装置、情報処理方法
WO2020179402A1 (ja) 調理ロボット、調理ロボット制御装置、制御方法
WO2021024829A1 (ja) 情報処理装置、情報処理方法、調理ロボット、調理方法、および調理器具
WO2021200306A1 (ja) 情報処理装置、情報処理端末、情報処理方法
WO2021024828A1 (ja) 調理アーム、計測方法、および調理アーム用アタッチメント
WO2021200308A1 (ja) 制御装置、制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20849834

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021537230

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020849834

Country of ref document: EP

Effective date: 20220309