WO2020179401A1 - 調理ロボット、調理ロボット制御装置、制御方法 - Google Patents

調理ロボット、調理ロボット制御装置、制御方法 Download PDF

Info

Publication number
WO2020179401A1
WO2020179401A1 PCT/JP2020/005704 JP2020005704W WO2020179401A1 WO 2020179401 A1 WO2020179401 A1 WO 2020179401A1 JP 2020005704 W JP2020005704 W JP 2020005704W WO 2020179401 A1 WO2020179401 A1 WO 2020179401A1
Authority
WO
WIPO (PCT)
Prior art keywords
cooking
flavor
information
data
sensor
Prior art date
Application number
PCT/JP2020/005704
Other languages
English (en)
French (fr)
Inventor
藤田　雅博
かおる 吉田
ミカエル シェグフリード シュプランガー
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/426,968 priority Critical patent/US20220097239A1/en
Priority to KR1020217025153A priority patent/KR20210134619A/ko
Priority to JP2021503506A priority patent/JPWO2020179401A1/ja
Priority to EP20766076.2A priority patent/EP3932273B1/en
Priority to CN202080016746.5A priority patent/CN113473890B/zh
Publication of WO2020179401A1 publication Critical patent/WO2020179401A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0045—Manipulators used in the food industry
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23L—FOODS, FOODSTUFFS, OR NON-ALCOHOLIC BEVERAGES, NOT COVERED BY SUBCLASSES A21D OR A23B-A23J; THEIR PREPARATION OR TREATMENT, e.g. COOKING, MODIFICATION OF NUTRITIVE QUALITIES, PHYSICAL TREATMENT; PRESERVATION OF FOODS OR FOODSTUFFS, IN GENERAL
    • A23L5/00—Preparation or treatment of foods or foodstuffs, in general; Food or foodstuffs obtained thereby; Materials therefor
    • A23L5/10—General methods of cooking foods, e.g. by roasting or frying
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00—Parts, details or accessories of cooking-vessels
    • A47J36/32—Time-controlled igniting mechanisms or alarm devices
    • A47J36/321—Time-controlled igniting mechanisms or alarm devices the electronic control being performed over a network, e.g. by means of a handheld device
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J44/00—Multi-purpose machines for preparing food with several driving units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23V—INDEXING SCHEME RELATING TO FOODS, FOODSTUFFS OR NON-ALCOHOLIC BEVERAGES AND LACTIC OR PROPIONIC ACID BACTERIA USED IN FOODSTUFFS OR FOOD PREPARATION
    • A23V2002/00—Food compositions, function of food ingredients or processes for food or foodstuffs
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2643—Oven, cooking

Definitions

  • the present technology relates to a cooking robot, a cooking robot control device, and a control method, and in particular, a cooking robot and a cooking robot control capable of improving reproducibility when the same food as a cook makes by the cooking robot is reproduced.
  • the present invention relates to a device and a control method.
  • a technology is being considered to reproduce the food cooked by the cook on the cooking robot side by sensing the movement of the cook during cooking and saving and transmitting the data of the sensing result.
  • the cooking operation by the cooking robot is performed, for example, by realizing the same movement as the hand of the cook based on the sensing result.
  • the present technology has been made in view of such a situation, and it is possible to enhance the reproducibility when a cooking robot reproduces the same food that a cook cooks.
  • a cooking robot includes a cooking arm that performs a cooking operation for making a dish, a cooking operation in which information about ingredients of the dish and information about an action of a cook in a cooking process using the ingredients is described.
  • Control for controlling a cooking operation performed by the cooking arm using recipe data including a data set in which data and linked sensation data indicating the sensation of the cook who is measured in association with the progress of the cooking process are linked. And a section.
  • cooking operation data in which information about food ingredients of the dish and information about an operation of a cook in a cooking process using the food ingredients are described, and measurement is performed in association with progress of the cooking process.
  • the cooking operation performed by the cooking arm is controlled by using the recipe data including the data set linked with the sensation data indicating the sensation of the cook.
  • the present technology focuses on the difference (difference) between the sensation when the cook cooks the dish and the sensation when the cook cooks based on the recipe created by the cook.
  • the sense data which is the data of the sense of the cook when cooking, is linked and managed as recipe data.
  • the present technology reproduces, on the cooking robot side, a dish with the flavor intended by the cook by adjusting the cooking operation of the cooking robot based on the sense of the cook represented by the sensory data. It is the one that can be done.
  • the present technology adjusts the ingredients and the cooking operation by utilizing not only the sensory data but also the data sensed during the cooking operation at the time of reproduction, so that the characteristics (attribute, state, etc.) of the person eating the food ), It realizes flexible cooking.
  • FIG. 1 is a diagram illustrating an example of overall processing in a cooking system according to an embodiment of the present technology.
  • the cooking system is composed of a configuration on the chef side who cooks and a configuration on the reproduction side which reproduces the dish prepared by the chef.
  • the chef's configuration is, for example, a configuration provided in a restaurant
  • the reproduction side configuration is, for example, a configuration provided in a general household.
  • a cooking robot 1 is prepared as a configuration on the reproduction side.
  • the cooking system of FIG. 1 is a system that reproduces the same dish as the dish prepared by the chef on the cooking robot 1 as the configuration on the reproduction side.
  • the cooking robot 1 is a robot having a drive system device such as a cooking arm and various sensors and equipped with a function of cooking.
  • recipe data is provided as indicated by the arrow.
  • the recipe data describes information on dishes prepared by the chef, including cooking ingredients.
  • cooking is reproduced by controlling the cooking operation of the cooking robot 1 based on the recipe data. For example, cooking is reproduced by causing the cooking robot 1 to perform a cooking operation for realizing the same process as the chef's cooking process.
  • a chef is shown as a cook who cooks, but regardless of what it is called in front of the cook, the cook, or the role in the kitchen, no matter what person cooks, The cooking system of 1 is applicable.
  • the cooking system includes the configuration of multiple chefs provided in multiple restaurants, etc., respectively.
  • recipe data of a predetermined dish prepared by a predetermined chef selected by a person who eats the dish reproduced by the cooking robot 1 is provided.
  • cooking means a product that is completed after cooking.
  • Cooking means a process of making a dish or an act (work) of making a dish.
  • FIG. 2 is a diagram for explaining the difference in the ingredients used on the chef side and the reproduction side.
  • the recipe data describes information indicating that carrots are used as ingredients.
  • information on the cooking process using carrots is described.
  • the carrot prepared by the chef and the carrot prepared by the reproduction side have different types, different production areas, different harvest times, and growth.
  • the taste, fragrance, and texture differ depending on the situation and the environment after harvest. There is no exact same foodstuff that is a natural product.
  • the difference in cooking tools such as kitchen knives and pots used for cooking, and the difference in equipment such as thermal power
  • the flavor of the finished dish and the dish in the middle will be on the chef's side. And the reproduction side will be different.
  • the flavor that the chef has as a sensation when cooking is measured, for example, every time one cooking process is performed.
  • sensory data obtained by converting the flavor obtained by the chef into data is described, for example, in association with the information on the foodstuff and the operation regarding one cooking process.
  • FIG. 3 is a diagram showing an example of the description contents of the recipe data.
  • one recipe data is composed of multiple cooking process data sets.
  • the cooking process data set regarding the cooking process #1 the cooking process data set regarding the cooking process #2,..., The cooking process data set regarding the cooking process #N are included.
  • FIG. 4 is a diagram showing an example of information included in the cooking process data set.
  • the cooking process data set is composed of cooking operation information which is information on cooking operation for realizing the cooking process and flavor information which is information on flavor of ingredients which have undergone the cooking process.
  • Cooking operation information is composed of food ingredient information and operation information.
  • Ingredient information is information about ingredients used by the chef in the cooking process.
  • the information about the food includes information indicating the type of food, the amount of food, the size of food, and the like.
  • the foodstuff information will include information indicating that the carrots have been used.
  • Food is a variety of things that a person can eat.
  • food ingredients include not only foods that have not been cooked at all, but also foods that have been cooked (prepared) obtained by being cooked.
  • the food material information included in the cooking operation information of a certain cooking process includes information on the food material that has undergone the previous cooking process.
  • the ingredients used by the chef are recognized, for example, by analyzing the image taken by the camera of the chef who is cooking. Food information is generated based on the recognition result of food.
  • the image taken by the camera may be a moving image or a still image.
  • the ingredient information may be registered by the chef or by another person such as a staff member who supports the chef.
  • Motion information is information about the chef's movements in the cooking process.
  • the chef movement information includes information indicating the type of cooking tool used by the chef, the movement of the chef's body at each time, including the movement of the hand, and the standing position of the chef at each time.
  • the operation information when a chef cuts a certain ingredient with a kitchen knife, the information indicating that the kitchen knife was used as a cooking tool, the cutting position, the number of cuttings, the force of cutting, the angle, the speed, etc. are the operation information. include.
  • the operation information includes information indicating that the oven was used as a cooking tool, the oven heat, and the baking time.
  • the operation information includes the tableware used for the arrangement, how to arrange the ingredients, and how to arrange the colors of the ingredients.
  • the chef's movement is recognized, for example, by analyzing an image taken by a camera of a chef who is cooking or by analyzing sensor data measured by a sensor worn by the chef.
  • the motion information is generated based on the recognition result of the chef's motion.
  • the flavor information is composed of flavor sensor information and flavor subjective information. Flavor is a sensation.
  • the flavor information included in the cooking process data set corresponds to the sensory data obtained by converting the chef's feeling into data.
  • FIG. 5 is a diagram showing an example of flavor components.
  • the deliciousness that a person feels in the brain is mainly a combination of the taste obtained by the human sense of taste, the aroma obtained by the human sense of smell, and the texture obtained by the human sense of touch. Composed.
  • the flavor also includes the sensible temperature and color.
  • taste includes five kinds of taste (salt, sour, bitter, sweet, and umami) that can be felt by taste receptor cells in the tongue and the oral cavity. Saltiness, sourness, bitterness, sweetness and umami are called basic Gomi.
  • the taste includes pungent taste that is felt not only in the oral cavity but also in vanilloid receptors belonging to the TRP (Transient Receptor Potential) channel family, which is a pain sensation in the whole body.
  • TRP Transient Receptor Potential
  • the bitterness overlaps with the bitterness, but astringency is also a type of taste.
  • Salty substances include minerals (Na, K, Fe, Mg, Ca, Cu, Mn, Al, Zn, etc.) that form salts by ionization.
  • sourness Substances that make you feel sourness include acids such as citric acid and acetic acid. In general, sourness is felt depending on the decrease in pH (for example, about pH 3).
  • -Sweetness Substances that make you feel sweet include sugars such as sucrose and glucose, lipids, amino acids such as glycine, and artificial sweeteners.
  • the substances that cause umami include amino acids such as glutamic acid and aspartic acid, nucleic acid derivatives such as inosinic acid, guanylic acid and xanthyl acid, organic acids such as succinic acid, and salts.
  • bitterness Substances that make you feel bitter include alkaloids such as caffeine, humulones such as theobromine, nicotine, catechin, and terpenoid, limonine, cucurbitacin, flavanone glycoside naringin, bitter amino acids, bitter peptides, bile acid, and inorganic substances.
  • alkaloids such as caffeine, humulones such as theobromine, nicotine, catechin, and terpenoid, limonine, cucurbitacin, flavanone glycoside naringin, bitter amino acids, bitter peptides, bile acid, and inorganic substances.
  • humulones such as theobromine
  • nicotine catechin
  • terpenoid limonine
  • cucurbitacin cucurbitacin
  • flavanone glycoside naringin bitter amino acids
  • bitter peptides bile acid
  • inorganic substances bitter amino acids
  • bitter peptides bile acid
  • inorganic substances
  • -Astringency Substances that make you feel astringent include polyphenols, tannins, catechins, polyvalent ions (Al, Zn, Cr), ethanol, and acetone. Astringency is recognized or measured as part of bitterness.
  • capsaicinoid As a biological function, hot peppers, capsaicin, which is a component of various spices, and menthol, which is a component of peppermint, which is a cold sensation, are recognized by the TRP channel family's temperature-sensing receptors as pain sensations rather than taste sensations.
  • Aroma The scent is perceived by a volatile low-molecular organic compound having a molecular weight of 300 or less that is recognized (bound) by olfactory receptors expressed in the nasal cavity and nasopharynx.
  • Texture is an index called so-called texture, and is represented by hardness, stickiness, viscosity, cohesiveness, polymer content, moisture content, oil content (greasiness) and the like.
  • the sensible temperature is the temperature felt by human skin.
  • the sensible temperature is not only the temperature of the food itself, but also the feeling of refreshing due to foods containing volatile substances such as mint, and the feeling of warmth due to foods containing spicy ingredients such as peppers. It also includes the temperature sensation that the surface layer feels in response to food components.
  • the color of food reflects the pigments contained in food and the components of bitterness and astringency.
  • plant-derived foods include pigments formed by photosynthesis and components related to bitterness/astringency of polyphenols.
  • the optical measurement method makes it possible to estimate the components contained in food from the color of food.
  • flavor sensor information The flavor sensor information that constitutes the flavor information is sensor data obtained by measuring the flavor of the food material with a sensor.
  • the sensor data obtained by measuring the flavor of the food that has not been cooked by the sensor may be included in the flavor information as the flavor sensor information.
  • the flavor sensor information includes sensor data related to taste, sensor data related to fragrance, sensor data related to texture, sensor data related to sensible temperature, and sensor data related to color. Is included. All sensor data may be included in the flavor sensor information, or any sensor data may not be included in the flavor sensor information.
  • Each sensor data that constitutes the flavor sensor information is called taste sensor data, olfactory sensor data, texture sensor data, sensible temperature sensor data, and color sensor data.
  • the taste sensor data is sensor data measured by the taste sensor.
  • the taste sensor data is composed of at least one of a salty taste sensor value, a sourness sensor value, a bitterness sensor value, a sweetness sensor value, a taste sensor value, a pungent taste sensor value, and an astringent taste sensor value.
  • the taste sensor includes, for example, an artificial lipid membrane type taste sensor using an artificial lipid membrane in the sensor unit.
  • the artificial lipid membrane type taste sensor detects changes in the membrane potential caused by electrostatic and hydrophobic interactions of the lipid membrane with respect to the taste substance, which is a substance that causes the taste to be felt, and outputs it as a sensor value. Sensor.
  • the olfactory sensor data is sensor data measured by the olfactory sensor.
  • the olfactory sensor data is composed of values for each element expressing the scent, such as spicy scent, fruity scent, green scent, musty scent (chizy), citrus scent, and rose scent.
  • Olfactory sensors include, for example, sensors with innumerable sensors such as crystal oscillators.
  • a crystal unit will be used instead of the human nasal receptor.
  • the olfactory sensor using the crystal oscillator detects the change in the vibration frequency of the crystal oscillator when the scent component hits the crystal oscillator, and expresses the above-mentioned scent based on the pattern of the change in the vibration frequency. It outputs a value.
  • Texture sensor data is sensor data specified by analyzing images taken by a camera and sensor data measured by various sensors.
  • the texture sensor data is composed of at least one of information representing hardness (hardness), stickiness, viscosity (stress), cohesiveness, polymer content, water content, oil content, and the like.
  • Hardness, stickiness, viscosity, and cohesiveness are recognized by, for example, analyzing images taken by a chef with a camera. For example, by analyzing the image of the soup that the chef is stirring, it is possible to recognize values such as hardness, stickiness, viscosity, and cohesiveness. These values may be recognized by the chef measuring the stress when the food is cut with a kitchen knife.
  • the polymer content, water content, and oil content are measured by, for example, a sensor that measures those values by irradiating food with light of a predetermined wavelength and analyzing the reflected light.
  • a database may be prepared in which each ingredient is associated with each parameter of the texture, and the texture sensor data of each ingredient may be recognized by referring to the database.
  • the sensible temperature sensor data is sensor data obtained by measuring the temperature of foodstuffs with a temperature sensor.
  • the color sensor data is data specified by analyzing the color of the foodstuff from the image taken by the camera.
  • the subjective flavor information is information that expresses how a person feels the subjective flavor of a chef or the like who is cooking.
  • the flavor subjective information is calculated based on the flavor sensor information.
  • the flavor subjective information includes subjective information about taste, subjective information about fragrance, subjective information about texture, subjective information about sensible temperature, and subjective information about color. Is included.
  • the subjective information on taste, the subjective information on fragrance, the subjective information on texture, the subjective information on sensible temperature, and the subjective information on color may all be included in the subjective information on flavor, and any of the subjective information may be included in the subjective information on flavor. May not be included in.
  • the individual subjective information that constitutes the subjective taste information is referred to as taste subjective information, olfactory subjective information, texture subjective information, sensible temperature subjective information, and color subjective information.
  • FIG. 6 is a diagram showing a calculation example of taste subjective information.
  • the taste subjective information is calculated using a taste subjective information generation model which is a model of a neural network generated by deep learning or the like.
  • the taste subjective information generation model is generated in advance, for example, by performing learning using taste sensor data of a certain food material and information (numerical value) indicating how the chef who tastes the food material feels the taste.
  • each of the salty taste sensor value, the sourness sensor value, the bitterness sensor value, the sweetness sensor value, the umami sensor value, the pungent taste sensor value, and the astringent taste sensor value which are the taste sensor data of a certain ingredient.
  • each of the salty taste subjective value, the sourness subjective value, the bitterness subjective value, the sweetness subjective value, the umami subjective value, the pungent taste subjective value, and the astringent taste subjective value is output from the model for generating taste subjective information.
  • the subjective saltiness value is a value that represents how the chef feels saltiness.
  • the sourness subjective value is a value indicating how the chef feels sourness.
  • the bitterness subjective value, the sweetness subjective value, the umami subjective value, the pungent subjective value, and the astringent subjective value are values indicating how the chef feels bitterness, sweetness, umami, spiciness, and astringency, respectively.
  • the taste subjective information of a certain food material is represented as a chart by each value of salty taste subjective value, sourness subjective value, bitterness subjective value, sweetness subjective value, umami subjective value, pungent taste subjective value, and astringent taste subjective value. expressed. If the charts of the subjective taste information are similar in shape, the ingredients are similar in taste to the chef when attention is paid only to the flavors.
  • the olfactory subjective information is calculated by inputting the olfactory sensor data into the olfactory subjective information generation model, and the texture subjective information is calculated by inputting the texture sensor data into the texture subjective information generation model.
  • the sensible temperature subjective information is calculated by inputting the sensible temperature subjective sensor data into the sensible temperature subjective information generation model, and the color subjective information is calculated by inputting the color sensor data into the color subjective information generation model. ..
  • the taste subjective information is calculated based on the table information that associates the taste sensor data of a certain food with the information indicating how the chef who ate the food feels the taste. You can Various methods can be adopted as a method of calculating the flavor subjective information using the flavor sensor information.
  • the recipe data is cooking operation information which is information on cooking operation for realizing the cooking process, and flavor information which is information on flavor of ingredients and dishes measured in conjunction with the progress of the cooking process. It is composed by linking (linking) with.
  • ⁇ Recipe data including the above information is prepared for each dish as shown in FIG. Which recipe data is used to reproduce the dish is selected by, for example, a person at the place where the cooking robot 1 is installed.
  • FIG. 9 is a diagram showing an example of a flow of generating recipe data.
  • cooking by a chef is performed by repeating cooking using ingredients, tasting the ingredients after cooking, and adjusting the flavor for each cooking process.
  • the flavor is adjusted by adding salt when the saltiness is insufficient, and squeezing lemon juice when the acidity is insufficient.
  • the scent for example, chopping and adding the herbs, cooking the food, and the like are performed.
  • the texture for example, when the food is hard, it is beaten to soften it, and the time for boiling is increased.
  • the cooking action information that composes the cooking process data set is generated based on the sensing result of sensing the action of the chef who cooks the food and the action of the chef who adjusts the flavor.
  • flavor information is generated based on the sensing result by sensing the flavor of the ingredients after cooking.
  • cooking in cooking step # 1 is based on the sensing result of the cooking operation performed by the chef as cooking process # 1 and the chef's operation for adjusting the flavor.
  • Cooking operation information that constitutes a process data set is generated.
  • flavor information constituting the cooking process data set of cooking process # 1 is generated based on the sensing result of the flavor of the ingredients after cooking by cooking process # 1.
  • the cooking process #1 is completed, the next cooking process, the cooking process #2, is performed.
  • the cooking process data set of cooking process # 2 is created based on the sensing result of the cooking operation performed by the chef as cooking process # 2 and the chef's operation of adjusting the flavor.
  • the constituent cooking operation information is generated.
  • flavor information constituting the cooking process data set of cooking process # 2 is generated based on the sensing result of the flavor of the ingredients after cooking by cooking process # 2.
  • One dish is completed through such multiple cooking processes. Further, when the cooking is completed, the recipe data describing the cooking process data set of each cooking process is generated.
  • one cooking process is composed of three cooking actions of cooking, tasting, and adjusting, but the unit of cooking action included in one cooking process can be set arbitrarily.
  • One cooking process may be composed of a cooking operation that does not involve the adjustment of the taste or the taste after the taste, or may be composed only of the adjustment of the taste.
  • flavor sensing is performed for each cooking process, and flavor information obtained based on the sensing result is included in the cooking process data set.
  • Flavor sensing is not performed every time one cooking process is completed, but the timing of flavor sensing can be set arbitrarily. For example, flavor sensing may be repeated during one cooking process. In this case, the cooking process dataset will include time series data of flavor information.
  • FIG. 10 is a diagram showing an example of the flow of dish reproduction based on recipe data.
  • the cooking robot 1 reproduces a dish by performing cooking based on the cooking operation information included in the cooking process data set described in the recipe data, measuring the flavor of the cooked food, The flavor adjustment is performed by repeating each cooking process.
  • the flavor is adjusted, for example, by adding work so that the flavor measured by the sensor prepared on the cooking robot 1 side approaches the flavor represented by the flavor information. Details of the flavor adjustment by the cooking robot 1 will be described later.
  • -Measurement and adjustment of flavor may be repeated multiple times in one cooking process, for example. That is, each time the adjustment is made, the flavor is measured for the adjusted food material, and the flavor is adjusted based on the measurement result.
  • the cooking operation of the cooking robot 1 is controlled based on the cooking operation information that constitutes the cooking step data set of the cooking step #1, and the operation of the chef's cooking step #1 is controlled. The same operation as is performed by the cooking robot 1.
  • the flavor of the cooked food material is measured, and the cooking process data set of the cooking process #1 is configured as shown by an arrow A22.
  • the adjustment of the flavor of the cooking robot 1 is controlled based on the flavor information.
  • the flavor adjustment is completed and the cooking process # 1 is also completed.
  • the flavors measured by the sensor provided on the cooking robot 1 side and the flavors represented by the flavor information are not less than the thresholds but are similar to each other by more than a threshold value, it is determined that the two match. ..
  • the cooking process #1 is completed, the next cooking process, the cooking process #2, is performed.
  • the cooking operation of the cooking robot 1 is controlled based on the cooking operation information forming the cooking step data set of the cooking step #2, and the same operation as the operation of the chef's cooking step #2 is performed. This is done by the cooking robot 1.
  • the flavor of the cooked food material is measured, and the cooking step data set of the cooking step #2 is configured as shown by an arrow A32.
  • the adjustment of the flavor of the cooking robot 1 is controlled based on the flavor information.
  • the cooking robot 1 reproduces the food prepared by the chef through such a plurality of cooking processes.
  • FIG. 11 is a diagram collectively showing the flow on the chef side and the flow on the reproduction side.
  • one cooking is completed through a plurality of cooking steps #1 to #N, and recipe data describing a cooking step data set of each cooking step is generated.
  • one dish is prepared through a plurality of cooking steps # 1 to # N, which are the same as the cooking steps performed by the chef. It will be reproduced.
  • the final dish will be a dish with the same or similar flavor as the dish prepared by the chef. In this way, a dish with the same flavor as the dish prepared by the chef is reproduced in a highly reproducible form based on the recipe data.
  • the chef can, for example, provide a dish with the same flavor as the dish he cooked to a person who cannot visit the restaurant he owns.
  • the chef can leave the food he cooks in a reproducible form as recipe data.
  • a person who eats the food reproduced by the cooking robot 1 can eat the food with the same flavor as the food prepared by the chef.
  • FIG. 12 is a diagram showing an example of other description contents of the recipe data.
  • the flavor information about the flavor of the completed dish may be included in the recipe data.
  • the flavor information regarding the flavor of the finished dish is linked to the overall cooking operation information.
  • the relationship between the cooking operation information and the flavor information need not be one-to-one.
  • FIG. 13 is a diagram showing a configuration example of a cooking system according to an embodiment of the present technology.
  • a data processing device 11 provided as a configuration on the chef side and a control device 12 provided as a configuration on the reproduction side are connected via a network 13 such as the Internet. It is composed.
  • the cooking system is provided with a plurality of such chef-side configurations and reproduction-side configurations.
  • the data processing device 11 is a device that generates the recipe data described above.
  • the data processing device 11 is composed of a computer or the like.
  • the data processing device 11 transmits, for example, recipe data of a dish selected by a person who eats the reproduced dish to the control device 12 via the network 13.
  • the control device 12 is a device that controls the cooking robot 1.
  • the controller 12 is also composed of a computer or the like.
  • the control device 12 receives the recipe data provided from the data processing device 11 and outputs a command command based on the description of the recipe data, thereby controlling the cooking operation of the cooking robot 1.
  • the cooking robot 1 drives each part such as a cooking arm according to a command command supplied from the control device 12, and performs a cooking operation in each cooking process.
  • the command command includes information for controlling the torque, driving direction, and driving amount of the motor provided on the cooking arm.
  • the control device 12 sequentially outputs command commands to the cooking robot 1 until the cooking is completed.
  • the cooking robot 1 takes an action in response to a command, the cooking is finally completed.
  • FIG. 14 is a diagram showing another configuration example of the cooking system.
  • the recipe data may be provided from the chef side to the reproduction side via a server on the network.
  • the recipe data management server 21 shown in FIG. 14 receives recipe data transmitted from each data processing device 11 and manages it by storing it in a database.
  • the recipe data management server 21 transmits predetermined recipe data to the control device 12 in response to a request from the control device 12 performed via the network 13.
  • the recipe data management server 21 has a function of centrally managing recipe data of dishes prepared by chefs of various restaurants and delivering the recipe data in response to a request from the reproducing side.
  • FIG. 15 is a diagram showing an arrangement example of the control device 12.
  • control device 12 is provided as a device external to the cooking robot 1, for example.
  • control device 12 and the cooking robot 1 are connected via the network 13.
  • the command command transmitted from the control device 12 is received by the cooking robot 1 via the network 13.
  • Various data such as an image taken by the camera of the cooking robot 1 and sensor data measured by a sensor provided in the cooking robot 1 are transmitted from the cooking robot 1 to the control device 12 via the network 13. To.
  • a plurality of cooking robots 1 may be connected to one control device 12.
  • control device 12 may be provided inside the casing of the cooking robot 1. In this case, the operation of each part of the cooking robot 1 is controlled according to the command command generated by the control device 12.
  • control device 12 will be mainly described as being provided as an external device of the cooking robot 1.
  • FIG. 16 is a diagram showing a configuration example around the kitchen where the chef cooks.
  • various devices are provided to measure the information used for analyzing the chef's movements and the flavor of the ingredients. Some of these devices can be attached to the chef's body.
  • the devices provided around the kitchen 31 are connected to the data processing device 11 via wired or wireless communication. Each device provided around the kitchen 31 may be connected to the data processing device 11 via a network.
  • cameras 41-1 and 41-2 are provided above the kitchen 31.
  • the cameras 41-1 and 41-2 capture the state of the chef who is cooking and the state of the top plate of the kitchen 31, and transmit the image obtained by the capturing to the data processing device 11.
  • a small camera 41-3 is attached to the head of the chef.
  • the shooting range of the camera 41-3 is switched according to the direction of the chef's line of sight.
  • the camera 41-3 photographs the condition of the chef who is cooking, the condition of the food material to be cooked, and the condition on the top plate of the kitchen 31, and the image obtained by the photographing is taken by the data processing device 11. Send to.
  • a plurality of cameras are provided around the kitchen 31.
  • they are collectively referred to as a camera 41.
  • An olfactory sensor 42 is attached to the upper half of the chef.
  • the olfactory sensor 42 measures the scent of the food material and transmits the olfactory sensor data to the data processing device 11.
  • a taste sensor 43 is provided on the top plate of the kitchen 31.
  • the taste sensor 43 measures the taste of the food and transmits the taste sensor data to the data processing device 11.
  • the taste sensor 43 is used by bringing the sensor unit 43A provided at the tip of the cable into contact with the foodstuff or the like to be cooked.
  • the taste sensor 43 is the artificial lipid film type taste sensor described above, the lipid film is provided in the sensor unit 43A.
  • the taste sensor 43 is provided with functions as a texture sensor and a sensible temperature sensor.
  • the taste sensor 43 measures texture sensor data such as a polymer content, a water content, and an oil content.
  • FIG. 18 is a block diagram showing a configuration example on the chef side.
  • a camera 41 As shown in FIG. 18, a camera 41, an olfactory sensor 42, a taste sensor 43, an infrared sensor 51, a texture sensor 52, and an environment sensor 53 are connected to the data processing device 11.
  • the same components as those described above are designated by the same reference numerals. A duplicate description will be omitted as appropriate.
  • the infrared sensor 51 outputs IR light and generates an IR image.
  • the IR image generated by the infrared sensor 51 is output to the data processing device 11.
  • various analyzes such as the chef's actions and foods may be performed based on the IR image captured by the infrared sensor 51.
  • the texture sensor 52 is composed of sensors that output various sensor data used for texture analysis, such as a hardness sensor, a stress sensor, a water content sensor, and a temperature sensor.
  • a hardness sensor, a stress sensor, a water content sensor, and a temperature sensor may be provided in a cooking tool such as a kitchen knife, a frying pan, or an oven.
  • the sensor data measured by the texture sensor 52 is output to the data processing device 11.
  • the environment sensor 53 is a sensor that measures the cooking environment, which is the environment of the space such as the kitchen where the chef cooks.
  • the environment sensor 53 includes a camera 61, a temperature / humidity sensor 62, and an illuminance sensor 63.
  • the camera 61 outputs an image of the cooking space to the data processing device 11.
  • the color (brightness, hue, saturation) of the cooking space is measured.
  • the temperature / humidity sensor 62 measures the temperature and humidity of the space on the chef side, and outputs information representing the measurement result to the data processing device 11.
  • the illuminance sensor 63 measures the brightness of the space on the chef's side and outputs information representing the measurement result to the data processing device 11.
  • the color, temperature, and brightness of the space where you eat food affect how people feel the flavor. For example, when considering the seasoning of the same dish, the higher the temperature, the more light taste is preferred, and the lower the temperature, the stronger the taste.
  • the cooking environment that may affect how people feel the flavor may be measured at the time of cooking and included in the recipe data as environmental information.
  • the environment such as the color, temperature, and brightness of the room where the food eater is located is adjusted to be the same as the cooking environment represented by the environmental information included in the recipe data.
  • the environment sensor 53 measures various kinds of information that may affect how the flavor is perceived, such as the atmospheric pressure and noise of the chef's space, the season when cooking, the time of day, etc., and is included in the recipe data as environmental information. You may do so.
  • FIG. 19 is a block diagram showing a configuration example of hardware of the data processing device 11.
  • the data processing device 11 is composed of a computer.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 205 is further connected to the bus 204.
  • the input/output interface 205 is connected to an input unit 206 including a keyboard and a mouse, and an output unit 207 including a display and a speaker.
  • the input/output interface 205 is connected with a storage unit 208 including a hard disk and a non-volatile memory, a communication unit 209 including a network interface, and a drive 210 that drives the removable medium 211.
  • the CPU 201 performs various processes by, for example, loading the program stored in the storage unit 208 into the RAM 203 via the input / output interface 205 and the bus 204 and executing the program. It is said.
  • FIG. 20 is a block diagram showing a functional configuration example of the data processing device 11.
  • At least a part of the functional units shown in FIG. 20 is realized by executing a predetermined program by the CPU 201 in FIG.
  • a data processing unit 221 is realized in the data processing device 11.
  • the data processing unit 221 includes a cooking operation information generation unit 231, a flavor information generation unit 232, a recipe data generation unit 233, an environment information generation unit 234, an attribute information generation unit 235, and a recipe data output unit 236.
  • the cooking operation information generation unit 231 is composed of a food material recognition unit 251, a tool recognition unit 252, and an operation recognition unit 253.
  • the foodstuff recognition unit 251 analyzes the image taken by the camera 41 and recognizes the type of foodstuff used by the chef for cooking.
  • the foodstuff recognition unit 251 is provided with recognition information such as characteristic information for use in recognizing various types of foodstuffs.
  • the tool recognition unit 252 analyzes the image taken by the camera 41 and recognizes the type of cooking tool used by the chef for cooking.
  • the tool recognition unit 252 is provided with recognition information used for recognition of various types of cooking tools.
  • the motion recognition unit 253 analyzes the image captured by the camera 41, the sensor data indicating the measurement result of the sensor attached to the chef's body, and the like to recognize the motion of the chef who cooks.
  • the flavor information generating unit 232 includes a taste measuring unit 261, a fragrance measuring unit 262, a texture measuring unit 263, a sensible temperature measuring unit 264, a color measuring unit 265, and a subjective information generating unit 266.
  • the taste measurement unit 261 measures the taste of foodstuffs by controlling the taste sensor 43, and acquires the taste sensor data.
  • Ingredients to be measured include all foods handled by the chef, such as pre-cooked ingredients, post-cooked ingredients, and finished dishes.
  • the scent measurement unit 262 measures the scent of the food material by controlling the olfactory sensor 42, and acquires the olfactory sensor data of the food material.
  • the texture measuring unit 263 measures the texture of the foodstuff by analyzing the image taken by the camera 41 and the measurement result of the texture sensor 52, and acquires the texture sensor data of the foodstuff.
  • the sensible temperature measurement unit 264 acquires the sensible temperature sensor data representing the sensible temperature of the food material measured by the temperature sensor.
  • the color measuring unit 265 recognizes the color of the foodstuff by analyzing the image captured by the camera 41 and acquires the color sensor data indicating the recognition result.
  • the color recognition target is a dish completed by arranging the ingredients, the color of each part in the entire dish is recognized.
  • the subjective information generation unit 266 generates subjective information based on the sensor data acquired by each unit of the taste measurement unit 261 to the color measurement unit 265.
  • the subjective information generation unit 266 performs a process of converting objective data regarding the flavor represented by the sensor data into subjective data indicating how the chef feels the flavor.
  • Information used for generating subjective information is given to the subjective information generation unit 266.
  • the subjective information generation unit 266 inputs the taste sensor data acquired by the taste measurement unit 261 into the taste subjective information generation model, and generates the taste subjective information of the foodstuff.
  • the subjective information generation unit 266 inputs the olfactory sensor data acquired by the scent measurement unit 262 into the olfactory subjective information generation model, and generates the olfactory subjective information of the foodstuff.
  • the subjective information generation unit 266 inputs the texture sensor data acquired by the texture measurement unit 263 into the texture subjective information generation model, and generates the texture subjective information of the food material.
  • the subjective information generation unit 266 inputs the sensible temperature sensor data acquired by the sensible temperature measurement unit 264 into the sensible temperature subjective information generation model, and generates the sensible temperature subjective information of the foodstuff.
  • the subjective information generation unit 266 inputs the color sensor data acquired by the color measurement unit 265 into the model for generating subjective color information, and generates subjective color information of the food material.
  • the sensor data acquired by each of the taste measuring unit 261 to the color measuring unit 265 and the respective subjective information generated by the subjective information generating unit 266 are supplied to the recipe data generating unit 233.
  • the recipe data generation unit 233 generates cooking operation information based on the information supplied from each unit of the cooking operation information generation unit 231. That is, the recipe data generation unit 233 generates food material information based on the recognition result by the food material recognition unit 251, and generates motion information based on the recognition results by the tool recognition unit 252 and the motion recognition unit 253. The recipe data generation unit 233 generates cooking operation information including food material information and operation information.
  • the recipe data generation unit 233 generates flavor information based on the information supplied from each unit of the flavor information generation unit 232. That is, the recipe data generation unit 233 generates the flavor sensor information based on the sensor data acquired by the taste measurement unit 261 to the color measurement unit 265, and the flavor subjective information based on the subjective information generated by the subjective information generation unit 266. Generate information.
  • the recipe data generation unit 233 generates flavor information including flavor sensor information and flavor subjective information.
  • the recipe data generation unit 233 generates a cooking process data set by associating cooking operation information and flavor information with each cooking process of a chef, for example.
  • the recipe data generation unit 233 generates recipe data describing a plurality of cooking process data sets by collecting the cooking process data sets relating to each cooking process from the first cooking process to the last cooking process of a certain dish.
  • the recipe data generation unit 233 outputs the recipe data thus generated to the recipe data output unit 236.
  • the recipe data output by the recipe data generation unit 233 appropriately includes the environment information generated by the environment information generation unit 234 and the attribute information generated by the attribute information generation unit 235.
  • the environment information generation unit 234 generates environment information indicating the cooking environment based on the measurement result of the environment sensor 53.
  • the environment information generated by the environment information generation unit 234 is output to the recipe data generation unit 233.
  • the attribute information generation unit 235 generates attribute information representing the chef's attributes.
  • the chef's attributes include, for example, the chef's age, sex, nationality, and living area. Information indicating the physical condition of the chef may be included in the attribute information.
  • the chef's age, gender, nationality, and living area influence how the chef feels the flavor. That is, it is considered that the flavor subjective information included in the recipe data is influenced by the chef's age, gender, nationality, living area, and the like.
  • the chef is French and the person who eats the reproduced dish is Japanese.
  • the chef's way of feeling the flavor represented by the flavor subjective information included in the recipe data is the way the French feel, which is different from the way the Japanese feel.
  • the flavor subjective information contained in the recipe data is corrected based on the information representing the Japanese feeling corresponding to the French feeling so that the same flavor feeling can be obtained even when the Japanese eats it. Will be done.
  • the information used for correcting the flavor subjective information is information that associates the feelings of French people with the feelings of Japanese people for each flavor, and is, for example, statistically generated and prepared in advance on the reproduction side.
  • the attribute information may include attributes such as categories of dishes prepared by the chef, such as French cuisine, Japanese cuisine, Italian cuisine, and Spanish cuisine.
  • the attributes of the ingredients and seasonings used for cooking may be included in the attribute information.
  • the attributes of food ingredients include the production area and variety.
  • the attributes of seasonings also include origin and variety.
  • cooker attribute information that is the attribute information that represents the attributes of the chef
  • food attribute information that is the attribute information that represents the attributes of dishes and ingredients
  • seasoning attribute information that is the attribute information that represents the attributes of seasonings among the ingredients. May be included in the recipe data.
  • the recipe data output unit 236 controls the communication unit 209 (FIG. 19) and outputs the recipe data generated by the recipe data generation unit 233.
  • the recipe data output from the recipe data output unit 236 is supplied to the control device 12 or the recipe data management server 21 via the network 13.
  • FIG. 21 is a perspective view showing the appearance of the cooking robot 1.
  • the cooking robot 1 is a kitchen-type robot having a horizontally long rectangular parallelepiped housing 311. Various configurations are provided inside a housing 311 which is the main body of the cooking robot 1.
  • a cooking assistance system 312 is provided on the back side of the housing 311 so as to stand upright from the upper surface of the housing 311.
  • Each space formed in the cooking assistance system 312 by being divided by a thin plate-like member has a function of assisting cooking by the cooking arms 321-1 to 321-4, such as a refrigerator, a microwave oven, and a storage.
  • the top plate 311A is provided with a rail in the longitudinal direction, and cooking arms 321-1 to 321-4 are provided on the rail.
  • the cooking arms 321-1 to 321-4 can be changed in position along a rail as a moving mechanism.
  • the cooking arms 321-1 to 321-4 are robot arms configured by connecting cylindrical members at joints. Various work related to cooking is performed by the cooking arms 321-1 to 321-4.
  • the space above the top plate 311A is a cooking space in which the cooking arms 321-1 to 321-4 cook.
  • the number of cooking arms is not limited to four.
  • the cooking arm 321 when it is not necessary to distinguish between the cooking arms 321-1 to 321-4 as appropriate, they are collectively referred to as the cooking arm 321.
  • FIG. 22 is an enlarged view showing the state of the cooking arm 321.
  • attachments having various cooking functions are attached to the tip of the cooking arm 321.
  • various attachments such as an attachment having a manipulator function (hand function) for grasping foodstuffs and tableware, and an attachment having a knife function for cutting foodstuffs are prepared.
  • the knife attachment 331-1 which is an attachment having a knife function is attached to the cooking arm 321-1.
  • a lump of meat placed on the top plate 311A is cut using the knife attachment 331-1.
  • a spindle attachment 331-2 which is an attachment used for fixing ingredients and rotating ingredients, is attached to the cooking arm 321-2.
  • a peeler attachment 331-3 which is an attachment having the function of a peeler for peeling foodstuffs, is attached to the cooking arm 321-3.
  • the potato skin lifted by the cooking arm 321-2 using the spindle attachment 331-2 is peeled off by the cooking arm 321-3 using the peeler attachment 331-3. In this way, it is possible for the plurality of cooking arms 321 to cooperate with each other to perform one work.
  • a manipulator attachment 331-4 which is an attachment having a manipulator function, is attached to the cooking arm 321-4.
  • a frying pan with chicken is carried to the space of the cooking assistance system 312, which has an oven function.
  • Cooking with such a cooking arm 321 can be carried out by appropriately replacing the attachment according to the content of the work.
  • the replacement of the attachment is automatically performed by the cooking robot 1, for example.
  • Cooking by the cooking robot 1 is performed not only by using the above attachments prepared as a tool for the cooking arm, but also by appropriately using the same tool as a tool used by a person for cooking.
  • a knife used by a person is grasped by a manipulator attachment 331-4, and cooking such as cutting foodstuffs is performed using the knife.
  • FIG. 23 is a diagram showing the appearance of the cooking arm 321.
  • the cooking arm 321 is generally configured by connecting thin cylindrical members with hinge portions serving as joint portions.
  • Each hinge portion is provided with a motor or the like that generates a force for driving each member.
  • the attachment/detachment member 351 is a member having a length of about 1 ⁇ 5 of the length of the relay member 353.
  • the total length of the detachable member 351 and the relay member 353 is substantially the same as the length of the base member 355.
  • the detachable member 351 and the relay member 353 are connected by a hinge portion 352, and the relay member 353 and the base member 355 are connected by a hinge portion 354.
  • Hinge portions 352 and hinge portions 354 are provided at both ends of the relay member 353.
  • the cooking arm 321 is composed of three cylindrical members, but it may be composed of four or more cylindrical members. In this case, a plurality of relay members 353 are provided.
  • an attachment / detachment portion 351A to which the attachment is attached / detached is provided.
  • the attachment/detachment member 351 has an attachment/detachment portion 351A to which various attachments are attached and detached, and functions as a cooking function arm portion that performs cooking by operating the attachment.
  • the base member 355 functions as a movement function arm unit that realizes movement of the cooking arm 321.
  • FIG. 24 is a diagram showing an example of the movable range of each part of the cooking arm 321.
  • the detachable member 351 is rotatable about the central axis of the circular cross section.
  • the flat small circle shown in the center of the ellipse #1 indicates the direction of the rotation axis indicated by the chain line.
  • the detachable member 351 is rotatable about an axis passing through the fitting portion 351B with the hinge portion 352. Further, the relay member 353 can rotate about an axis passing through the fitting portion 353A with the hinge portion 352.
  • the two small circles shown inside circle #2 indicate the directions of the rotation axes (perpendicular to the paper surface).
  • the movable range of the detachable member 351 centered on the shaft passing through the fitting portion 351B and the movable range of the relay member 353 centered on the shaft passing through the fitting portion 353A are, for example, 90 degrees.
  • the relay member 353 is separated by a member 353-1 on the front end side and a member 353-2 on the rear end side. As shown by being surrounded by the ellipse # 3, the relay member 353 is rotatable about the central axis of the circular cross section at the connecting portion 353B between the member 353-1 and the member 353-2.
  • the other movable parts have basically the same range of motion.
  • the relay member 353 is rotatable about an axis passing through the fitting portion 353C with the hinge portion 354. Further, the base member 355 is rotatable around an axis passing through the fitting portion 355A with the hinge portion 354.
  • the base member 355 is separated by a member 355-1 on the front end side and a member 355-2 on the rear end side. As shown by being surrounded by the ellipse # 5, the base member 355 is rotatable about the central axis of the circular cross section at the connecting portion 355B between the member 355-1 and the member 355-2.
  • the base member 355 is rotatable about an axis passing through the fitting portion 355C with the attachment / detachment portion 356.
  • the attaching/detaching part 356 is attached to the rail so as to be rotatable around the central axis of the circular cross section.
  • the detachable member 351 having the detachable portion 351A at the tip, the relay member 353 connecting the detachable member 351 and the base member 355, and the base member 355 to which the detachable portion 356 is connected at the rear end are respectively rotated by the hinge portion. Connected as possible.
  • the movement of each movable part is controlled by the controller in the cooking robot 1 according to command commands.
  • FIG. 25 is a diagram showing an example of the connection between the cooking arm and the controller.
  • the cooking arm 321 and the controller 361 are connected via wiring in the space 311B formed inside the housing 311.
  • the cooking arms 321-1 to 321-4 and the controller 361 are connected via wirings 362-1 to 362-4, respectively.
  • the flexible wirings 362-1 to 362-4 are appropriately bent depending on the positions of the cooking arms 321-1 to 321-4.
  • the cooking robot 1 is a robot that can perform various work related to cooking by driving the cooking arm 321.
  • Fig. 26 is a block diagram showing an example of the configuration of the cooking robot 1 and its surroundings.
  • the cooking robot 1 is configured by connecting each unit to the controller 361.
  • the same configurations as those described above are denoted by the same reference numerals. A duplicate description will be omitted as appropriate.
  • a camera 401 In addition to the cooking arm 321, a camera 401, an olfactory sensor 402, a taste sensor 403, an infrared sensor 404, a texture sensor 405, an environment sensor 406, and a communication unit 407 are connected to the controller 361.
  • the same sensor as the sensor provided on the chef side is provided at a predetermined position around the cooking robot 1 itself or the cooking robot 1.
  • the camera 401, the olfactory sensor 402, the taste sensor 403, the infrared sensor 404, the texture sensor 405, and the environment sensor 406 are a chef-side camera 41, an olfactory sensor 42, a taste sensor 43, an infrared sensor 51, a texture sensor 52, and an environment sensor, respectively. It has the same function as 53.
  • the controller 361 is composed of a computer having a CPU, ROM, RAM, flash memory and the like.
  • the controller 361 executes a predetermined program by the CPU and controls the overall operation of the cooking robot 1.
  • a command program acquisition unit 421 and an arm control unit 422 are realized by executing a predetermined program.
  • the command command acquisition unit 421 acquires the command command transmitted from the control device 12 and received by the communication unit 407.
  • the command command acquired by the command command acquisition unit 421 is supplied to the arm control unit 422.
  • the arm control unit 422 controls the operation of the cooking arm 321 according to the command command acquired by the command command acquisition unit 421.
  • the camera 401 photographs the state of the cooking arm 321 performing the cooking operation, the state of the food material to be cooked, and the state on the top plate 311A of the cooking robot 1, and the controller 361 receives the image obtained by the photographing. Output.
  • the camera 401 is provided at various positions such as the front of the cooking assist system 312 and the tip of the cooking arm 321.
  • the olfactory sensor 402 measures the scent of food and transmits the olfactory sensor data to the controller 361.
  • the olfactory sensor 402 is provided at various positions such as the front of the cooking assistance system 312 and the tip of the cooking arm 321.
  • the taste sensor 403 measures the taste of the food and transmits the taste sensor data to the controller 361. Also on the reproduction side, a taste sensor 403 such as an artificial lipid membrane type taste sensor is provided.
  • the attachment having the functions of the olfactory sensor 402 and the taste sensor 403 may be prepared and used by being attached to the cooking arm 321 at the time of measurement.
  • the infrared sensor 404 outputs IR light and generates an IR image.
  • the IR image generated by the infrared sensor 404 is output to the controller 361.
  • Various analyzes such as the operation of the cooking robot 1 and the foodstuffs may be performed based on the IR image taken by the infrared sensor 404 instead of the image (RGB image) taken by the camera 401.
  • the texture sensor 405 includes a sensor such as a hardness sensor, a stress sensor, a moisture sensor, and a temperature sensor that outputs various sensor data used for texture analysis.
  • a hardness sensor, a stress sensor, a water content sensor, and a temperature sensor may be provided on an attachment attached to the cooking arm 321 or a cooking tool such as a kitchen knife, a frying pan, or an oven.
  • the sensor data measured by the texture sensor 405 is output to the controller 361.
  • the environment sensor 406 is a sensor for measuring a meal environment which is an environment of a space such as a dining room where a meal of a dish reproduced by the cooking robot 1 is performed.
  • the environment sensor 406 includes a camera 441, a temperature/humidity sensor 442, and an illuminance sensor 443.
  • the environment of the reproduction space in which the cooking robot 1 cooks may be measured by the environment sensor 406.
  • the camera 441 outputs an image of the meal space to the controller 361.
  • the color (lightness, hue, saturation) of the meal space is measured.
  • the temperature/humidity sensor 442 measures the temperature and humidity of the meal space and outputs information indicating the measurement result to the controller 361.
  • the illuminance sensor 443 measures the brightness of the meal space and outputs information indicating the measurement result to the controller 361.
  • the communication unit 407 is a wireless communication module such as a wireless LAN module or a mobile communication module compatible with LTE (Long Term Evolution).
  • the communication unit 407 communicates with the control device 12 and an external device such as the recipe data management server 21 on the Internet.
  • the communication unit 407 communicates with a mobile terminal such as a smartphone or tablet terminal used by the user.
  • the user is a person who eats the dish reproduced by the cooking robot 1.
  • the user's operation on the cooking robot 1, such as the selection of food, may be input by the operation on the mobile terminal.
  • the cooking arm 321 is provided with a motor 431 and a sensor 432.
  • the motor 431 is provided at each joint of the cooking arm 321.
  • the motor 431 rotates about its axis under the control of the arm controller 422.
  • An encoder that measures the amount of rotation of the motor 431, a driver that adaptively controls the rotation of the motor 431 based on the measurement result of the encoder, and the like are also provided in each joint.
  • the sensor 432 is composed of, for example, a gyro sensor, an acceleration sensor, a touch sensor, and the like.
  • the sensor 432 measures the angular velocity, acceleration, etc. of each joint during the operation of the cooking arm 321, and outputs information indicating the measurement result to the controller 361.
  • Sensor data indicating the measurement result of the sensor 432 is also transmitted from the cooking robot 1 to the control device 12 as appropriate.
  • operation planning is performed according to the specifications of the cooking robot 1.
  • the command command generated in the control device 12 corresponds to the specifications of the cooking robot 1.
  • Control Device 12 that controls the operation of the cooking robot 1 is configured by a computer as shown in FIG.
  • the configuration of the data processing device 11 shown in FIG. 19 will be described as appropriate as the configuration of the control device 12.
  • FIG. 27 is a block diagram showing a functional configuration example of the control device 12.
  • At least a part of the functional units shown in FIG. 27 is realized by the CPU 201 (FIG. 19) of the control device 12 executing a predetermined program.
  • the command generation unit 501 is realized in the control device 12.
  • the command generation unit 501 includes a recipe data acquisition unit 511, a recipe data analysis unit 512, a robot state estimation unit 513, a flavor information processing unit 514, a control unit 515, and a command output unit 516.
  • the recipe data acquisition unit 511 controls the communication unit 209 and acquires the recipe data by receiving the recipe data transmitted from the data processing device 11 or by communicating with the recipe data management server 21. To do.
  • the recipe data acquired by the recipe data acquisition unit 511 is, for example, recipe data of a dish selected by the user.
  • a database of recipe data may be provided in the storage unit 208.
  • the recipe data is acquired from the database provided in the storage unit 208.
  • the recipe data acquired by the recipe data acquisition unit 511 is supplied to the recipe data analysis unit 512.
  • the recipe data analysis unit 512 analyzes the recipe data acquired by the recipe data acquisition unit 511. When it is time to perform a certain cooking process, the recipe data analysis unit 512 analyzes the cooking process data set related to the cooking process and extracts cooking operation information and flavor information. The cooking operation information extracted from the cooking process data set is supplied to the control unit 515, and the flavor information is supplied to the flavor information processing unit 514.
  • recipe data When the recipe data includes attribute information and environment information, those information are also extracted by the recipe data analysis unit 512 and supplied to the flavor information processing unit 514.
  • the robot state estimation unit 513 controls the communication unit 209 to receive the image and sensor data transmitted from the cooking robot 1. From the cooking robot 1, an image taken by the camera of the cooking robot 1 and sensor data measured by a sensor provided at a predetermined position of the cooking robot 1 are transmitted in a predetermined cycle. The image taken by the camera of the cooking robot 1 shows the surroundings of the cooking robot 1.
  • the robot state estimation unit 513 estimates the state around the cooking robot 1 such as the state of the cooking arm 321 and the state of food by analyzing the image and sensor data transmitted from the cooking robot 1. Information indicating the state around the cooking robot 1 estimated by the robot state estimation unit 513 is supplied to the control unit 515.
  • the flavor information processing unit 514 cooperates with the control unit 515 and controls the operation of the cooking robot 1 based on the flavor information supplied from the recipe data analysis unit 512.
  • the operation of the cooking robot 1 controlled by the flavor information processing unit 514 is, for example, an operation related to the adjustment of the flavor of food.
  • the flavor information processing unit 514 controls the operation of the cooking robot 1 so that the flavor of the food material being cooked by the cooking robot 1 is the same as the flavor represented by the flavor sensor information. Details of the control by the flavor information processing unit 514 will be described with reference to FIG. 28.
  • the control unit 515 controls the operation of the cooking robot 1 by generating an instruction command and causing the command output unit 516 to transmit the instruction command.
  • the control of the operation of the cooking robot 1 by the control unit 515 is performed based on the cooking operation information supplied from the recipe data analysis unit 512 or based on the request by the flavor information processing unit 514.
  • control unit 515 identifies the food material used in the cooking process that is the execution target, based on the food material information included in the cooking operation information. Further, the control unit 515 identifies the cooking tool used in the cooking process and the action to be performed by the cooking arm 321 based on the action information included in the cooking action information.
  • the control unit 515 sets the ready state of the ingredients as the goal state, and sets the operation sequence from the current state, which is the current state of the cooking robot 1, to the goal state.
  • the control unit 515 generates an instruction command for performing each operation constituting the operation sequence, and outputs the instruction command to the command output unit 516.
  • the cooking arm 321 is controlled according to the command command generated by the control unit 515, and the ingredients are prepared.
  • Information indicating the state of the cooking robot 1 at each timing, including the state of the cooking arm 321, is transmitted from the cooking robot 1 to the control device 12.
  • control unit 515 sets a state in which the prepared ingredients have been cooked (cooking in one cooking step to be executed) as the goal state, and the current state is set. Set the operation sequence up to the goal state.
  • the control unit 515 generates an instruction command for performing each operation constituting the operation sequence, and outputs the instruction command to the command output unit 516.
  • the cooking arm 321 is controlled in accordance with the command command generated by the control unit 515, and cooking is performed using the food material.
  • control unit 515 When the cooking using the ingredients is finished, the control unit 515 generates a command command for measuring the flavor and outputs it to the command output unit 516.
  • the cooking arm 321 is controlled in accordance with the command command generated by the control unit 515, and the flavor of the food is determined using the camera 401, the olfactory sensor 402, the taste sensor 403, the infrared sensor 404, and the texture sensor 405 as appropriate. Measurement is performed. Information representing the flavor measurement result is transmitted from the cooking robot 1 to the control device 12.
  • the flavor information processing unit 514 plans how to adjust the flavor and the like, and the flavor information processing unit 514 requests the control unit 515 to perform an operation for adjusting the flavor.
  • control unit 515 When it is requested to perform an operation for adjusting the flavor, the control unit 515 sets the state where the operation is finished as the goal state, and sets the operation sequence from the current state to the goal state. The control unit 515 outputs an instruction command for performing each operation constituting the operation sequence to the command output unit 516.
  • the cooking arm 321 is controlled according to the command command generated by the control unit 515, and the operation for adjusting the flavor is executed.
  • the control of the operation of the cooking robot 1 by the control unit 515 is performed using, for example, the above command commands.
  • the control unit 515 has a function as a generation unit that generates an instruction command.
  • command command generated by the control unit 515 may be a command to command the execution of the entire action for causing a certain state transition, or a command to command the execution of a part of the action. That is, one action may be executed according to one command command, or may be executed according to a plurality of command commands.
  • the command output unit 516 controls the communication unit 209 and transmits the command command generated by the control unit 515 to the cooking robot 1.
  • FIG. 28 is a block diagram showing a configuration example of the flavor information processing unit 514.
  • the flavor information processing unit 514 includes a flavor measuring unit 521, a flavor adjusting unit 522, a subjective information analyzing unit 523, an attribute information analyzing unit 524, and an environment information analyzing unit 525.
  • the flavor measuring unit 521 includes a taste measuring unit 541, a fragrance measuring unit 542, a texture measuring unit 543, a sensible temperature measuring unit 544, and a color measuring unit 545.
  • the taste measuring unit 541 acquires the taste sensor data transmitted from the cooking robot 1 in response to the flavor measurement.
  • the taste sensor data acquired by the taste measuring unit 541 is measured by the taste sensor 403 (FIG. 26).
  • the taste sensor 403 In the cooking robot 1, the flavor of the food material is measured at a predetermined timing such as when the cooking operation of a certain cooking process is finished.
  • the scent measuring unit 542 acquires the olfactory sensor data transmitted from the cooking robot 1 in response to the flavor measurement.
  • the olfactory sensor data acquired by the scent measuring unit 542 is measured by the olfactory sensor 402.
  • the texture measuring unit 543 acquires the texture sensor data transmitted from the cooking robot 1 in response to the flavor measurement.
  • the texture sensor data acquired by the texture measurement unit 543 is measured by the texture sensor 405.
  • the sensible temperature measuring unit 544 acquires the sensible temperature sensor data transmitted from the cooking robot 1 in response to the flavor measurement.
  • the sensible temperature sensor data acquired by the sensible temperature measuring unit 544 is measured by a temperature sensor provided in a predetermined position of the cooking robot 1, such as in the taste sensor 403.
  • the color measuring unit 545 acquires the color sensor data transmitted from the cooking robot 1 in response to the flavor measurement.
  • the color sensor data acquired by the color measuring unit 545 is recognized by analyzing the image captured by the camera 401 of the cooking robot 1.
  • the sensor data acquired by each unit of the flavor measuring unit 521 is supplied to the flavor adjusting unit 522.
  • the flavor adjusting unit 522 includes a taste adjusting unit 551, a fragrance adjusting unit 552, a texture adjusting unit 553, a sensible temperature adjusting unit 554, and a color adjusting unit 555.
  • the flavor information supplied from the recipe data analysis unit 512 is input to the flavor adjustment unit 522.
  • the taste adjusting unit 551 compares the taste sensor data included in the flavor sensor information included in the recipe data with the taste sensor data acquired by the taste measuring unit 541 to determine whether the two match.
  • the taste of the food material obtained by the cooking operation of the cooking robot 1 matches the taste of the food material obtained by the chef's cooking operation. It will be determined whether or not it is present.
  • the taste adjusting unit 551 does not need to adjust the taste. to decide.
  • the taste adjusting unit 551 determines the taste adjusting method. Then, the controller 515 is requested to perform the operation for adjusting the taste.
  • the control unit 515 is required to perform operations such as adding salt when the saltiness is insufficient and squeezing lemon juice when the acidity is insufficient.
  • the flavor adjusting unit 522 determines whether the flavor of the food material obtained by the cooking operation of the cooking robot 1 and the flavor of the food material obtained by the cooking operation of the chef match each other. The judgment is made and the flavor is adjusted appropriately.
  • the scent adjusting unit 552 compares the olfactory sensor data included in the flavor sensor information included in the recipe data with the olfactory sensor data acquired by the scent measuring unit 542, and determines whether the two match. Here, it is determined whether or not the scent of the food obtained by the cooking operation of the cooking robot 1 matches the scent of the food obtained by the chef's cooking operation.
  • the scent adjusting unit 552 does not need to adjust the scent. to decide.
  • the scent adjusting unit 552 plans the scent adjusting method. Then, the control unit 515 is requested to perform the operation for adjusting the scent.
  • the control unit 515 is required to perform operations such as squeezing lemon juice when it smells blue and chopping and adding herbs when the scent of citrus is weak.
  • the texture adjusting unit 553 compares the texture sensor data included in the flavor sensor information included in the recipe data with the texture sensor data acquired by the texture measuring unit 543, and determines whether the two match. Here, it is determined whether or not the texture of the food material obtained by the cooking operation of the cooking robot 1 matches the texture of the food material obtained by the chef's cooking operation.
  • the texture adjusting unit 553 determines that the texture does not need to be adjusted. to decide.
  • the texture adjusting unit 553 plans the texture adjustment method. Then, the control unit 515 is requested to perform the operation for adjusting the texture.
  • control unit 515 When the food material is hard, the control unit 515 is required to perform an operation such as tapping to soften the food, increasing the simmering time, and the like.
  • the sensible temperature adjusting unit 554 compares the sensible temperature sensor data included in the flavor sensor information included in the recipe data with the sensible temperature sensor data acquired by the sensible temperature measuring unit 544, and determines whether the two match. To do. Here, it is determined whether or not the sensible temperature of the foodstuff obtained by the cooking operation of the cooking robot 1 matches the sensible temperature of the foodstuff obtained by the cooking operation of the chef.
  • the sensible temperature adjusting unit 554 adjusts the sensible temperature. Determine that is unnecessary.
  • the sensible temperature adjusting unit 554 determines that the sensible temperature The control unit 515 is requested to perform the planning of the adjustment method and perform the operation for adjusting the sensible temperature.
  • the control unit 515 is required to perform operations such as heating using an oven when the sensible temperature of the food is low and cooling when the sensible temperature of the food is high.
  • the color adjusting unit 555 compares the color sensor data included in the flavor sensor information included in the recipe data with the color sensor data acquired by the color measuring unit 545, and determines whether the two match. Here, it is determined whether or not the color of the foodstuff obtained by the cooking operation of the cooking robot 1 matches the color of the foodstuff obtained by the cooking operation of the chef.
  • the color adjusting unit 555 determines that the color does not need to be adjusted. to decide.
  • the color adjusting unit 555 causes the color adjusting method to be planned. Then, the control unit 515 is requested to perform the operation for color adjustment.
  • control unit may perform an operation such as moving the position of the food so as to approach the chef. 515 is required.
  • the subjective information analysis unit 523 analyzes the flavor subjective information included in the flavor information, and reflects the chef's perception of the flavor represented by the flavor subjective information in the flavor adjustment performed by the flavor adjusting unit 522.
  • the attribute information analysis unit 524 analyzes the attribute information included in the recipe data and reflects the chef's attributes in the flavor adjustment performed by the flavor adjustment unit 522.
  • the environmental information analysis unit 525 analyzes the environmental information included in the recipe data, and reflects the difference between the cooking environment and the meal environment measured by the environmental sensor 406 in the flavor adjustment performed by the flavor adjusting unit 522.
  • the process of FIG. 29 is started when the ingredients and cooking tools are prepared and the chef starts cooking. Photographing by the camera 41, generation of an IR image by the infrared sensor 51, and sensing by a sensor attached to the chef's body are also started.
  • step S1 the ingredient recognition unit 251 in FIG. 20 analyzes the image captured by the camera 41 and recognizes the ingredient used by the chef.
  • step S2 the motion recognition unit 253 analyzes the image captured by the camera 41, the sensor data indicating the measurement result of the sensor attached to the chef's body, and the like to recognize the chef's cooking motion.
  • step S3 the recipe data generation unit 233 generates the food material information generated based on the recognition result by the food material recognition unit 251, and the cooking motion information based on the motion information generated based on the recognition result by the motion recognition unit 253. To generate.
  • step S4 the recipe data generation unit 233 determines whether or not one cooking process is completed. If it is determined that one cooking process is not completed yet, the process returns to step S1 and the above-described process is repeated. ..
  • step S4 If it is determined in step S4 that one cooking step has been completed, the process proceeds to step S5.
  • Flavor information generation processing is performed in step S5.
  • the flavor information is generated by the flavor information generation processing. Details of the flavor information generation processing will be described later with reference to the flowchart of FIG.
  • step S6 the recipe data generation unit 233 generates a cooking process data set by associating the cooking operation information with the flavor information.
  • step S7 the recipe data generation unit 233 determines whether or not all cooking steps have been completed. If it is determined that all cooking steps have not yet been completed, the procedure returns to step S1 and the above-described processing is repeated. .. Similar processing is repeated for the next cooking step.
  • step S7 If it is determined in step S7 that all the cooking steps have been completed, the process proceeds to step S8.
  • step S8 the recipe data generation unit 233 generates recipe data including all cooking process data sets.
  • step S5 of FIG. 29 will be described with reference to the flowchart of FIG.
  • step S11 the taste measuring unit 261 measures the taste of the food material by controlling the taste sensor 43.
  • step S12 the scent measuring unit 262 measures the scent of the food material by controlling the olfactory sensor 42.
  • step S13 the texture measuring unit 263 measures the texture of the food material based on the image captured by the camera 41, the measurement result of the texture sensor 52, and the like.
  • step S14 the sensible temperature measuring unit 264 measures the sensible temperature of the food material measured by the temperature sensor.
  • step S15 the color measuring unit 265 measures the color of the food material based on the image captured by the camera 41.
  • step S16 the subjective information generation unit 266 generates flavor subjective information based on the sensor data acquired by each unit of the taste measuring unit 261 to the color measuring unit 265.
  • step S17 the recipe data generation unit 233 uses the flavor sensor information including the sensor data measured by the taste measurement unit 261 to the color measurement unit 265, and the flavor information based on the flavor subjective information generated by the subjective information generation unit 266. To generate.
  • step S5 of FIG. 29 After the flavor information is generated, the process returns to step S5 of FIG. 29, and the subsequent processing is performed.
  • step S31 the recipe data acquisition unit 511 of FIG. 27 acquires the recipe data transmitted from the data processing device 11.
  • the recipe data acquired by the recipe data acquisition unit 511 is analyzed by the recipe data analysis unit 512, and cooking operation information and flavor information are extracted.
  • Cooking operation information is supplied to the control unit 515, and flavor information is supplied to the flavor information processing unit 514.
  • step S32 the control unit 515 selects one cooking process as an execution target. It is selected as an execution target in order from the cooking process data set regarding the first cooking process.
  • step S33 the control unit 515 determines whether or not the cooking process to be executed is a cooking process for serving cooked food. When it is determined in step S33 that it is not the cooking process of serving the cooked food, the process proceeds to step S34.
  • step S34 the control unit 515 prepares the food material to be used in the cooking process to be executed, based on the description of the food material information included in the cooking operation information.
  • step S35 the control unit 515 generates a command command based on the description of the operation information included in the cooking operation information, and transmits the command to the cooking robot 1 to cause the cooking arm 321 to execute the cooking operation.
  • Flavor measurement processing is performed in step S36.
  • the flavor measurement process the flavor of the cooked food cooked by the cooking robot 1 is measured. Details of the flavor measurement processing will be described later with reference to the flowchart of FIG.
  • step S37 the flavor adjusting unit 522 determines whether or not the flavor of the cooked food and the flavor represented by the flavor sensor information included in the recipe data match.
  • the flavor of the cooked ingredients and the flavor represented by the flavor sensor information are the same for all of the taste, scent, texture, sensible temperature, and color that are the components of the flavor, it is assumed that the flavors match. To be judged.
  • step S38 If it is determined in step S37 that the flavors do not match because one of the components does not match, the flavor adjustment process is performed in step S38.
  • the flavor adjustment process adjusts the flavor of the cooked food. Details of the flavor adjustment processing will be described later with reference to the flowchart of FIG.
  • step S38 After the flavor adjustment process is performed in step S38, the process returns to step S36, and the above-described process is repeatedly executed until it is determined that the flavors match.
  • step S33 when it is determined in step S33 that the cooking process to be executed is the cooking process in which cooked food is served, the process proceeds to step S39.
  • step S39 the control unit 515 generates a command command based on the description of the cooking operation information and sends it to the cooking robot 1 to serve the cooking arm 321.
  • step S37 When the arrangement of the ingredients has been completed, or when it is determined in step S37 that the flavor of the cooked ingredients and the flavor represented by the flavor sensor information included in the recipe data match, the process proceeds to step S40.
  • step S40 the control unit 515 determines whether or not all cooking steps have been completed. If it is determined that all cooking steps have not yet been completed, the control section 515 returns to step S32 and repeats the above-described processing. Similar processing is repeated for the next cooking step.
  • step S40 determines whether all cooking steps have been completed. If it is determined in step S40 that all cooking steps have been completed, the dish is completed and the dish reproduction process is terminated.
  • step S51 the taste measurement unit 541 of FIG. 28 causes the cooking robot 1 to measure the taste of the cooked food and acquires the taste sensor data.
  • step S52 the scent measuring unit 542 causes the cooking robot 1 to measure the scent of the cooked food material, and acquires olfactory sensor data.
  • step S53 the texture measuring unit 543 causes the cooking robot 1 to measure the texture of the cooked food material, and acquires the texture sensor data.
  • step S54 the sensible temperature measuring unit 544 causes the cooking robot 1 to measure the sensible temperature of the cooked food material, and acquires the sensible temperature sensor data.
  • step S55 the color measuring unit 545 causes the cooking robot 1 to measure the color of the cooked food material and acquires the color sensor data.
  • the flavor of cooked food can be measured and used for the flavor adjustment processing described later. After that, the process returns to step S36 of FIG. 31, and the subsequent processes are performed.
  • step S61 the taste adjusting unit 551 performs a taste adjusting process.
  • the taste adjustment process is performed when the taste of the cooked food material does not match the taste represented by the taste sensor data included in the flavor sensor information. Details of the taste adjustment processing will be described later with reference to the flowchart in FIG. 34.
  • step S62 the scent adjustment unit 552 performs scent adjustment processing.
  • the scent adjustment process is performed when the scent of the cooked food material does not match the scent represented by the olfactory sensor data included in the flavor sensor information.
  • step S63 the texture adjustment unit 553 performs texture adjustment processing.
  • the texture adjustment process is performed when the texture of the cooked food material does not match the texture represented by the texture sensor data included in the flavor sensor information.
  • step S64 the sensible temperature adjusting unit 554 performs the sensible temperature adjusting process.
  • the sensible temperature adjustment process is performed when the sensible temperature of the cooked food and the sensible temperature represented by the sensible temperature sensor data included in the flavor sensor information do not match.
  • step S65 the color adjustment unit 555 performs the color adjustment process.
  • the color adjustment process is performed when the color of the cooked food material does not match the color represented by the color sensor data included in the flavor sensor information.
  • the operation of applying lemon juice to the food to increase the sourness is performed as a taste adjustment process, this may change the scent of the food and may require adjustment of the scent.
  • the scent adjustment process is performed together with the taste adjustment process.
  • step S61 of FIG. 33 the taste adjusting process performed in step S61 of FIG. 33 will be described with reference to the flowchart of FIG.
  • step S71 the taste adjusting unit 551 identifies the current value of the taste of the cooked foodstuff in the taste space based on the taste sensor data acquired by the taste measuring unit 541.
  • step S72 the taste adjusting unit 551 sets a target value of taste based on the description of the flavor sensor information included in the recipe data.
  • step S73 the taste adjusting unit 551 plans the adjustment content for changing the taste of the food material from the current value to the target value.
  • FIG. 35 is a diagram showing an example of planning.
  • the vertical axis shown in FIG. 35 represents the taste of any one of the seven types of taste, and the horizontal axis represents the other one taste.
  • the taste space is represented as a two-dimensional space in FIG. 35, but when the taste is composed of seven types of saltiness, sourness, bitterness, sweetness, umami, spiciness, and astringency as described above, The taste space becomes a seven-dimensional space.
  • the taste sensor data measured by the cooking robot 1 represents the taste of the cooked food material as the current value.
  • the taste that is the target value is set by the taste sensor data included in the flavor sensor information.
  • the target taste is the taste of the ingredients cooked by the chef.
  • the taste of the ingredients is directly changed from the current taste to the target taste. It may not be possible to change it.
  • the cooking operation is planned to achieve the target value taste through a plurality of tastes.
  • step S74 the taste adjusting unit 551 causes the control unit 515 to perform an operation for adjusting the taste according to the plan.
  • the scent adjustment process (step S62), texture adjustment process (step S63), sensible temperature adjustment process (step S64), and color adjustment process (step S65) are also performed in the same manner as the taste adjustment process of FIG. 34. That is, the cooking operation for transitioning the taste of the ingredient from the current value to the target value is performed with the flavor of the cooked ingredient as the current value and the flavor represented by the flavor sensor information of the recipe data as the target value.
  • the cooking robot 1 reproduces a dish with the same flavor as the dish prepared by the chef.
  • the user can eat a dish with the same flavor as the dish prepared by the chef.
  • the chef can provide a variety of people with a dish that has the same flavor as the dish that he prepared.
  • the chef can leave the food he cooks in a reproducible form as recipe data.
  • ⁇ Modification> Example of updating the cooking process on the reproduction side
  • the processing of partially updating the recipe data may be performed by the control unit 515 (FIG. 27).
  • control unit 515 refers to the alternative ingredient database and selects an alternative ingredient from the ingredients that can be prepared on the reproduction side.
  • the alternative ingredient is an ingredient used in place of the ingredient described in the recipe data as being used for cooking.
  • the ingredients that can be prepared on the reproduction side are specified, for example, by recognizing the surrounding situation of the cooking robot 1.
  • control unit 515 when the control unit 515 cannot prepare the foodstuff "sea urchin" described in the recipe data, the control unit 515 refers to the substitute foodstuff database and selects a foodstuff combining "pudding” and “soy sauce” as the substitute foodstuff. It is well known that the flavor of "sea urchin" can be reproduced by combining "pudding” and "soy sauce”.
  • the control unit 515 describes cooking operation information in which information on a cooking process using "sea urchin” is described, information on an operation in which "pudding” and “soy sauce” are combined, and information on a cooking process using alternative ingredients.
  • the cooking operation information is updated.
  • the control unit 515 controls the cooking operation of the cooking robot 1 based on the updated cooking operation information.
  • the flavors of the alternative ingredients prepared in this way may be measured and the flavors adjusted accordingly.
  • FIG. 36 is a flowchart illustrating the processing of the control device 12 for adjusting the flavor of the alternative food material.
  • FIG. 36 The process of FIG. 36 is performed after the alternative ingredients are prepared.
  • step S111 the flavor measuring unit 521 of the flavor information processing unit 514 measures the flavor of the prepared alternative food and acquires sensor data representing the flavor of the alternative food.
  • step S112 the flavor adjusting unit 522 determines whether or not the flavor of the substitute foodstuff matches the flavor of the foodstuff before the replacement. In the case of the example described above, it is determined whether or not the flavor of the alternative food material in which “pudding” and “soy sauce” are combined matches the flavor of “urchin”. The flavor of "sea urchin" is specified by the flavor sensor information included in the recipe data.
  • step S112 When it is determined in step S112 that the flavor of the alternative ingredient does not match the flavor of the ingredient before substitution, the sensor data indicating the flavor of the alternative ingredient does not match the flavor sensor information included in the recipe data, and thus the process is step S113. Proceed to.
  • step S113 the flavor adjusting unit 522 adjusts the flavor of the alternative food material.
  • the adjustment of the flavor of the alternative food material is performed in the same manner as the above-described processing for adjusting the flavor of the cooked food material.
  • step S112 When the flavor of the substitute foodstuff is adjusted, or when it is determined in step S112 that the flavor of the substitute foodstuff matches the flavor of the foodstuff before the replacement, the process of adjusting the flavor of the substitute foodstuff is completed. After that, processing is performed according to the renewed cooking process using alternative ingredients.
  • the alternative food material database may be prepared in the control device 12, or may be prepared in a predetermined server such as the recipe data management server 21.
  • the updating of the cooking operation information may be performed by the control device 12 or the data processing device 11.
  • the specifications of both sensors may differ, such that the sensor provided on the chef side has higher measurement accuracy than the sensor provided on the reproduction side.
  • the specifications of both are different, the measurement results when the flavors of the same foodstuff are measured by the respective sensors are different.
  • Flavor subjective information so that the flavor of cooked ingredients by the cooking robot 1 and the flavor of ingredients cooked by the chef can be determined even when the specifications of the sensors provided on both the chef side and the reproduction side are different. Is used.
  • FIG. 37 is a diagram showing an example of determination of flavor.
  • flavor sensor information is extracted from the recipe data, and as shown by arrow A101, the sensor data representing the flavor of the cooked food is compared with the flavor sensor information. The flavor is determined (whether or not the flavors match).
  • FIG. 38 is a diagram showing an example of determining flavor using subjective flavor information.
  • the flavor subjective information is calculated based on the sensor data representing the flavor of the cooked food.
  • a model generated based on how the chef feels the taste as described with reference to FIG. 6 is used.
  • the subjective information analysis unit 523 (FIG. 28) of the flavor information processing unit 514 has the same model as the model for taste subjective information generation prepared on the chef side.
  • the subjective information analysis unit 523 compares the flavor subjective information calculated based on the sensor data representing the flavor of the cooked food with the flavor subjective information extracted from the recipe data, thereby performing the flavor. Will be judged. If the flavor subjective information of both flavors match, it is determined that the flavors match, and the processing of the next cooking step is performed.
  • a mode based on sensor data and a mode based on flavor subjective information are prepared.
  • FIG. 39 is a diagram showing an example of a model for generating sensor data.
  • a model capable of calculating sensor data under the specifications of the sensor provided on the reproduction side based on the flavor subjective information included in the recipe data is prepared in the subjective information analysis unit 523. You may do so.
  • the taste sensor information generation model shown in FIG. 39 deep learning or the like is performed based on the sensor data on the taste measured by the sensor prepared on the reproduction side and the subjective value indicating how the chef feels the taste. It is a model such as a neural network generated by. For example, an administrator who manages the recipe data prepares models according to specifications of various sensors and provides the models to the reproducing side.
  • the subjective information analysis unit 523 calculates the corresponding sensor data by inputting the flavor subjective information into the model.
  • the subjective information analysis unit 523 determines the flavor by comparing the sensor data obtained by measuring the flavor of the cooked foodstuff by the cooking robot 1 with the sensor data calculated using the model. Become.
  • Recipe data includes attribute information indicating chef attributes and the like. Since the age, sex, nationality, living area, etc. affect how the flavor is perceived, they are reproduced according to the difference between the attributes of the chef and the attributes of the person who eats the dish reproduced by the cooking robot 1. The flavor of the ingredients may be adjusted.
  • the cooker attribute information which is the attribute information extracted from the recipe data, is supplied to the attribute information analysis unit 524 and used for the control of the flavor adjustment performed by the flavor adjusting unit 522.
  • the meal person attribute information representing the meal person's attribute which is input by the person who eats the dish reproduced by the cooking robot 1, is also supplied to the attribute information analysis unit 524.
  • the attribute information analysis unit 524 identifies the chef attribute based on the cook attribute information and the meal attribute based on the meal attribute information.
  • the attribute information analysis unit 524 adjusts the texture of the ingredients so as to soften the food when the mealer's age is significantly older than the chef's age and the mealer is identified as an elderly person.
  • the attribute information analysis unit 524 adjusts the flavor of the ingredients adjusted by the flavor adjustment unit 522 based on the information prepared in advance according to the difference in nationality, as described above. To control. Similarly, when other attributes of the meal person and the chef, such as gender and living area, are different, the attribute information analysis unit 524 controls the flavor of the foodstuff adjusted by the flavor adjustment unit 522 according to the difference between the two attributes. ..
  • the attribute information analysis unit 524 identifies the attribute of the food material based on the food attribute information, and also identifies the attribute of the food material prepared on the reproduction side.
  • the attribute information analysis unit 524 controls the flavor of the ingredients adjusted by the flavor adjustment unit 522 according to the difference in the attributes.
  • the flavor of the ingredients may be adjusted on the reproduction side based on the difference in various attributes on the chef side and the reproduction side.
  • Adjustment of meal environment Recipe data includes environmental information representing the cooking environment, which is the environment of the space where the chef cooks. The color, temperature, and brightness of the space affect how the flavor is perceived, so adjustments are made to bring the dining environment, such as the dining room, where the cooking robot 1 reproduces meals closer to the cooking environment. May be performed.
  • the environmental information extracted from the recipe data is supplied to the environmental information analysis unit 525 and used to adjust the eating environment.
  • the environmental information analysis unit 525 has a dining environment so that the color of the dining environment measured by analyzing the image taken by the camera 441 (FIG. 26) is close to the color of the cooking environment represented by the environmental information. Control the lighting equipment in the room.
  • the environment information analysis unit 525 has a function as an environment control unit that adjusts a meal environment by controlling an external device.
  • the environmental information analysis unit 525 controls the air conditioning equipment in the dining room so that the temperature and humidity of the dining environment measured by the temperature / humidity sensor 442 are close to the temperature and humidity of the cooking environment represented by the environmental information. To do.
  • the environmental information analysis unit 525 controls the lighting equipment in the dining room so that the brightness of the dining environment measured by the illuminance sensor 443 approaches the brightness of the cooking environment represented by the environmental information.
  • the eating environment can be brought closer to the cooking environment, and the way the person who eats the food reproduced by the cooking robot 1 feels the flavor can be brought closer to the way the chef feels the flavor.
  • FIG. 40 is a flowchart illustrating the processing of the control device 12 for correcting the flavor sensor information.
  • step S121 the environmental information analysis unit 525 acquires the specifications of the sensor provided on the chef side based on the environmental information included in the recipe data.
  • step S122 the environment information analysis unit 525 acquires the specifications of the sensors provided around the cooking robot 1 on the reproduction side.
  • step S123 the environmental information analysis unit 525 is sensor data measured by the chef based on the difference between the specifications of the sensor provided on the chef side and the specifications of the sensors provided around the cooking robot 1. , The flavor sensor information included in the recipe data is corrected.
  • information indicating the correspondence between the measurement result of the sensor provided on the chef side and the measurement result of the sensor provided on the reproduction side is prepared as correction information.
  • the flavor sensor information corrected in this way is used for determining the flavor. This makes it possible to absorb differences in the environment and determine the flavor.
  • the cooking robot that reproduces food based on the recipe data is the cooking robot 1 installed in the home, the cooking robots installed in various places reproduce the food. You may.
  • the above-mentioned technique can be applied even when cooking is reproduced by a cooking robot installed in a factory or a cooking robot installed in a restaurant.
  • the cooking robot that reproduces a dish based on the recipe data is the cooking robot 1 that operates the cooking arm to perform cooking, but it is possible to cook the food by a configuration other than the cooking arm.
  • the cooking may be reproduced on various cooking robots.
  • control of the cooking robot 1 is performed by the control device 12, but the control may be performed directly by the data processing device 11 that generates recipe data.
  • the data processing device 11 is provided with each component of the command generation unit 501 described with reference to FIG.
  • each configuration of the command generation unit 501 may be provided in the recipe data management server 21.
  • the server function of the recipe data management server 21 that manages recipe data and provides it to other devices may be provided in the data processing device 11 that generates recipe data.
  • FIG. 41 is a diagram showing another configuration example of the cooking system.
  • the recipe data management unit 11A included in the data processing device 11 has a server function of managing recipe data and providing the recipe data to other devices.
  • the recipe data managed by the recipe data management unit 11A is provided to the plurality of cooking robots and the control device that controls the cooking robots.
  • the recipe data and the cooking process data set have value as data, and it may be possible to assume a situation where the value is required when used by another person. ..
  • the recipe data management server 21 of FIG. 14 (data processing device 11 of FIG. 41) manages the chef and the recipe data (or the cooking process data set) in a copyright-managed state by associating them with each other. ..
  • the user pays a usage fee for the recipe data, so that, for example, the recipe data downloaded to the control device 12 is displayed. It can be used for cooking in the cooking robot 1.
  • the usage fee is returned to the chef who is the creator of the recipe data, the data manager who manages the recipe data, and the like.
  • the recipe data management server 21 (data processing device 11 in FIG. 41) of FIG. 14 uses a blockchain technology for distributed management of data transaction history on a server (cloud server, edge server, etc.) as a ledger. , Manage by associating the chef with the recipe data (or cooking process data set).
  • the user pays the usage fee for the recipe data, so that, for example, the recipe data downloaded to the control device 12 is displayed. It can be used for cooking in the cooking robot 1.
  • the usage fee is returned to the chef who is the creator of the recipe data, the data manager who manages the recipe data, and the like.
  • the recipe data (or cooking process data set) can be efficiently managed as a copyrighted work represented in a creative form, taking into account the respective relationships among the chef, the user, and the usage fee. is there.
  • Characterization of foodstuff using temperature change of absorption spectrum Although the flavor of foodstuff is represented by sensor data such as taste, aroma, and texture, it may be represented by other indexes. It is possible to use the temperature change of the absorption spectrum as an index expressing the flavor of the food.
  • the spectrophotometer is used to measure the absorption spectrum of a sample (foodstuff).
  • the absorption spectrum changes according to the temperature of the sample.
  • the following reactions can be considered as the background of the change in the absorption spectrum with increasing temperature.
  • association state state in which two or more molecules move like one molecule due to weak intermolecular binding
  • the association state state in which two or more molecules move like one molecule due to weak intermolecular binding
  • the association state changes depending on temperature.
  • the molecules are likely to associate or aggregate, and conversely, when the temperature is high, the molecular vibration is intense, and the molecules are easily separated from the association. Therefore, the peak value of the absorption wavelength derived from the association decreases, and the peak value of the absorption wavelength derived from the separated single molecule increases.
  • the taste substances are the components of the liquid phase and the scent substances are the components of the gas phase that are volatile. is there.
  • ⁇ Molecules in the association state are unlikely to enter the gas phase, and single molecules dissociated from the association state are likely to transfer to the gas phase.
  • terpenes which are deeply related to fragrance, exist in plants in the form of glycosides with sugar, but by thermal decomposition or enzymatic decomposition, the sugar becomes aglycone-free form and easily volatilizes. ..
  • the temperature change of the absorption spectrum reflects the phase transition from the liquid phase related to "taste” to the gas phase related to "fragrance".
  • the target sample is kept warm at at least two or more different temperatures, the absorption spectra of the samples in each heat-retaining state are measured, and the data set is used as information that characterizes the taste and aroma of the sample. Is possible. Specimens can be identified from the characteristics (patterns) of the absorption spectrum data set.
  • This method can be said to be a method of characterizing the sample by the absorption spectrum of the three-dimensional data by adding the dimension of temperature to the absorption spectrum represented as two-dimensional data of wavelength and absorbance.
  • the series of processes described above can be executed by hardware or software.
  • a program forming the software is installed in a computer incorporated in dedicated hardware, a general-purpose personal computer, or the like.
  • the installed program is provided by being recorded on the removable media 211 shown in FIG. 19 including an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.) and a semiconductor memory. Further, it may be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting.
  • the program can be pre-installed in the ROM 202 or the storage unit 208.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or may be processed in parallel or at a necessary timing such as when a call is made. It may be a program to be performed.
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether or not all the constituent elements are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Nutrition Science (AREA)
  • Molecular Biology (AREA)
  • Polymers & Plastics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • General Preparation And Processing Of Foods (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本技術は、調理人が作る料理と同じ料理を調理ロボットにおいて再現する場合の再現性を高めることができるようにする調理ロボット、調理ロボット制御装置、制御方法に関する。 本技術の一側面の調理ロボットは、料理の食材に関する情報および食材を用いた調理工程における調理人の動作に関する情報が記述された調理動作データと、調理工程の進捗に連動して計測された調理人の感覚を示す感覚データとをリンクさせたデータセットを含むレシピデータを用いて、調理アームが行う調理動作を制御する。本技術は、アームを動作させて調理を行う調理ロボットに適用することができる。

Description

調理ロボット、調理ロボット制御装置、制御方法
　本技術は、調理ロボット、調理ロボット制御装置、制御方法に関し、特に、調理人が作る料理と同じ料理を調理ロボットにおいて再現する場合の再現性を高めることができるようにした調理ロボット、調理ロボット制御装置、制御方法に関する。
　調理中の調理人の動きをセンシングし、センシング結果のデータを保存・送信することによって、調理人が作った料理を調理ロボット側において再現する技術が検討されている。調理ロボットによる調理動作は、例えば、調理人の手の動きと同じ動きをセンシング結果に基づいて実現するようにして行われる。
特表２０１７－５０６１６９号公報 特表２０１７－５３６２４７号公報
　従来の調理ロボットを用いた調理方法では、レシピ通りに調理工程を進めた場合でも、調理人が意図した通りの料理を再現することは現実的には難しい。
　これは、調理人や料理を食べる人により、味覚・嗅覚等の感覚が異なることの他に、調理人側と再現側とで、食材の種類・大きさ・質感・産地等が異なる、調理器具の種類・能力等が異なる、温度・湿度等の調理環境が異なること等に起因する。
　本技術はこのような状況に鑑みてなされたものであり、調理人が作る料理と同じ料理を調理ロボットにおいて再現する場合の再現性を高めることができるようにするものである。
　本技術の一側面の調理ロボットは、料理を作るための調理動作を行う調理アームと、前記料理の食材に関する情報および前記食材を用いた調理工程における調理人の動作に関する情報が記述された調理動作データと、前記調理工程の進捗に連動して計測された前記調理人の感覚を示す感覚データとをリンクさせたデータセットを含むレシピデータを用いて、前記調理アームが行う調理動作を制御する制御部とを備える。
　本技術の一側面においては、前記料理の食材に関する情報および前記食材を用いた調理工程における調理人の動作に関する情報が記述された調理動作データと、前記調理工程の進捗に連動して計測された前記調理人の感覚を示す感覚データとをリンクさせたデータセットを含むレシピデータを用いて、前記調理アームが行う調理動作が制御される。
本技術の一実施形態に係る調理システムにおける全体の処理の例を示す図である。 シェフ側と再現側のそれぞれにおいて用いられる食材の違いについて説明する図である。 レシピデータの記述内容の例を示す図である。 調理工程データセットに含まれる情報の例を示す図である。 風味の構成要素の例を示す図である。 味覚主観情報の算出例を示す図である。 味覚主観情報のチャートの例を示す図である。 レシピデータの例を示す図である。 レシピデータの生成の流れの例を示す図である。 レシピデータに基づく料理の再現の流れの例を示す図である。 シェフ側の流れと再現側の流れをまとめて示す図である。 レシピデータの他の記述内容の例を示す図である。 本技術の一実施形態に係る調理システムの構成例を示す図である。 調理システムの他の構成例を示す図である。 制御装置の配置例を示す図である。 シェフが調理を行うキッチン周りの構成例を示す図である。 味覚センサの使用状態の例を示す図である。 シェフ側の構成例を示すブロック図である。 データ処理装置のハードウェアの構成例を示すブロック図である。 データ処理装置の機能構成例を示すブロック図である。 調理ロボットの外観を示す斜視図である。 調理アームの様子を拡大して示す図である。 調理アームの外観を示す図である。 調理アームの各部の可動域の例を示す図である。 調理アームとコントローラの接続の例を示す図である。 調理ロボットと周辺の構成の例を示すブロック図である。 制御装置の機能構成例を示すブロック図である。 風味情報処理部の構成例を示すブロック図である。 データ処理装置のレシピデータ生成処理について説明するフローチャートである。 図２９のステップＳ５において行われる風味情報生成処理について説明するフローチャートである。 制御装置の料理再現処理について説明するフローチャートである。 図３１のステップＳ３６において行われる風味計測処理について説明するフローチャートである。 図３１のステップＳ３８において行われる風味調整処理について説明するフローチャートである。 図３３のステップＳ６１において行われる味調整処理について説明するフローチャートである。 プランニングの例を示す図である。 制御装置の風味調整処理について説明するフローチャートである。 風味の判定例を示す図である。 風味主観情報を用いた風味の判定例を示す図である。 センサデータ生成用のモデルの例を示す図である。 制御装置の風味センサ情報補正処理について説明するフローチャートである。 調理システムの他の構成例を示す図である。
＜本技術の概要＞
　本技術は、調理人が料理を作るときの感覚と、調理人が作成したレシピに基づいて調理を行うときの感覚との違い（差分）に着目し、食材と調理工程とを記述したデータに対して、料理を作るときの調理人の感覚をデータ化した感覚データをリンクさせてレシピデータとして管理するようにしたものである。
　また、本技術は、感覚データにより表される調理人の感覚に基づいて、調理ロボットの調理動作を調整することにより、調理人が意図した通りの風味の料理を、調理ロボット側において再現することができるようにしたものである。
　さらに、本技術は、感覚データに加えて、再現時の調理動作の際にセンシングされたデータをも活用して食材や調理動作を調整することにより、料理を食べる人の特性（属性、状態など）に合わせた、柔軟な調理を実現するものである。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．調理システムにおけるレシピデータの生成と料理の再現
　２．レシピデータについて
　３．レシピデータの生成と料理の再現の流れの例
　４．調理システムの構成例
　５．調理システムの動作
　６．変形例
＜調理システムにおけるレシピデータの生成と料理の再現＞
　図１は、本技術の一実施形態に係る調理システムにおける全体の処理の例を示す図である。
　図１に示すように、調理システムは、調理を行うシェフ側の構成と、シェフが作った料理を再現する再現側の構成とから構成される。
　シェフ側の構成は、例えば、あるレストランに設けられる構成となり、再現側の構成は、例えば、一般の家庭に設けられる構成となる。再現側の構成として、調理ロボット１が用意される。
　図１の調理システムは、シェフが作った料理と同じ料理を、再現側の構成としての調理ロボット１において再現するシステムである。調理ロボット１は、調理アームなどの駆動系の装置、および、各種のセンサを有し、調理を行う機能を搭載したロボットである。
　シェフ側の構成から、調理ロボット１を含む再現側の構成に対しては、矢印で示すようにレシピデータが提供される。後に詳述するように、レシピデータには、料理の食材を含む、シェフが作った料理に関する情報が記述されている。
　再現側の構成においては、調理ロボット１の調理動作をレシピデータに基づいて制御することによって、料理が再現されることになる。例えば、シェフの調理工程と同じ工程を実現するための調理動作を調理ロボット１に行わせることによって料理が再現される。
　調理を行う調理人としてシェフが示されているが、板前、コックなどの呼び方、厨房における役割に関わらず、調理を行う人であれば、どのような人が調理を行う場合にも、図１の調理システムは適用可能である。
　また、図１においては、１人のシェフ側の構成のみが示されているが、調理システムには、複数のレストランなどにそれぞれ設けられる複数のシェフ側の構成が含まれる。再現側の構成に対しては、例えば調理ロボット１により再現された料理を食べる人が選択した所定のシェフが作る、所定の料理のレシピデータが提供される。
　なお、料理は、調理を経て出来上がる成果物のことを意味する。調理は、料理を作る過程や、料理を作る行為（作業）のことを意味する。
　図２は、シェフ側と再現側のそれぞれにおいて用いられる食材の違いについて説明する図である。
　シェフの調理に例えばにんじんが使われた場合、レシピデータには、食材としてにんじんを使うことを表す情報が記述される。また、にんじんを使った調理工程に関する情報が記述される。
　再現側においても同様に、レシピデータに基づいて、にんじんを使った調理動作が行われる。
　ここで、同じ「にんじん」として分類される食材であっても、シェフ側で用意されるにんじんと、再現側で用意されるにんじんとでは、種別の違い、産地の違い、収穫時期の違い、成育状況の違い、収穫後の環境の違いなどによって、味、香り、質感が異なる。自然物である食材には、完全に同じものは存在しない。
　したがって、シェフの動作と完全に同じ調理動作を調理ロボット１に行わせたとしても、にんじんを使って出来上がった料理の風味は異なるものとなる。風味の詳細については後述する。
　１つの料理が完成するまでには複数の調理工程を経ることになるが、にんじんを使った１つの調理工程を経ることによって出来上がった途中の料理を見ても、その風味は、シェフ側と再現側とでは異なるものとなる。
　同様に、ある調理工程で使われる調味料の違い、調理に使う包丁、鍋などの調理ツールの違い、火力などの設備の違いなどによっても、出来上がった料理、途中の料理の風味は、シェフ側と再現側とでは異なるものとなる。
　そこで、図１の調理システムにおいては、料理を作るときにシェフが感覚として得た風味が、例えば１つの調理工程が行われる毎に計測される。再現側に提供されるレシピデータには、シェフが得た風味をデータ化した感覚データが、例えば、１つの調理工程に関する、食材や動作の情報とリンクさせて記述される。
＜レシピデータについて＞
　図３は、レシピデータの記述内容の例を示す図である。
　図３に示すように、１つのレシピデータは、複数の調理工程データセットから構成される。図３の例においては、調理工程＃１に関する調理工程データセット、調理工程＃２に関する調理工程データセット、・・・、調理工程＃Ｎに関する調理工程データセットが含まれる。
　このように、レシピデータにおいては、１つの調理工程に関する情報が、１つの調理工程データセットとして記述される。
　図４は、調理工程データセットに含まれる情報の例を示す図である。
　図４の吹き出しに示すように、調理工程データセットは、調理工程を実現するための調理動作に関する情報である調理動作情報と、調理工程を経た食材の風味に関する情報である風味情報とから構成される。
　１．調理動作情報
　調理動作情報は、食材情報と動作情報から構成される。
　１－１．食材情報
　食材情報は、調理工程においてシェフが使った食材に関する情報である。食材に関する情報には、食材の種類、食材の量、食材の大きさなどを表す情報が含まれる。
　例えば、ある調理工程においてにんじんを使った調理をシェフが行った場合、にんじんを使ったことを表す情報が食材情報に含まれる。水、調味料などの、料理の材料としてシェフが使った各種の食物を表す情報なども、食材情報に含まれる。食物は、人が食べることができる各種の物である。
　なお、食材には、調理が全く施されていない食材だけでなく、ある調理が施されることによって得られた調理済み（下処理済み）の食材も含まれる。ある調理工程の調理動作情報に含まれる食材情報には、それより前の調理工程を経た食材の情報が含まれる。
　シェフが使った食材は、例えば、調理を行っているシェフをカメラで撮影した画像を解析することによって認識される。食材情報は、食材の認識結果に基づいて生成される。カメラにより撮影される画像は、動画像であってもよいし、静止画像であってもよい。
　レシピデータの生成時に、シェフにより、または、シェフをサポートするスタッフなどの他の人により食材情報が登録されるようにしてもよい。
　１－２．動作情報
　動作情報は、調理工程におけるシェフの動きに関する情報である。シェフの動きに関する情報には、シェフが使った調理ツールの種類、手の動きを含む、各時刻のシェフの体の動き、各時刻のシェフの立ち位置などを表す情報が含まれる。
　例えば、ある食材を、シェフが包丁を使って切った場合、調理ツールとして包丁を使ったことを表す情報、切る位置、切る回数、切り方の力加減、角度、スピードなどを表す情報が動作情報に含まれる。
　また、食材としての液体が入った鍋を、シェフがおたまを使ってかき混ぜた場合、調理ツールとしておたまを使ったことを表す情報、かき混ぜ方の力加減、角度、スピード、時間などを表す情報が動作情報に含まれる。
　ある食材を、シェフがオーブンを使って焼いた場合、調理ツールとしてオーブンを使ったことを表す情報、オーブンの火力、焼き時間などを表す情報が動作情報に含まれる。
　シェフが盛り付けを行った場合、盛り付けに使った食器、食材の配置の仕方、食材の色味などを表す盛り付け方の情報が動作情報に含まれる。
　シェフの動きは、例えば、調理を行っているシェフをカメラで撮影した画像を解析することによって、または、シェフが身に付けているセンサにより計測されたセンサデータを解析することによって認識される。動作情報は、シェフの動きの認識結果に基づいて生成される。
　２．風味情報
　図４に示すように、風味情報は、風味センサ情報と風味主観情報から構成される。風味は感覚として得られるものである。調理工程データセットに含まれる風味情報が、シェフの感覚をデータ化した感覚データに相当する。
　図５は、風味の構成要素の例を示す図である。
　人が脳で感じるおいしさ、すなわち「風味」は、図５に示すように、主に、人の味覚によって得られる味、人の嗅覚によって得られる香り、人の触覚によって得られる質感を組み合わせて構成される。
　体感温度や食材の色彩によってもおいしさの感じ方が変わってくるから、風味には、体感温度と色彩も含まれる。
　風味（flavor）の各構成要素について説明する。
（１）味（taste）
　味には、舌・口腔内の味覚受容体細胞で感じうる五種の味（塩味、酸味、苦味、甘味、旨味）が含まれる。塩味、酸味、苦味、甘味、旨味は、基本五味と呼ばれる。
　また、味には、基本五味に加えて、口腔内だけでなく全身の痛覚であるTRP(Transient Receptor Potential)チャネルファミリーに属するバニロイド受容体などで感じる辛味が含まれる。濃度に応じて苦味と重なる味となるが、渋味も味の一種である。
　それぞれの味について説明する。
　・塩味
　塩味を感じさせる物質には、イオン化結合で塩を生成するミネラル類（Na, K, Fe, Mg, Ca, Cu, Mn, Al, Zn等）がある。
　・酸味
　酸味を感じさせる物質には、クエン酸、酢酸などの酸がある。一般には、pHの低下依存（例えば、pH３程度）で酸味が感じられる。
　・甘味
　甘味を感じさせる物質には、ショ糖やブドウ糖などの糖類、脂質類、グリシンなどのアミノ酸、人工甘味料がある。
　・旨味
　旨味を感じさせる物質には、グルタミン酸やアスパラギン酸などのアミノ酸、イノシン酸、グアニル酸、キサンチル酸などの核酸派生物、コハク酸などの有機酸、および塩類がある。
　・苦味
　苦みを感じさせる物質には、カフェインなどのアルカロイド類、テオブロミン、ニコチン、カテキン、テルペノイドなどのフムロン類、リモニン、ククルビタシン、フラバノン配糖体のナリンジン、苦味アミノ酸、苦味ペプチド、胆汁酸、無機塩類のカルシウム塩、マグネシウム塩がある。
　・渋味
　渋味を感じさせる物質には、ポリフェノール類、タンニン、カテキン、多価イオン（Al, Zn, Cr）、エタノール、アセトンがある。渋味は、苦味の一部として認識、あるいは計測される。
　・辛味
　辛味を感じさせる物質には、カプサイシノイドがある。生体機能として、熱く感じる唐辛子や各種スパイスの成分であるカプサイシン、冷感を感じるペパーミントの成分であるメントールは、味覚ではなく、痛覚として、TRPチャネルファミリーの温感受容体により認識される。
（２）香り（aroma）
　香りは、鼻腔および上咽頭内に発現する嗅覚受容体により認識（結合）される分子量300以下の、揮発性のある低分子有機化合物により知覚される。
（３）質感（texture）
　質感は、いわゆる食感と呼ばれる指標であり、硬さ、ベタベタ感、粘性、凝集性、ポリマー含有量、水分含有量（moisture）、油分含有量（greasiness）などで表される。
（４）体感温度（apparent temperature）
　体感温度は、人肌が感じる温度である。体感温度には、食物自体の温度だけでなく、ミントのように揮発性物質を含む食物によって清涼感を感じたり、唐辛子のように辛味成分を含む食物によって温感を感じたりするなど、肌の表層部が食物の成分に反応して感じられる温度感覚も含まれる。
（５）色彩（color）
　食物の色彩は、食物に含まれる色素や、苦味・渋味の成分を反映する。例えば、植物由来の食物には、光合成によってできる色素や、ポリフェノール類の苦味・渋味に関わる成分が含まれる。光学的計測法により、食物の色彩から、食物に含まれる成分を推定することが可能となる。
　２－１．風味センサ情報
　風味情報を構成する風味センサ情報は、食材の風味をセンサにより計測して得られたセンサデータである。調理が全く施されていない食材の風味をセンサにより計測して得られたセンサデータが風味センサ情報として風味情報に含まれるようにしてもよい。
　風味は、味、香り、質感、体感温度、色彩によって構成されるから、風味センサ情報には、味に関するセンサデータ、香りに関するセンサデータ、質感に関するセンサデータ、体感温度に関するセンサデータ、色彩に関するセンサデータが含まれる。全てのセンサデータが風味センサ情報に含まれるようにしてもよいし、いずれかのセンサデータが風味センサ情報に含まれないようにしてもよい。
　風味センサ情報を構成するそれぞれのセンサデータを、味覚センサデータ、嗅覚センサデータ、質感センサデータ、体感温度センサデータ、色彩センサデータという。
　味覚センサデータは、味覚センサにより計測されたセンサデータである。味覚センサデータは、塩味センサ値、酸味センサ値、苦味センサ値、甘味センサ値、旨味センサ値、辛味センサ値、渋味センサ値のうちの少なくともいずれかのパラメータにより構成される。
　味覚センサには、例えば、センサ部に人工的な脂質膜を用いた人工脂質膜型味覚センサがある。人工脂質膜型味覚センサは、味を感じさせる原因となる物質である呈味物質に対する、脂質膜の静電相互作用や疎水性相互作用によって生じた膜電位の変化を検出し、センサ値として出力するセンサである。
　人工脂質膜型味覚センサではなく、食物の味を構成する塩味、酸味、苦味、甘味、旨味、辛味、渋味のそれぞれの要素をデータ化して出力することができる装置であれば、高分子膜を用いた味覚センサなどの各種の装置を味覚センサとして用いることが可能である。
　嗅覚センサデータは、嗅覚センサにより計測されたセンサデータである。嗅覚センサデータは、スパイシーな香り、フルーティーな香り、青臭い、かび臭い（チージー）、シトラスの香り、ローズの香りなどの、香りを表現する要素毎の値により構成される。
　嗅覚センサには、例えば、水晶振動子などのセンサを無数に設けたセンサがある。人間の鼻の受容体の代わりに水晶振動子が用いられることになる。水晶振動子を用いた嗅覚センサは、香り成分が水晶振動子にぶつかったときの、水晶振動子の振動周波数の変化を検出し、振動周波数の変化のパターンに基づいて、上述した香りを表現する値を出力するものである。
　水晶振動子を用いたセンサではなく、香りを表現する値を出力することができる装置であれば、カーボンなどの各種の素材からなるセンサを人間の鼻の受容体の代わりに用いた各種の装置を嗅覚センサとして用いることが可能である。
　質感センサデータは、カメラにより撮影された画像や、各種のセンサにより計測されたセンサデータを解析することにより特定されるセンサデータである。質感センサデータは、硬さ（硬度）、ベタベタ感、粘性（応力）、凝集性、ポリマー含有量、水分含有量、油分含有量などを表す情報のうちの少なくともいずれかのパラメータにより構成される。
　硬さ、ベタベタ感、粘性、凝集性は、例えば、シェフが調理を行っている食材をカメラで撮影した画像を解析することによって認識される。例えば、シェフがかき混ぜているスープの画像を解析することにより、硬さ、ベタベタ感、粘性、凝集性などの値を認識することが可能となる。これらの値が、シェフが包丁で食材を切ったときの応力を計測することにより認識されるようにしてもよい。
　ポリマー含有量、水分含有量、油分含有量は、例えば、所定の波長の光を食材に照射し、その反射光を解析することによってそれらの値を計測するセンサにより計測される。
　それぞれの食材と質感の各パラメータとを対応付けたデータベースが用意されており、データベースを参照して、それぞれの食材の質感センサデータが認識されるようにしてもよい。
　体感温度センサデータは、食材の温度を温度センサにより計測することによって得られるセンサデータである。
　色彩センサデータは、カメラにより撮影された画像から食材の色彩を解析することにより特定されるデータである。
　２－２．風味主観情報
　風味主観情報は、調理を行っているシェフなどの、人の主観的な風味の感じ方を表す情報である。風味主観情報は、風味センサ情報に基づいて算出される。
　風味は、味、香り、質感、体感温度、色彩によって構成されるから、風味主観情報には、味に関する主観情報、香りに関する主観情報、質感に関する主観情報、体感温度に関する主観情報、色彩に関する主観情報が含まれる。味に関する主観情報、香りに関する主観情報、質感に関する主観情報、体感温度に関する主観情報、色彩に関する主観情報の全てが風味主観情報に含まれるようにしてもよいし、いずれかの主観情報が風味主観情報に含まれないようにしてもよい。
　風味主観情報を構成するそれぞれの主観情報を、味覚主観情報、嗅覚主観情報、質感主観情報、体感温度主観情報、色彩主観情報という。
　図６は、味覚主観情報の算出例を示す図である。
　図６に示すように、味覚主観情報は、深層学習などにより生成されたニューラルネットワークのモデルである味覚主観情報生成用モデルを用いて算出される。味覚主観情報生成用モデルは、例えば、ある食材の味覚センサデータと、その食材を食べたシェフの味の感じ方を表す情報（数値）を用いた学習を行うことによって予め生成される。
　例えば、図６に示すように、ある食材の味覚センサデータである塩味センサ値、酸味センサ値、苦味センサ値、甘味センサ値、旨味センサ値、辛味センサ値、渋味センサ値のそれぞれを入力した場合、味覚主観情報生成用モデルからは、塩味主観値、酸味主観値、苦味主観値、甘味主観値、旨味主観値、辛味主観値、渋味主観値のそれぞれが出力される。
　塩味主観値は、シェフの塩味の感じ方を表す値である。酸味主観値は、シェフの酸味の感じ方を表す値である。苦味主観値、甘味主観値、旨味主観値、辛味主観値、渋味主観値も同様に、それぞれ、シェフの、苦味、甘味、旨味、辛味、渋味の感じ方を表す値である。
　ある食材の味覚主観情報は、図７に示すように、塩味主観値、酸味主観値、苦味主観値、甘味主観値、旨味主観値、辛味主観値、渋味主観値のそれぞれの値によりチャートとして表される。味覚主観情報のチャートの形状が似ている食材は、風味のうちの味だけに注目した場合には、シェフにとって味が似ている食材ということになる。
　風味主観情報を構成する他の主観情報も同様に、それぞれの主観情報生成用のモデルを用いて算出される。
　すなわち、嗅覚主観情報は、嗅覚センサデータを嗅覚主観情報生成用モデルに入力することによって算出され、質感主観情報は、質感センサデータを質感主観情報生成用モデルに入力することによって算出される。体感温度主観情報は、体感温度主観センサデータを体感温度主観情報生成用モデルに入力することによって算出され、色彩主観情報は、色彩センサデータを色彩主観情報生成用モデルに入力することによって算出される。
　ニューラルネットワークのモデルを用いるのではなく、ある食材の味覚センサデータと、その食材を食べたシェフの味の感じ方を表す情報とを対応付けたテーブル情報に基づいて味覚主観情報が算出されるようにしてもよい。風味センサ情報を用いた風味主観情報の算出の仕方については様々な方法を採用することができる。
　以上のように、レシピデータは、調理工程を実現するための調理動作に関する情報である調理動作情報と、調理工程の進捗に連動して計測された、食材や料理の風味に関する情報である風味情報とをリンクさせる（紐付ける）ことによって構成される。
　以上のような各情報を含むレシピデータが、図８に示すように料理毎に用意される。どのレシピデータに基づいて料理を再現するのかは、例えば、調理ロボット１が設置された場所にいる人により選択される。
＜レシピデータの生成と料理の再現の流れの例＞
　図９は、レシピデータの生成の流れの例を示す図である。
　図９に示すように、通常、シェフによる調理は、食材を用いた調理を行い、調理後の食材の味見をして、風味を調整することを、調理工程毎に繰り返すことによって行われる。
　風味の調整は、例えば、味については、塩味が足りない場合には塩を足す、酸味が足りない場合にはレモン汁を搾るなどの作業を加えるようにして行われる。香りについては、例えば、ハーブを刻んで足す、食材に火を通すなどの作業を加えるようにして行われる。質感については、例えば、食材が硬い場合には叩いて柔らかくする、煮込む時間を増やすなどの作業を加えるようにして行われる。
　調理工程データセットを構成する調理動作情報は、食材を用いた調理を行うシェフの動作と、風味を調整するシェフの動作とをセンシングし、センシング結果に基づいて生成される。
　また、風味情報は、調理後の食材の風味をセンシングし、センシング結果に基づいて生成される。
　図９の例においては、矢印Ａ１，Ａ２に示すように、調理工程＃１としてシェフが行う調理の動作と、風味を調整するシェフの動作とのセンシング結果に基づいて、調理工程＃１の調理工程データセットを構成する調理動作情報が生成されている。
　また、矢印Ａ３に示すように、調理工程＃１による調理後の食材の風味のセンシング結果に基づいて、調理工程＃１の調理工程データセットを構成する風味情報が生成されている。
　調理工程＃１が終了した後、次の調理工程である調理工程＃２が行われる。
　同様に、矢印Ａ１１，Ａ１２に示すように、調理工程＃２としてシェフが行う調理の動作と、風味を調整するシェフの動作とのセンシング結果に基づいて、調理工程＃２の調理工程データセットを構成する調理動作情報が生成されている。
　また、矢印Ａ１３に示すように、調理工程＃２による調理後の食材の風味のセンシング結果に基づいて、調理工程＃２の調理工程データセットを構成する風味情報が生成されている。
　このような複数の調理工程を経て１つの料理が完成する。また、料理が完成するとともに、各調理工程の調理工程データセットを記述したレシピデータが生成される。
　以下、主に、１つの調理工程が調理、味見、調整の３つの調理動作から構成される場合について説明するが、１つの調理工程に含まれる調理動作の単位は任意に設定可能である。１つの調理工程が、味見や味見後の風味の調整を伴わない調理動作から構成されることもあるし、風味の調整だけから構成されることもある。この場合も同様に、調理工程毎に風味のセンシングが行われ、センシング結果に基づいて得られた風味情報が調理工程データセットに含まれる。
　１つの調理工程が終わる毎に風味のセンシングが行われるのではなく、風味のセンシングのタイミングについても任意に設定可能である。例えば、１つの調理工程の間、風味のセンシングが繰り返し行われるようにしてもよい。この場合、調理工程データセットには、風味情報の時系列データが含まれることになる。
　全ての調理工程データセットに風味情報が含まれるのではなく、風味の計測が任意のタイミングで行われる毎に、風味情報が、そのタイミングで行われていた調理動作の情報とともに調理工程データセットに含まれるようにしてもよい。
　図１０は、レシピデータに基づく料理の再現の流れの例を示す図である。
　図１０に示すように、調理ロボット１による料理の再現は、レシピデータに記述された調理工程データセットに含まれる調理動作情報に基づいて調理を行い、調理後の食材の風味を計測して、風味を調整することを、調理工程毎に繰り返すことによって行われる。
　風味の調整は、例えば、調理ロボット１側に用意されたセンサにより計測された風味が、風味情報により表される風味に近づくように、作業を加えるようにして行われる。調理ロボット１による風味の調整の詳細については後述する。
　風味の計測と調整は、例えば、１つの調理工程において複数回繰り返されることもある。すなわち、調整が行われる毎に、調整後の食材を対象として風味の計測が行われ、計測結果に基づいて風味の調整が行われる。
　図１０の例においては、矢印Ａ２１に示すように、調理工程＃１の調理工程データセットを構成する調理動作情報に基づいて調理ロボット１の調理動作が制御され、シェフの調理工程＃１の動作と同じ動作が調理ロボット１により行われる。
　シェフの調理工程＃１の動作と同じ動作が調理ロボット１により行われた後、調理後の食材の風味が計測され、矢印Ａ２２に示すように、調理工程＃１の調理工程データセットを構成する風味情報に基づいて、調理ロボット１の風味の調整が制御される。
　調理ロボット１側に用意されたセンサにより計測された風味が、風味情報により表される風味に一致した場合、風味の調整が終わり、調理工程＃１も終了となる。例えば、完全に一致するだけでなく、調理ロボット１側に用意されたセンサにより計測された風味と、風味情報により表される風味が閾値以上類似する場合も、両者が一致するものとして判定される。
　調理工程＃１が終了した後、次の調理工程である調理工程＃２が行われる。
　同様に、矢印Ａ３１に示すように、調理工程＃２の調理工程データセットを構成する調理動作情報に基づいて調理ロボット１の調理動作が制御され、シェフの調理工程＃２の動作と同じ動作が調理ロボット１により行われる。
　シェフの調理工程＃２の動作と同じ動作が調理ロボット１により行われた後、調理後の食材の風味が計測され、矢印Ａ３２に示すように、調理工程＃２の調理工程データセットを構成する風味情報に基づいて、調理ロボット１の風味の調整が制御される。
　調理ロボット１側に用意されたセンサにより計測された風味が、風味情報により表される風味に一致した場合、風味の調整が終わり、調理工程＃２も終了となる。
　このような複数の調理工程を経て、シェフが作った料理が調理ロボット１により再現される。
　図１１は、シェフ側の流れと再現側の流れをまとめて示す図である。
　図１１の左側に示すように、調理工程＃１～＃Ｎの複数の調理工程を経て１つの料理が完成するとともに、各調理工程の調理工程データセットを記述したレシピデータが生成される。
　一方、再現側においては、シェフの調理によって生成されたレシピデータに基づいて、シェフ側で行われた調理工程と同じ、調理工程＃１～＃Ｎの複数の調理工程を経て、１つの料理が再現される。
　調理ロボット１による調理は、調理工程毎に風味を調整するようにして行われるから、最終的に出来上がる料理は、シェフが作った料理と同じか、あるいは、近い風味の料理となる。このように、シェフが作った料理と同じ風味の料理が、再現性の高い形で、レシピデータに基づいて再現される。
　シェフは、例えば自分が経営するレストランに来店することができない人に対して、自分が作った料理と同じ風味の料理を提供することができる。また、シェフは、自分が作る料理を、レシピデータとして再現可能な形で残すことが可能となる。
　一方、調理ロボット１によって再現された料理を食べる人は、シェフが作った料理と同じ風味の料理を食べることができる。
　図１２は、レシピデータの他の記述内容の例を示す図である。
　図１２に示すように、完成した料理の風味に関する風味情報がレシピデータに含まれるようにしてもよい。この場合、完成した料理の風味に関する風味情報は、全体の調理動作情報にリンクされる。
　このように、調理動作情報と風味情報との紐付けの関係は、１対１である必要はない。
＜調理システムの構成例＞
（１）全体構成
　図１３は、本技術の一実施形態に係る調理システムの構成例を示す図である。
　図１３に示すように、調理システムは、シェフ側の構成として設けられるデータ処理装置１１と、再現側の構成として設けられる制御装置１２とが、インターネットなどのネットワーク１３を介して接続されることによって構成される。上述したように、調理システムには、このようなシェフ側の構成と再現側の構成とが複数設けられる。
　データ処理装置１１は、上述したレシピデータを生成する装置である。データ処理装置１１はコンピュータなどにより構成される。データ処理装置１１は、例えば、再現された料理を食べる人が選択した料理のレシピデータを、ネットワーク１３を介して制御装置１２に送信する。
　制御装置１２は、調理ロボット１を制御する装置である。制御装置１２もコンピュータなどにより構成される。制御装置１２は、データ処理装置１１から提供されたレシピデータを受信し、レシピデータの記述に基づいて命令コマンドを出力することによって、調理ロボット１の調理動作を制御する。
　調理ロボット１は、制御装置１２から供給された命令コマンドに従って調理アームなどの各部を駆動し、各調理工程の調理動作を行う。命令コマンドには、調理アームに設けられたモータのトルク、駆動方向、駆動量を制御する情報などが含まれる。
　料理が完成するまでの間、制御装置１２から調理ロボット１に対して命令コマンドが順次出力される。命令コマンドに応じた動作を調理ロボット１がとることにより、最終的に、料理が完成することになる。
　図１４は、調理システムの他の構成例を示す図である。
　図１４に示すように、シェフ側から再現側に対するレシピデータの提供が、ネットワーク上のサーバを介して行われるようにしてもよい。
　図１４に示すレシピデータ管理サーバ２１は、それぞれのデータ処理装置１１から送信されたレシピデータを受信し、データベースに記憶させるなどして管理する。レシピデータ管理サーバ２１は、ネットワーク１３を介して行われる制御装置１２からの要求に応じて、所定のレシピデータを制御装置１２に送信する。
　レシピデータ管理サーバ２１は、様々なレストランのシェフが作った料理のレシピデータを一元的に管理し、再現側からの要求に応じてレシピデータを配信する機能を有する。
　図１５は、制御装置１２の配置例を示す図である。
　図１５のＡに示すように、制御装置１２は、例えば調理ロボット１の外部の装置として設けられる。図１５のＡの例においては、制御装置１２と調理ロボット１は、ネットワーク１３を介して接続されている。
　制御装置１２から送信された命令コマンドは、ネットワーク１３を介して調理ロボット１により受信される。調理ロボット１から制御装置１２に対しては、調理ロボット１のカメラにより撮影された画像、調理ロボット１に設けられたセンサにより計測されたセンサデータなどの各種のデータがネットワーク１３を介して送信される。
　１台の制御装置１２に対して１台の調理ロボット１が接続されるのではなく、１台の制御装置１２に対して複数台の調理ロボット１が接続されるようにしてもよい。
　図１５のＢに示すように、制御装置１２が調理ロボット１の筐体の内部に設けられるようにしてもよい。この場合、制御装置１２が生成する命令コマンドに従って、調理ロボット１の各部の動作が制御される。
　以下、主に、制御装置１２が、調理ロボット１の外部の装置として設けられるものとして説明する。
（２）シェフ側の構成
（２－１）キッチン周りの構成
　図１６は、シェフが調理を行うキッチン周りの構成例を示す図である。
　シェフが調理を行うキッチン３１の周りには、シェフの動作の解析と食材の風味の解析に用いる情報を計測するための各種の機器が設けられる。それらの機器の中には、シェフの体に取り付けられるものもある。
　キッチン３１の周りに設けられた機器は、それぞれ、有線または無線の通信を介してデータ処理装置１１に接続される。キッチン３１の周りに設けられたそれぞれの機器が、ネットワークを介してデータ処理装置１１に接続されるようにしてもよい。
　図１６に示すように、キッチン３１の上方には、カメラ４１－１，４１－２が設けられる。カメラ４１－１，４１－２は、調理を行っているシェフの様子、キッチン３１の天板上の様子を撮影し、撮影によって得られた画像をデータ処理装置１１に送信する。
　シェフの頭部には、小型のカメラ４１－３が取り付けられる。カメラ４１－３の撮影範囲は、シェフの視線の方向に応じて切り替えられる。カメラ４１－３は、調理を行っているシェフの手元の様子、調理対象となっている食材の様子、キッチン３１の天板上の様子を撮影し、撮影によって得られた画像をデータ処理装置１１に送信する。
　このように、キッチン３１の周りには複数台のカメラが設けられる。カメラ４１－１乃至４１－３を区別する必要がない場合、適宜、まとめてカメラ４１という。
　シェフの上半身には、嗅覚センサ４２が取り付けられる。嗅覚センサ４２は、食材の香りを計測し、嗅覚センサデータをデータ処理装置１１に送信する。
　キッチン３１の天板上には味覚センサ４３が設けられる。味覚センサ４３は、食材の味を計測し、味覚センサデータをデータ処理装置１１に送信する。
　味覚センサ４３は、図１７に示すように、ケーブルの先に設けられたセンサ部４３Ａを、調理対象となっている食材などに接触させることによって用いられる。味覚センサ４３が上述した人工脂質膜型味覚センサである場合、脂質膜がセンサ部４３Ａに設けられる。
　味覚センサデータだけでなく、風味センサ情報を構成するセンサデータのうちの、質感センサデータ、体感温度センサデータについても味覚センサ４３により計測され、データ処理装置１１に対して送信されるようにしてもよい。この場合、味覚センサ４３には、質感センサ、体感温度センサとしての機能が設けられる。例えば、ポリマー含有量、水分含有量、油分含有量などの質感センサデータが味覚センサ４３により計測される。
　キッチン３１の周りには、図１６に示す機器以外の各種の機器が設けられる。
　図１８は、シェフ側の構成例を示すブロック図である。
　図１８に示す構成のうち、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１８に示すように、データ処理装置１１に対しては、カメラ４１、嗅覚センサ４２、味覚センサ４３、赤外線センサ５１、質感センサ５２、および環境センサ５３が接続される。上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　赤外線センサ５１は、IR光を出力し、IR画像を生成する。赤外線センサ５１により生成されたIR画像はデータ処理装置１１に出力される。カメラ４１が撮影する画像（RGB画像）ではなく、赤外線センサ５１が撮影するIR画像に基づいて、シェフの動作や食材などの各種の解析が行われるようにしてもよい。
　質感センサ５２は、硬度センサ、応力センサ、水分量センサ、温度センサなどの、質感の解析に用いられる各種のセンサデータを出力するセンサにより構成される。硬度センサ、応力センサ、水分量センサ、温度センサが、包丁、フライパン、オーブンなどの調理ツールに設けられるようにしてもよい。質感センサ５２により計測されたセンサデータはデータ処理装置１１に出力される。
　環境センサ５３は、シェフが調理を行う厨房などの空間の環境である調理環境を計測するセンサである。図１８の例においては、環境センサ５３は、カメラ６１、温度・湿度センサ６２、照度センサ６３により構成される。
　カメラ６１は、調理空間を撮影した画像をデータ処理装置１１に出力する。調理空間を撮影した画像を解析することにより、例えば、調理空間の色彩（明度、色相、彩度）が計測される。
　温度・湿度センサ６２は、シェフ側の空間の温度、湿度を計測し、計測結果を表す情報をデータ処理装置１１に出力する。
　照度センサ６３は、シェフ側の空間の明るさを計測し、計測結果を表す情報をデータ処理装置１１に出力する。
　料理を食べる空間の色彩、気温、明るさは、人の風味の感じ方に影響を与える。例えば、同じ料理の味付けを考えた場合に、気温が高いほど薄味が好まれるし、気温が低いほど濃い味が好まれる。
　このような人の風味の感じ方に影響を与える可能性のある調理環境については、調理時に計測され、環境情報としてレシピデータに含まれるようにしてもよい。
　再現側においては、料理を食べる人がいる部屋の色彩、気温、明るさなどの環境が、レシピデータに含まれる環境情報により表される調理環境と同じ環境になるように調整される。
　これにより、再現された料理を食べたときの風味の感じ方を、シェフの調理時の感じ方に近付けることが可能となる。
　シェフ側の空間の気圧や騒音、調理時の季節、時間帯などの、風味の感じ方に影響を与える可能性のある各種の情報が環境センサ５３により計測され、環境情報としてレシピデータに含められるようにしてもよい。
（２－２）データ処理装置１１の構成
　図１９は、データ処理装置１１のハードウェアの構成例を示すブロック図である。
　図１９に示すように、データ処理装置１１はコンピュータにより構成される。CPU(Central Processing Unit)２０１、ROM(Read Only Memory)２０２、RAM(Random Access Memory)２０３は、バス２０４により相互に接続される。
　バス２０４には、さらに、入出力インタフェース２０５が接続される。入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７が接続される。
　また、入出力インタフェース２０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、リムーバブルメディア２１１を駆動するドライブ２１０が接続される。
　以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを入出力インタフェース２０５およびバス２０４を介してRAM２０３にロードして実行することにより、各種の処理が行われる。
　図２０は、データ処理装置１１の機能構成例を示すブロック図である。
　図２０に示す機能部のうちの少なくとも一部は、図１９のCPU２０１により所定のプログラムが実行されることによって実現される。
　図２０に示すように、データ処理装置１１においてはデータ処理部２２１が実現される。データ処理部２２１は、調理動作情報生成部２３１、風味情報生成部２３２、レシピデータ生成部２３３、環境情報生成部２３４、属性情報生成部２３５、およびレシピデータ出力部２３６により構成される。
　調理動作情報生成部２３１は、食材認識部２５１、ツール認識部２５２、および動作認識部２５３により構成される。
　食材認識部２５１は、カメラ４１により撮影された画像を解析し、シェフが調理に使っている食材の種類を認識する。食材認識部２５１に対しては、特徴情報などの、各種の食材の種類の認識に用いるための認識用情報が与えられている。
　ツール認識部２５２は、カメラ４１により撮影された画像を解析し、シェフが調理に使っている調理ツールの種類を認識する。ツール認識部２５２に対しては、各種の調理ツールの種類の認識に用いるための認識用情報が与えられている。
　動作認識部２５３は、カメラ４１により撮影された画像、シェフの体に取り付けられたセンサの計測結果を表すセンサデータなどを解析し、調理を行うシェフの動作を認識する。
　調理動作情報生成部２３１の各部による認識結果を表す情報はレシピデータ生成部２３３に供給される。
　風味情報生成部２３２は、味計測部２６１、香り計測部２６２、質感計測部２６３、体感温度計測部２６４、色彩計測部２６５、および主観情報生成部２６６により構成される。
　味計測部２６１は、味覚センサ４３を制御することによって食材の味を計測し、味覚センサデータを取得する。計測の対象となる食材には、調理前の食材、調理後の食材、完成した料理などの、シェフが扱う全ての食品が含まれる。
　香り計測部２６２は、嗅覚センサ４２を制御することによって食材の香りを計測し、食材の嗅覚センサデータを取得する。
　質感計測部２６３は、カメラ４１により撮影された画像や質感センサ５２による計測結果を解析するなどして食材の質感を計測し、食材の質感センサデータを取得する。
　体感温度計測部２６４は、温度センサにより計測された食材の体感温度を表す体感温度センサデータを取得する。
　色彩計測部２６５は、カメラ４１により撮影された画像を解析するなどして食材の色彩を認識し、認識結果を表す色彩センサデータを取得する。色彩の認識対象が、食材を盛り付けて完成した料理である場合、料理全体における各部分の色彩が認識される。
　主観情報生成部２６６は、味計測部２６１乃至色彩計測部２６５の各部により取得されたセンサデータに基づいて主観情報を生成する。センサデータにより表される風味に関する客観的なデータを、シェフの風味の感じ方を表す主観的なデータに変換する処理が主観情報生成部２６６において行われることになる。
　主観情報生成部２６６に対しては、図６を参照して説明したニューラルネットワークなどのような、主観情報の生成に用いる情報が与えられている。
　例えば、主観情報生成部２６６は、味計測部２６１により取得された味覚センサデータを味覚主観情報生成用モデルに入力し、食材の味覚主観情報を生成する。
　同様に、主観情報生成部２６６は、香り計測部２６２により取得された嗅覚センサデータを嗅覚主観情報生成用モデルに入力し、食材の嗅覚主観情報を生成する。主観情報生成部２６６は、質感計測部２６３により取得された質感センサデータを質感主観情報生成用モデルに入力し、食材の質感主観情報を生成する。
　主観情報生成部２６６は、体感温度計測部２６４により取得された体感温度センサデータを体感温度主観情報生成用モデルに入力し、食材の体感温度主観情報を生成する。主観情報生成部２６６は、色彩計測部２６５により取得された色彩センサデータを色彩主観情報生成用モデルに入力し、食材の色彩主観情報を生成する。
　味計測部２６１乃至色彩計測部２６５の各部により取得されたセンサデータと、主観情報生成部２６６により生成されたそれぞれの主観情報は、レシピデータ生成部２３３に供給される。
　レシピデータ生成部２３３は、調理動作情報生成部２３１の各部から供給された情報に基づいて調理動作情報を生成する。すなわち、レシピデータ生成部２３３は、食材認識部２５１による認識結果に基づいて食材情報を生成し、ツール認識部２５２と動作認識部２５３による認識結果に基づいて動作情報を生成する。レシピデータ生成部２３３は、食材情報と動作情報を含む調理動作情報を生成する。
　また、レシピデータ生成部２３３は、風味情報生成部２３２の各部から供給された情報に基づいて風味情報を生成する。すなわち、レシピデータ生成部２３３は、味計測部２６１乃至色彩計測部２６５により取得されたセンサデータに基づいて風味センサ情報を生成し、主観情報生成部２６６により生成された主観情報に基づいて風味主観情報を生成する。レシピデータ生成部２３３は、風味センサ情報と風味主観情報を含む風味情報を生成する。
　レシピデータ生成部２３３は、例えばシェフの調理工程毎に、調理動作情報と風味情報とを紐付けることによって調理工程データセットを生成する。レシピデータ生成部２３３は、ある料理の最初の調理工程から最後の調理工程までのそれぞれの調理工程に関する調理工程データセットをまとめることによって、複数の調理工程データセットを記述したレシピデータを生成する。
　レシピデータ生成部２３３は、このようにして生成したレシピデータをレシピデータ出力部２３６に出力する。レシピデータ生成部２３３が出力するレシピデータには、適宜、環境情報生成部２３４により生成された環境情報と、属性情報生成部２３５により生成された属性情報が含められる。
　環境情報生成部２３４は、環境センサ５３による計測結果に基づいて調理環境を表す環境情報を生成する。環境情報生成部２３４により生成された環境情報はレシピデータ生成部２３３に出力される。
　属性情報生成部２３５は、シェフの属性を表す属性情報を生成する。シェフの属性には、例えば、シェフの年齢、性別、国籍、生活地域が含まれる。シェフの体調などを表す情報が属性情報に含まれるようにしてもよい。
　シェフの年齢、性別、国籍、生活地域は、風味の感じ方に影響を与える。すなわち、レシピデータに含まれる風味主観情報は、シェフの年齢、性別、国籍、生活地域などにより影響を受けているものと考えられる。
　再現側においては、レシピデータに含まれる風味主観情報を用いて処理を行う場合、適宜、属性情報により表されるシェフの属性と、再現された料理を食べる人の属性との違いに応じて、風味主観情報の補正が行われ、補正後の風味主観情報を用いて処理が行われる。
　例えば、シェフがフランス人であり、再現された料理を食べる人が日本人であるものとする。この場合、レシピデータに含まれる風味主観情報により表されるシェフの風味の感じ方はフランス人の感じ方であり、日本人の感じ方とは異なる。
　レシピデータに含まれる風味主観情報は、日本人が食べた場合でも同じ風味の感じ方を得ることができるように、フランス人の感じ方に対応する日本人の感じ方を表す情報に基づいて補正される。風味主観情報の補正に用いられる情報は、それぞれの風味について、フランス人の感じ方と日本人の感じ方を対応付けた情報であり、例えば統計的に生成され、再現側に予め用意される。
　フランス料理、日本料理、イタリア料理、スペイン料理などの、シェフが作った料理のカテゴリなどの属性が属性情報に含まれるようにしてもよい。
　また、調理に用いられた食材や調味料の属性が属性情報に含まれるようにしてもよい。食材の属性には、産地、品種などがある。調味料の属性にも、産地、品種などがある。
　このように、シェフの属性を表す属性情報である調理人属性情報、料理や食材の属性を表す属性情報である食品属性情報、食材の中でも調味料の属性を表す属性情報である調味料属性情報がレシピデータに含まれるようにしてもよい。
　レシピデータ出力部２３６は、通信部２０９（図１９）を制御し、レシピデータ生成部２３３により生成されたレシピデータを出力する。レシピデータ出力部２３６から出力されたレシピデータは、ネットワーク１３を介して、制御装置１２、またはレシピデータ管理サーバ２１に供給される。
（３）再現側の構成
（３－１）調理ロボット１の構成
・調理ロボット１の外観
　図２１は、調理ロボット１の外観を示す斜視図である。
　図２１に示すように、調理ロボット１は、横長直方体状の筐体３１１を有するキッチン型のロボットである。調理ロボット１の本体となる筐体３１１の内部に各種の構成が設けられる。
　筐体３１１の背面側には、筐体３１１の上面から立設する形で調理補助システム３１２が設けられる。薄板状の部材で区切ることによって調理補助システム３１２に形成された各スペースは、冷蔵庫、オーブンレンジ、収納などの、調理アーム３２１－１乃至３２１－４による調理を補助するための機能を有する。
　天板３１１Ａには長手方向にレールが設けられており、そのレールに調理アーム３２１－１乃至３２１－４が設けられる。調理アーム３２１－１乃至３２１－４は、移動機構としてのレールに沿って位置を変えることが可能とされる。
　調理アーム３２１－１乃至３２１－４は、円筒状の部材を関節部で接続することによって構成されるロボットアームである。調理に関する各種の作業が調理アーム３２１－１乃至３２１－４により行われる。
　天板３１１Ａの上方の空間が、調理アーム３２１－１乃至３２１－４が調理を行う調理空間となる。
　図２１においては４本の調理アームが示されているが、調理アームの数は４本に限定されるものではない。以下、適宜、調理アーム３２１－１乃至３２１－４のそれぞれを区別する必要がない場合、まとめて調理アーム３２１という。
　図２２は、調理アーム３２１の様子を拡大して示す図である。
　図２２に示すように、調理アーム３２１の先端には、各種の調理機能を有するアタッチメントが取り付けられる。調理アーム３２１用のアタッチメントとして、食材や食器などを掴むマニピュレーター機能（ハンド機能）を有するアタッチメント、食材をカットするナイフ機能を有するアタッチメントなどの各種のアタッチメントが用意される。
　図２２の例においては、ナイフ機能を有するアタッチメントであるナイフアタッチメント３３１－１が調理アーム３２１－１に取り付けられている。ナイフアタッチメント３３１－１を用いて、天板３１１Ａの上に置かれた肉の塊がカットされている。
　調理アーム３２１－２には、食材を固定させたり、食材を回転させたりすることに用いられるアタッチメントであるスピンドルアタッチメント３３１－２が取り付けられている。
　調理アーム３２１－３には、食材の皮をむくピーラーの機能を有するアタッチメントであるピーラーアタッチメント３３１－３が取り付けられている。
　スピンドルアタッチメント３３１－２を用いて調理アーム３２１－２により持ち上げられているジャガイモの皮が、ピーラーアタッチメント３３１－３を用いて調理アーム３２１－３によりむかれている。このように、複数の調理アーム３２１が連携して１つの作業を行うことも可能とされる。
　調理アーム３２１－４には、マニピュレーター機能を有するアタッチメントであるマニピュレーターアタッチメント３３１－４が取り付けられている。マニピュレーターアタッチメント３３１－４を用いて、チキンを載せたフライパンが、オーブン機能を有する調理補助システム３１２のスペースに運ばれている。
　このような調理アーム３２１による調理は、作業の内容に応じてアタッチメントを適宜取り替えて進められる。アタッチメントの取り替えは、例えば調理ロボット１により自動的に行われる。
　４本の調理アーム３２１のそれぞれにマニピュレーターアタッチメント３３１－４を取り付けるといったように、同じアタッチメントを複数の調理アーム３２１に取り付けることも可能とされる。
　調理ロボット１による調理は、調理アーム用のツールとして用意された以上のようなアタッチメントを用いて行われるだけでなく、適宜、人が調理に使うツールと同じツールを用いて行われる。例えば、人が使うナイフをマニピュレーターアタッチメント３３１－４によって掴み、ナイフを用いて食材のカットなどの調理が行われる。
・調理アームの構成
　図２３は、調理アーム３２１の外観を示す図である。
　図２３に示すように、調理アーム３２１は、全体的に、細い円筒状の部材を、関節部となるヒンジ部で接続することによって構成される。各ヒンジ部には、各部材を駆動させるための力を生じさせるモータなどが設けられる。
　円筒状の部材として、先端から順に、着脱部材３５１、中継部材３５３、およびベース部材３５５が設けられる。着脱部材３５１は、中継部材３５３の長さの略１／５程度の長さを有する部材である。着脱部材３５１の長さと中継部材３５３の長さを合わせた長さが、ベース部材３５５の長さとほぼ同じ長さとなる。
　着脱部材３５１と中継部材３５３はヒンジ部３５２によって接続され、中継部材３５３とベース部材３５５はヒンジ部３５４によって接続される。中継部材３５３の両端にはヒンジ部３５２とヒンジ部３５４が設けられる。
　この例においては、３本の円筒状の部材によって調理アーム３２１が構成されているが、４本以上の円筒状の部材によって構成されるようにしてもよい。この場合、中継部材３５３が複数設けられる。
　着脱部材３５１の先端には、アタッチメントが着脱される着脱部３５１Ａが設けられる。着脱部材３５１は、各種のアタッチメントが着脱される着脱部３５１Ａを有し、アタッチメントを動作させることによって調理を行う調理機能アーム部として機能する。
　ベース部材３５５の後端には、レールに取り付けられる着脱部３５６が設けられる。ベース部材３５５は、調理アーム３２１の移動を実現する移動機能アーム部として機能する。
　図２４は、調理アーム３２１の各部の可動域の例を示す図である。
　楕円＃１で囲んで示すように、着脱部材３５１は、円形断面の中心軸を中心として回転可能とされる。楕円＃１の中心に示す扁平の小円は、一点鎖線の回転軸の方向を示す。
　円＃２で囲んで示すように、着脱部材３５１は、ヒンジ部３５２との嵌合部３５１Ｂを通る軸を中心として回転可能とされる。また、中継部材３５３は、ヒンジ部３５２との嵌合部３５３Ａを通る軸を中心として回転可能とされる。
　円＃２の内側に示す２つの小円はそれぞれの回転軸の方向（紙面垂直方向）を示す。嵌合部３５１Ｂを通る軸を中心とした着脱部材３５１の可動範囲と、嵌合部３５３Ａを通る軸を中心とした中継部材３５３の可動範囲は、それぞれ例えば９０度の範囲である。
　中継部材３５３は、先端側の部材３５３－１と、後端側の部材３５３－２により分離して構成される。楕円＃３で囲んで示すように、中継部材３５３は、部材３５３－１と部材３５３－２との連結部３５３Ｂにおいて、円形断面の中心軸を中心として回転可能とされる。
　他の可動部も、基本的に同様の可動域を有する。
　すなわち、円＃４で囲んで示すように、中継部材３５３は、ヒンジ部３５４との嵌合部３５３Ｃを通る軸を中心として回転可能とされる。また、ベース部材３５５は、ヒンジ部３５４との嵌合部３５５Ａを通る軸を中心として回転可能とされる。
　ベース部材３５５は、先端側の部材３５５－１と、後端側の部材３５５－２により分離して構成される。楕円＃５で囲んで示すように、ベース部材３５５は、部材３５５－１と部材３５５－２との連結部３５５Ｂにおいて、円形断面の中心軸を中心として回転可能とされる。
　円＃６で囲んで示すように、ベース部材３５５は、着脱部３５６との嵌合部３５５Ｃを通る軸を中心として回転可能とされる。
　楕円＃７で囲んで示すように、着脱部３５６は、円形断面の中心軸を中心として回転可能となるようにレールに取り付けられる。
　このように、先端に着脱部３５１Ａを有する着脱部材３５１、着脱部材３５１とベース部材３５５を連結する中継部材３５３、後端に着脱部３５６が接続されるベース部材３５５は、それぞれ、ヒンジ部により回転可能に接続される。各可動部の動きが、調理ロボット１内のコントローラにより命令コマンドに従って制御される。
　図２５は、調理アームとコントローラの接続の例を示す図である。
　図２５に示すように、調理アーム３２１とコントローラ３６１は、筐体３１１の内部に形成された空間３１１Ｂ内において配線を介して接続される。図２５の例においては、調理アーム３２１－１乃至３２１－４とコントローラ３６１は、それぞれ、配線３６２－１乃至３６２－４を介して接続されている。可撓性を有する配線３６２－１乃至３６２－４は、調理アーム３２１－１乃至３２１－４の位置に応じて適宜撓むことになる。
　このように、調理ロボット１は、調理アーム３２１を駆動させることにより調理に関する各種の作業を行うことが可能なロボットである。
・調理ロボット１周りの構成
　図２６は、調理ロボット１と周辺の構成の例を示すブロック図である。
　調理ロボット１は、コントローラ３６１に対して各部が接続されることによって構成される。図２６に示す構成のうち、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　コントローラ３６１に対しては、調理アーム３２１の他に、カメラ４０１、嗅覚センサ４０２、味覚センサ４０３、赤外線センサ４０４、質感センサ４０５、環境センサ４０６、および通信部４０７が接続される。
　図２１等においては図示を省略したが、調理ロボット１自体、または調理ロボット１の周囲の所定の位置には、シェフ側に設けられるセンサと同じセンサが設けられる。カメラ４０１、嗅覚センサ４０２、味覚センサ４０３、赤外線センサ４０４、質感センサ４０５、環境センサ４０６は、それぞれ、シェフ側のカメラ４１、嗅覚センサ４２、味覚センサ４３、赤外線センサ５１、質感センサ５２、環境センサ５３と同様の機能を有する。
　コントローラ３６１は、CPU，ROM，RAM、フラッシュメモリなどを有するコンピュータにより構成される。コントローラ３６１は、CPUにより所定のプログラムを実行し、調理ロボット１の全体の動作を制御する。
　コントローラ３６１においては、所定のプログラムが実行されることにより、命令コマンド取得部４２１、アーム制御部４２２が実現される。
　命令コマンド取得部４２１は、制御装置１２から送信され、通信部４０７において受信された命令コマンドを取得する。命令コマンド取得部４２１により取得された命令コマンドはアーム制御部４２２に供給される。
　アーム制御部４２２は、命令コマンド取得部４２１により取得された命令コマンドに従って調理アーム３２１の動作を制御する。
　カメラ４０１は、調理動作を行っている調理アーム３２１の様子、調理対象となっている食材の様子、調理ロボット１の天板３１１Ａ上の様子を撮影し、撮影によって得られた画像をコントローラ３６１に出力する。カメラ４０１は、調理補助システム３１２の正面、調理アーム３２１の先端などの様々な位置に設けられる。
　嗅覚センサ４０２は、食材の香りを計測し、嗅覚センサデータをコントローラ３６１に送信する。嗅覚センサ４０２は、調理補助システム３１２の正面、調理アーム３２１の先端などの様々な位置に設けられる。
　味覚センサ４０３は、食材の味を計測し、味覚センサデータをコントローラ３６１に送信する。再現側においても、例えば人工脂質膜型味覚センサなどの味覚センサ４０３が設けられる。
　嗅覚センサ４０２、味覚センサ４０３としての機能を有するアタッチメントが用意され、計測時に調理アーム３２１に取り付けて用いられるようにしてもよい。
　赤外線センサ４０４は、IR光を出力し、IR画像を生成する。赤外線センサ４０４により生成されたIR画像はコントローラ３６１に出力される。カメラ４０１が撮影する画像（RGB画像）ではなく、赤外線センサ４０４が撮影するIR画像に基づいて、調理ロボット１の動作や食材などの各種の解析が行われるようにしてもよい。
　質感センサ４０５は、硬度センサ、応力センサ、水分量センサ、温度センサなどの、質感の解析に用いられる各種のセンサデータを出力するセンサにより構成される。硬度センサ、応力センサ、水分量センサ、温度センサが、調理アーム３２１に装着されるアタッチメントや、包丁、フライパン、オーブンなどの調理ツールに設けられるようにしてもよい。質感センサ４０５により計測されたセンサデータはコントローラ３６１に出力される。
　環境センサ４０６は、調理ロボット１により再現された料理の食事が行われるダイニングルームなどの空間の環境である食事環境を計測するセンサである。図２６の例においては、環境センサ４０６は、カメラ４４１、温度・湿度センサ４４２、照度センサ４４３により構成される。調理ロボット１が調理を行う再現空間の環境が環境センサ４０６により計測されるようにしてもよい。
　カメラ４４１は、食事空間を撮影した画像をコントローラ３６１に出力する。食事空間を撮影した画像を解析することにより、例えば、食事空間の色彩（明度、色相、彩度）が計測される。
　温度・湿度センサ４４２は、食事空間の温度、湿度を計測し、計測結果を表す情報をコントローラ３６１に出力する。
　照度センサ４４３は、食事空間の明るさを計測し、計測結果を表す情報をコントローラ３６１に出力する。
　通信部４０７は、無線LANモジュール、LTE(Long Term Evolution)に対応した携帯通信モジュールなどの無線通信モジュールである。通信部４０７は、制御装置１２や、インターネット上のレシピデータ管理サーバ２１などの外部の装置との間で通信を行う。
　また、通信部４０７は、ユーザが使うスマートフォンやタブレット端末などの携帯端末と通信を行う。ユーザは、調理ロボット１により再現された料理を食べる人である。料理の選択などの、調理ロボット１に対するユーザの操作が携帯端末上の操作によって入力されるようにしてもよい。
　図２６に示すように、調理アーム３２１にはモータ４３１とセンサ４３２が設けられる。
　モータ４３１は、調理アーム３２１の各関節部に設けられる。モータ４３１は、アーム制御部４２２による制御に従って軸周りの回転動作を行う。モータ４３１の回転量を計測するエンコーダ、モータ４３１の回転をエンコーダによる計測結果に基づいて適応的に制御するドライバなども各関節部に設けられる。
　センサ４３２は、例えばジャイロセンサ、加速度センサ、タッチセンサなどにより構成される。センサ４３２は、調理アーム３２１の動作中、各関節部の角速度、加速度などを計測し、計測結果を示す情報をコントローラ３６１に出力する。調理ロボット１から制御装置１２に対しては、適宜、センサ４３２の計測結果を示すセンサデータも送信される。
　調理アーム３２１の数などの、調理ロボット１の仕様に関する情報は、所定のタイミングで調理ロボット１から制御装置１２に提供される。制御装置１２においては、調理ロボット１の仕様に応じて、動作のプランニングが行われる。制御装置１２において生成される命令コマンドは、調理ロボット１の仕様に応じたものとなる。
（３－２）制御装置１２の構成
　調理ロボット１の動作を制御する制御装置１２は、データ処理装置１１と同様に図１９に示すようなコンピュータにより構成される。以下、適宜、図１９に示すデータ処理装置１１の構成を、制御装置１２の構成として引用して説明する。
　図２７は、制御装置１２の機能構成例を示すブロック図である。
　図２７に示す機能部のうちの少なくとも一部は、制御装置１２のCPU２０１（図１９）により所定のプログラムが実行されることによって実現される。
　図２７に示すように、制御装置１２においてはコマンド生成部５０１が実現される。コマンド生成部５０１は、レシピデータ取得部５１１、レシピデータ解析部５１２、ロボット状態推定部５１３、風味情報処理部５１４、制御部５１５、およびコマンド出力部５１６から構成される。
　レシピデータ取得部５１１は、通信部２０９を制御し、データ処理装置１１から送信されてきたレシピデータを受信することによって、または、レシピデータ管理サーバ２１と通信を行うなどして、レシピデータを取得する。レシピデータ取得部５１１が取得するレシピデータは、例えばユーザにより選択された料理のレシピデータである。
　レシピデータのデータベースが記憶部２０８に設けられているようにしてもよい。この場合、記憶部２０８に設けられるデータベースからレシピデータが取得される。レシピデータ取得部５１１により取得されたレシピデータはレシピデータ解析部５１２に供給される。
　レシピデータ解析部５１２は、レシピデータ取得部５１１により取得されたレシピデータを解析する。レシピデータ解析部５１２は、ある調理工程が行われるタイミングになった場合、その調理工程に関する調理工程データセットを解析し、調理動作情報と風味情報を抽出する。調理工程データセットから抽出された調理動作情報は制御部５１５に供給され、風味情報は風味情報処理部５１４に供給される。
　レシピデータに属性情報と環境情報が含まれる場合、それらの情報もレシピデータ解析部５１２により抽出され、風味情報処理部５１４に供給される。
　ロボット状態推定部５１３は、通信部２０９を制御し、調理ロボット１から送信されてきた画像とセンサデータを受信する。調理ロボット１からは、調理ロボット１のカメラにより撮影された画像と、調理ロボット１の所定の位置に設けられたセンサにより計測されたセンサデータが所定の周期で送信されてくる。調理ロボット１のカメラにより撮影された画像には、調理ロボット１の周囲の様子が写っている。
　ロボット状態推定部５１３は、調理ロボット１から送信されてきた画像とセンサデータを解析することによって、調理アーム３２１の状態、食材の状態などの、調理ロボット１の周囲の状態を推定する。ロボット状態推定部５１３により推定された調理ロボット１の周囲の状態を示す情報は、制御部５１５に供給される。
　風味情報処理部５１４は、制御部５１５と連携し、レシピデータ解析部５１２から供給された風味情報に基づいて、調理ロボット１の動作を制御する。風味情報処理部５１４が制御する調理ロボット１の動作は、例えば、食材の風味の調整に関する動作である。
　例えば、風味情報処理部５１４は、調理ロボット１により調理が行われている食材の風味が、風味センサ情報により表される風味と同じ風味になるように、調理ロボット１の動作を制御する。風味情報処理部５１４による制御の詳細については図２８を参照して説明する。
　制御部５１５は、命令コマンドを生成し、コマンド出力部５１６から送信させることによって、調理ロボット１の動作を制御する。制御部５１５による調理ロボット１の動作の制御は、レシピデータ解析部５１２から供給された調理動作情報に基づいて、または、風味情報処理部５１４による要求に基づいて行われる。
　例えば、制御部５１５は、調理動作情報に含まれる食材情報に基づいて、実行対象となっている調理工程において用いる食材を特定する。また、制御部５１５は、調理動作情報に含まれる動作情報に基づいて、調理工程において用いる調理ツールと、調理アーム３２１に実行させる動作を特定する。
　制御部５１５は、食材の準備ができた状態をゴール状態として設定し、現在の調理ロボット１の状態である現在状態からゴール状態までの動作シーケンスを設定する。制御部５１５は、動作シーケンスを構成するそれぞれの動作を行わせるための命令コマンドを生成し、コマンド出力部５１６に出力する。
　調理ロボット１においては、制御部５１５により生成された命令コマンドに従って調理アーム３２１が制御され、食材の準備が行われる。調理アーム３２１の状態を含む、各タイミングの調理ロボット１の状態を表す情報が、調理ロボット１から制御装置１２に対して送信されてくる。
　また、制御部５１５は、食材の準備ができた場合、準備した食材を用いた調理（実行対象となっている１つの調理工程の調理）が終わった状態をゴール状態として設定し、現在状態からゴール状態までの動作シーケンスを設定する。制御部５１５は、動作シーケンスを構成するそれぞれの動作を行わせるための命令コマンドを生成し、コマンド出力部５１６に出力する。
　調理ロボット１においては、制御部５１５により生成された命令コマンドに従って調理アーム３２１が制御され、食材を用いた調理が行われる。
　制御部５１５は、食材を用いた調理が終わった場合、風味の計測を行わせるための命令コマンドを生成し、コマンド出力部５１６に出力する。
　調理ロボット１においては、制御部５１５により生成された命令コマンドに従って調理アーム３２１が制御され、適宜、カメラ４０１、嗅覚センサ４０２、味覚センサ４０３、赤外線センサ４０４、質感センサ４０５を用いて食材の風味の計測が行われる。風味の計測結果を表す情報は、調理ロボット１から制御装置１２に対して送信されてくる。
　風味情報処理部５１４においては、風味の調整の仕方などがプランニングされ、風味を調整するための動作を行うことが風味情報処理部５１４から制御部５１５に対して要求される。
　風味を調整するための動作を行うことが要求された場合、制御部５１５は、その動作が終わった状態をゴール状態として設定し、現在状態からゴール状態までの動作シーケンスを設定する。制御部５１５は、動作シーケンスを構成するそれぞれの動作を行わせるための命令コマンドをコマンド出力部５１６に出力する。
　調理ロボット１においては、制御部５１５により生成された命令コマンドに従って調理アーム３２１が制御され、風味を調整するための動作が実行される。
　制御部５１５による調理ロボット１の動作の制御は、例えば以上のような命令コマンドを用いて行われる。制御部５１５は、命令コマンドを生成する生成部としての機能を有する。
　なお、制御部５１５が生成する命令コマンドは、ある状態遷移を生じさせるためのアクション全体の実行を命令するコマンドであってもよいし、アクションの一部分の実行を命令するコマンドであってもよい。すなわち、１つのアクションが１つの命令コマンドに従って実行されるようにしてもよいし、複数の命令コマンドに従って実行されるようにしてもよい。
　コマンド出力部５１６は、通信部２０９を制御し、制御部５１５により生成された命令コマンドを調理ロボット１に送信する。
　図２８は、風味情報処理部５１４の構成例を示すブロック図である。
　図２８に示すように、風味情報処理部５１４は、風味計測部５２１、風味調整部５２２、主観情報解析部５２３、属性情報解析部５２４、および環境情報解析部５２５により構成される。
　風味計測部５２１は、味計測部５４１、香り計測部５４２、質感計測部５４３、体感温度計測部５４４、および色彩計測部５４５により構成される。
　味計測部５４１は、風味の計測が行われることに応じて調理ロボット１から送信されてきた味覚センサデータを取得する。味計測部５４１が取得する味覚センサデータは、味覚センサ４０３（図２６）により計測されたものである。調理ロボット１においては、ある調理工程の調理動作が終わったタイミングなどの所定のタイミングにおいて、食材の風味の計測が行われている。
　香り計測部５４２は、風味の計測が行われることに応じて調理ロボット１から送信されてきた嗅覚センサデータを取得する。香り計測部５４２が取得する嗅覚センサデータは、嗅覚センサ４０２により計測されたものである。
　質感計測部５４３は、風味の計測が行われることに応じて調理ロボット１から送信されてきた質感センサデータを取得する。質感計測部５４３が取得する質感センサデータは、質感センサ４０５により計測されたものである。
　体感温度計測部５４４は、風味の計測が行われることに応じて調理ロボット１から送信されてきた体感温度センサデータを取得する。体感温度計測部５４４が取得する体感温度センサデータは、味覚センサ４０３内などの、調理ロボット１の所定の位置に設けられた温度センサにより計測されたものである。
　色彩計測部５４５は、風味の計測が行われることに応じて調理ロボット１から送信されてきた色彩センサデータを取得する。色彩計測部５４５が取得する色彩センサデータは、調理ロボット１のカメラ４０１により撮影された画像を解析することによって認識されたものである。
　風味計測部５２１の各部により取得されたセンサデータは風味調整部５２２に供給される。
　風味調整部５２２は、味調整部５５１、香り調整部５５２、質感調整部５５３、体感温度調整部５５４、および色彩調整部５５５により構成される。風味調整部５２２に対しては、レシピデータ解析部５１２から供給された風味情報が入力される。
　味調整部５５１は、レシピデータに含まれる風味センサ情報を構成する味覚センサデータと、味計測部５４１により取得された味覚センサデータを比較し、両者が一致するか否かを判定する。ここでは、シェフの調理動作と同じ動作が調理ロボット１により行われた場合において、調理ロボット１の調理動作により得られた食材の味が、シェフの調理動作により得られた食材の味と一致しているか否かが判定されることになる。
　レシピデータに含まれる風味センサ情報を構成する味覚センサデータと、味計測部５４１により取得された味覚センサデータが一致すると判定した場合、味調整部５５１は、味については、調整が不要であると判断する。
　一方、レシピデータに含まれる風味センサ情報を構成する味覚センサデータと、味計測部５４１により取得された味覚センサデータが一致しないと判定した場合、味調整部５５１は、味の調整の仕方のプランニングを行い、味の調整のための動作を行うことを制御部５１５に対して要求する。
　塩味が足りない場合には塩を足す、酸味が足りない場合にはレモン汁を搾る、などの動作を行うことが制御部５１５に対して要求される。
　風味調整部５２２の他の処理部においても、同様にして、調理ロボット１の調理動作により得られた食材の風味と、シェフの調理動作により得られた食材の風味が一致しているか否かの判定が行われ、適宜、風味の調整が行われる。
　すなわち、香り調整部５５２は、レシピデータに含まれる風味センサ情報を構成する嗅覚センサデータと、香り計測部５４２により取得された嗅覚センサデータを比較し、両者が一致するか否かを判定する。ここでは、調理ロボット１の調理動作により得られた食材の香りが、シェフの調理動作により得られた食材の香りと一致しているか否かが判定されることになる。
　レシピデータに含まれる風味センサ情報を構成する嗅覚センサデータと、香り計測部５４２により取得された嗅覚センサデータが一致すると判定した場合、香り調整部５５２は、香りについては、調整が不要であると判断する。
　一方、レシピデータに含まれる風味センサ情報を構成する嗅覚センサデータと、香り計測部５４２により取得された嗅覚センサデータが一致しないと判定した場合、香り調整部５５２は、香りの調整の仕方のプランニングを行い、香りの調整のための動作を行うことを制御部５１５に対して要求する。
　青臭い場合にはレモン汁を搾る、シトラスの香りが弱い場合にはハーブを刻んで足すなどの動作を行うことが制御部５１５に対して要求される。
　質感調整部５５３は、レシピデータに含まれる風味センサ情報を構成する質感センサデータと、質感計測部５４３により取得された質感センサデータを比較し、両者が一致するか否かを判定する。ここでは、調理ロボット１の調理動作により得られた食材の質感が、シェフの調理動作により得られた食材の質感と一致しているか否かが判定されることになる。
　レシピデータに含まれる風味センサ情報を構成する質感センサデータと、質感計測部５４３により取得された質感センサデータが一致すると判定した場合、質感調整部５５３は、質感については、調整が不要であると判断する。
　一方、レシピデータに含まれる風味センサ情報を構成する質感センサデータと、質感計測部５４３により取得された質感センサデータが一致しないと判定した場合、質感調整部５５３は、質感の調整の仕方のプランニングを行い、質感の調整のための動作を行うことを制御部５１５に対して要求する。
　食材が硬い場合には叩いて柔らかくする、煮込む時間を増やすなどの動作を行うことが制御部５１５に対して要求される。
　体感温度調整部５５４は、レシピデータに含まれる風味センサ情報を構成する体感温度センサデータと、体感温度計測部５４４により取得された体感温度センサデータを比較し、両者が一致するか否かを判定する。ここでは、調理ロボット１の調理動作により得られた食材の体感温度が、シェフの調理動作により得られた食材の体感温度と一致しているか否かが判定されることになる。
　レシピデータに含まれる風味センサ情報を構成する体感温度センサデータと、体感温度計測部５４４により取得された体感温度センサデータが一致すると判定した場合、体感温度調整部５５４は、体感温度については、調整が不要であると判断する。
　一方、レシピデータに含まれる風味センサ情報を構成する体感温度センサデータと、体感温度計測部５４４により取得された体感温度センサデータが一致しないと判定した場合、体感温度調整部５５４は、体感温度の調整の仕方のプランニングを行い、体感温度の調整のための動作を行うことを制御部５１５に対して要求する。
　食材の体感温度が低い場合にはオーブンを使って加熱する、食材の体感温度が高い場合には冷ますなどの動作を行うことが制御部５１５に対して要求される。
　色彩調整部５５５は、レシピデータに含まれる風味センサ情報を構成する色彩センサデータと、色彩計測部５４５により取得された色彩センサデータを比較し、両者が一致するか否かを判定する。ここでは、調理ロボット１の調理動作により得られた食材の色彩が、シェフの調理動作により得られた食材の色彩と一致しているか否かが判定されることになる。
　レシピデータに含まれる風味センサ情報を構成する色彩センサデータと、色彩計測部５４５により取得された色彩センサデータが一致すると判定した場合、色彩調整部５５５は、色彩については、調整が不要であると判断する。
　一方、レシピデータに含まれる風味センサ情報を構成する色彩センサデータと、色彩計測部５４５により取得された色彩センサデータが一致しないと判定した場合、色彩調整部５５５は、色彩の調整の仕方のプランニングを行い、色彩の調整のための動作を行うことを制御部５１５に対して要求する。
　調理済みの食材の盛り付けが行われた場合において、調理ロボット１の盛り付け方がシェフの盛り付け方と違う場合、シェフの盛り付け方に近付けるように食材の位置を動かすなどの動作を行うことが制御部５１５に対して要求される。
　主観情報解析部５２３は、風味情報に含まれる風味主観情報を解析し、風味主観情報により表されるシェフの風味の感じ方を、風味調整部５２２により行われる風味の調整に反映させる。
　属性情報解析部５２４は、レシピデータに含まれる属性情報を解析し、シェフの属性を、風味調整部５２２により行われる風味の調整に反映させる。
　環境情報解析部５２５は、レシピデータに含まれる環境情報を解析し、調理環境と、環境センサ４０６により計測された食事環境との違いを、風味調整部５２２により行われる風味の調整に反映させる。
＜調理システムの動作＞
　ここで、以上のような構成を有する調理システムの動作について説明する。
（１）シェフ側の動作
　はじめに、図２９のフローチャートを参照して、データ処理装置１１のレシピデータ生成処理について説明する。
　図２９の処理は、食材や調理ツールの準備が終わり、シェフが調理を始めたときに開始される。カメラ４１による撮影、赤外線センサ５１によるIR画像の生成、シェフの体に取り付けられたセンサによるセンシングなども開始される。
　ステップＳ１において、図２０の食材認識部２５１は、カメラ４１により撮影された画像を解析し、シェフが使う食材を認識する。
　ステップＳ２において、動作認識部２５３は、カメラ４１により撮影された画像、シェフの体に取り付けられたセンサの計測結果を表すセンサデータなどを解析し、シェフの調理動作を認識する。
　ステップＳ３において、レシピデータ生成部２３３は、食材認識部２５１による認識結果に基づいて生成された食材情報と、動作認識部２５３による認識結果に基づいて生成された動作情報に基づいて調理動作情報を生成する。
　ステップＳ４において、レシピデータ生成部２３３は、１つの調理工程が終了したか否かを判定し、１つの調理工程がまだ終了していないと判定した場合、ステップＳ１に戻り、上述した処理を繰り返す。
　１つの調理工程が終了したとステップＳ４において判定した場合、処理はステップＳ５に進む。
　ステップＳ５において風味情報生成処理が行われる。風味情報生成処理により、風味情報が生成される。風味情報生成処理の詳細については図３０のフローチャートを参照して後述する。
　ステップＳ６において、レシピデータ生成部２３３は、調理動作情報と風味情報を紐付けることによって調理工程データセットを生成する。
　ステップＳ７において、レシピデータ生成部２３３は、全ての調理工程が終了したか否かを判定し、全ての調理工程がまだ終了していないと判定した場合、ステップＳ１に戻り、上述した処理を繰り返す。次の調理工程を対象として、同様の処理が繰り返される。
　全ての調理工程が終了したとステップＳ７において判定した場合、処理はステップＳ８に進む。
　ステップＳ８において、レシピデータ生成部２３３は、全ての調理工程データセットを含むレシピデータを生成する。
　次に、図３０のフローチャートを参照して、図２９のステップＳ５において行われる風味情報生成処理について説明する。
　ステップＳ１１において、味計測部２６１は、味覚センサ４３を制御することによって食材の味を計測する。
　ステップＳ１２において、香り計測部２６２は、嗅覚センサ４２を制御することによって食材の香りを計測する。
　ステップＳ１３において、質感計測部２６３は、カメラ４１により撮影された画像や質感センサ５２による計測結果などに基づいて食材の質感を計測する。
　ステップＳ１４において、体感温度計測部２６４は、温度センサにより計測された食材の体感温度を計測する。
　ステップＳ１５において、色彩計測部２６５は、カメラ４１により撮影された画像に基づいて食材の色彩を計測する。
　ステップＳ１６において、主観情報生成部２６６は、味計測部２６１乃至色彩計測部２６５の各部により取得されたセンサデータに基づいて風味主観情報を生成する。
　ステップＳ１７において、レシピデータ生成部２３３は、味計測部２６１乃至色彩計測部２６５により計測されたセンサデータからなる風味センサ情報と、主観情報生成部２６６により生成された風味主観情報に基づいて風味情報を生成する。
　風味情報が生成された後、図２９のステップＳ５に戻り、それ以降の処理が行われる。
（２）再現側の動作
　図３１のフローチャートを参照して、制御装置１２の料理再現処理について説明する。
　ステップＳ３１において、図２７のレシピデータ取得部５１１は、データ処理装置１１から送信されてきたレシピデータを取得する。レシピデータ取得部５１１により取得されたレシピデータは、レシピデータ解析部５１２において解析され、調理動作情報と風味情報が抽出される。調理動作情報は制御部５１５に供給され、風味情報は風味情報処理部５１４に供給される。
　ステップＳ３２において、制御部５１５は、１つの調理工程を実行対象として選択する。先頭の調理工程に関する調理工程データセットから順に、実行対象として選択される。
　ステップＳ３３において、制御部５１５は、実行対象の調理工程が、調理済みの食材を盛り付ける調理工程であるか否かを判定する。調理済みの食材を盛り付ける調理工程ではないとステップＳ３３において判定した場合、処理はステップＳ３４に進む。
　ステップＳ３４において、制御部５１５は、調理動作情報に含まれる食材情報の記述に基づいて、実行対象となっている調理工程において用いる食材を準備する。
　ステップＳ３５において、制御部５１５は、調理動作情報に含まれる動作情報の記述に基づいて命令コマンドを生成し、調理ロボット１に送信することによって調理アーム３２１に調理動作を実行させる。
　ステップＳ３６において風味計測処理が行われる。風味計測処理により、調理ロボット１により調理された調理済みの食材の風味が計測される。風味計測処理の詳細については図３２のフローチャートを参照して後述する。
　ステップＳ３７において、風味調整部５２２は、調理済みの食材の風味とレシピデータに含まれる風味センサ情報により表される風味が一致しているか否かを判定する。ここでは、風味の構成要素である味、香り、質感、体感温度、色彩の全てについて、調理済みの食材の風味と風味センサ情報により表される風味が一致する場合に、風味が一致するものとして判定される。
　いずれかの構成要素が一致しないことから、風味が一致しないとステップＳ３７において判定された場合、ステップＳ３８において風味調整処理が行われる。風味調整処理により、調理済みの食材の風味の調整が行われる。風味調整処理の詳細については図３３のフローチャートを参照して後述する。
　風味調整処理がステップＳ３８において行われた後、ステップＳ３６に戻り、風味が一致すると判定されるまで上述した処理が繰り返し実行される。
　一方、実行対象としている調理工程が、調理済みの食材を盛り付ける調理工程であるとステップＳ３３において判定された場合、処理はステップＳ３９に進む。
　ステップＳ３９において、制御部５１５は、調理動作情報の記述に基づいて命令コマンドを生成し、調理ロボット１に送信することによって調理アーム３２１に盛り付けを行わせる。
　食材の盛り付けが終わった場合、または、調理済みの食材の風味とレシピデータに含まれる風味センサ情報により表される風味が一致するとステップＳ３７において判定された場合、処理はステップＳ４０に進む。
　ステップＳ４０において、制御部５１５は、全ての調理工程が終了したか否かを判定し、全ての調理工程がまだ終了していないと判定した場合、ステップＳ３２に戻り、上述した処理を繰り返す。次の調理工程を対象として、同様の処理が繰り返される。
　一方、全ての調理工程が終了したとステップＳ４０において判定された場合、料理が完成となり、料理再現処理が終了される。
　次に、図３２のフローチャートを参照して、図３１のステップＳ３６において行われる風味計測処理について説明する。
　ステップＳ５１において、図２８の味計測部５４１は、調理済みの食材の味の計測を調理ロボット１に行わせ、味覚センサデータを取得する。
　ステップＳ５２において、香り計測部５４２は、調理済みの食材の香りの計測を調理ロボット１に行わせ、嗅覚センサデータを取得する。
　ステップＳ５３において、質感計測部５４３は、調理済みの食材の質感の計測を調理ロボット１に行わせ、質感センサデータを取得する。
　ステップＳ５４において、体感温度計測部５４４は、調理済みの食材の体感温度の計測を調理ロボット１に行わせ、体感温度センサデータを取得する。
　ステップＳ５５において、色彩計測部５４５は、調理済みの食材の色彩の計測を調理ロボット１に行わせ、色彩センサデータを取得する。
　以上の処理により、調理済みの食材の風味が計測され、後述する風味調整処理に用いることが可能となる。その後、図３１のステップＳ３６に戻り、それ以降の処理が行われる。
　次に、図３３のフローチャートを参照して、図３１のステップＳ３８において行われる風味調整処理について説明する。
　ステップＳ６１において、味調整部５５１は味調整処理を行う。味調整処理は、調理済みの食材の味と、風味センサ情報に含まれる味覚センサデータにより表される味が一致しない場合に行われる。味調整処理の詳細については図３４のフローチャートを参照して後述する。
　ステップＳ６２において、香り調整部５５２は香り調整処理を行う。香り調整処理は、調理済みの食材の香りと、風味センサ情報に含まれる嗅覚センサデータにより表される香りが一致しない場合に行われる。
　ステップＳ６３において、質感調整部５５３は質感調整処理を行う。質感調整処理は、調理済みの食材の質感と、風味センサ情報に含まれる質感センサデータにより表される質感が一致しない場合に行われる。
　ステップＳ６４において、体感温度調整部５５４は体感温度調整処理を行う。体感温度調整処理は、調理済みの食材の体感温度と、風味センサ情報に含まれる体感温度センサデータにより表される体感温度が一致しない場合に行われる。
　ステップＳ６５において、色彩調整部５５５は色彩調整処理を行う。色彩調整処理は、調理済みの食材の色彩と、風味センサ情報に含まれる色彩センサデータにより表される色彩が一致しない場合に行われる。
　例えば、酸味を増やすためにレモン汁を食材にかける動作が味調整処理として行われた場合、これにより、食材の香りが変化し、香りについても調整が必要になることがある。この場合、味調整処理とともに、香り調整処理が行われる。
　このように、風味のいずれかの要素の調整が他の要素に影響を与えることがあり、実際には、複数の要素の調整がまとめて行われる。
　次に、図３４のフローチャートを参照して、図３３のステップＳ６１において行われる味調整処理について説明する。
　ステップＳ７１において、味調整部５５１は、味計測部５４１により取得された味覚センサデータに基づいて、調理済みの食材の味の、味空間における現在値を特定する。
　ステップＳ７２において、味調整部５５１は、レシピデータに含まれる風味センサ情報の記述に基づいて、味の目標値を設定する。風味センサ情報に含まれる味覚センサデータにより表される、シェフにより行われた調理動作によって得られた食材の味が目標値として設定される。
　ステップＳ７３において、味調整部５５１は、食材の味を現在値から目標値に遷移させるための調整内容のプランニングを行う。
　図３５は、プランニングの例を示す図である。
　図３５に示す縦軸は、７種類の味のうちのいずれかの１つの味を表し、横軸は他の１つの味を表す。説明の便宜上、図３５においては味空間が二次元空間として表されているが、味が上述したように塩味、酸味、苦味、甘味、旨味、辛味、渋味の７種類で構成される場合、味空間は七次元空間となる。
　調理ロボット１において計測された味覚センサデータにより、調理済みの食材の味が現在値として表される。
　また、風味センサ情報に含まれる味覚センサデータにより、目標値となる味が設定される。目標値となる味は、シェフにより調理された食材の味である。
　塩味、酸味、苦味、甘味、旨味、辛味、渋味のうちの１種類の味だけを変化させる調味料や食材はないことから、食材の味を、現在値の味から目標値の味に直接変化させることができない場合がある。この場合、白抜き矢印で示すように、複数の味を経て目標値の味を実現するための調理動作のプランニングが行われる。
　図３４の説明に戻り、ステップＳ７４において、味調整部５５１は、プランに従って、味を調整するための動作を制御部５１５に行わせる。
　その後、図３３のステップＳ６１に戻り、それ以降の処理が行われる。
　香り調整処理（ステップＳ６２）、質感調整処理（ステップＳ６３）、体感温度調整処理（ステップＳ６４）、色彩調整処理（ステップＳ６５）も、それぞれ、図３４の味調整処理と同様にして行われる。すなわち、調理済みの食材の風味を現在値、レシピデータの風味センサ情報により表される風味を目標値として、食材の味を現在値から目標値まで遷移させるための調理動作が行われる。
　以上の一連の処理により、シェフが作る料理と同じ風味の料理が、調理ロボット１により再現される。ユーザは、シェフが作った料理と同じ風味の料理を食べることができる。
　また、シェフは、自分が作った料理と同じ風味の料理を、様々な人に提供することができる。また、シェフは、自分が作る料理を、レシピデータとして再現可能な形で残すことが可能となる。
＜変形例＞
・再現側での調理工程の更新の例
　調理に用いるものとしてレシピデータ（食材情報）に記述されている食材と同じ食材を再現側で用意できない場合がある。この場合、レシピデータを一部更新する処理が制御部５１５（図２７）により行われるようにしてもよい。
　例えば、制御部５１５は、ある食材が足りない場合、代替食材データベースを参照し、再現側で用意できる食材の中から、代替食材を選択する。代替食材は、調理に用いるものとしてレシピデータに記述されている食材の代わりに用いられる食材である。再現側で用意できる食材は、例えば、調理ロボット１の周囲の状況を認識することによって特定される。
　制御部５１５が参照する代替食材データベースには、例えば、フードペアリングの手法によって予め決められた代替食材に関する情報が記述されている。
　例えば、制御部５１５は、レシピデータに記述されている食材である「ウニ」を用意できない場合、代替食材データベースを参照し、「プリン」と「醤油」を組み合わせた食材を代替食材として選択する。「プリン」と「醤油」を組み合わせることによって、「ウニ」の風味を再現することができることはよく知られている。
　制御部５１５は、「ウニ」を用いた調理工程に関する情報が記述された調理動作情報を、「プリン」と「醤油」を組み合わせる動作に関する情報と、代替食材を用いた調理工程に関する情報とが記述された調理動作情報に更新する。制御部５１５は、更新後の調理動作情報に基づいて、調理ロボット１の調理動作を制御する。
　このようにして用意された代替食材の風味を計測し、風味の調整が適宜行われるようにしてもよい。
　図３６は、代替食材の風味を調整する制御装置１２の処理について説明するフローチャートである。
　図３６の処理は、代替食材が用意された後に行われる。
　ステップＳ１１１において、風味情報処理部５１４の風味計測部５２１は、用意された代替食材の風味を計測し、代替食材の風味を表すセンサデータを取得する。
　ステップＳ１１２において、風味調整部５２２は、代替食材の風味が、代替前の食材の風味と一致するか否かを判定する。上述した例の場合、「プリン」と「醤油」を組み合わせた代替食材の風味が、「ウニ」の風味と一致するか否かが判定される。「ウニ」の風味については、レシピデータに含まれる風味センサ情報により特定される。
　代替食材の風味を表すセンサデータとレシピデータに含まれる風味センサ情報が一致しないことから、代替食材の風味が代替前の食材の風味と一致しないとステップＳ１１２において判定された場合、処理はステップＳ１１３に進む。
　ステップＳ１１３において、風味調整部５２２は、代替食材の風味を調整する。代替食材の風味の調整は、上述した調理済みの食材の風味を調整する処理と同様にして行われる。
　代替食材の風味の調整が行われた場合、または、代替食材の風味が代替前の食材の風味と一致するとステップＳ１１２において判定された場合、代替食材の風味を調整する処理は終了となる。その後、代替食材を用いて、更新後の調理工程に応じた処理が行われる。
　これにより、シェフ側で用いた食材と同じ食材を再現側で用意できない場合でも、代替食材を用いて、調理を進めることが可能となる。代替食材の風味は代替前の食材と風味が同じであるから、最終的に出来上がる料理は、シェフが作った料理と同じか、あるいは、近い風味の料理となる。
　代替食材データベースが制御装置１２に用意されているようにしてもよいし、レシピデータ管理サーバ２１などの所定のサーバに用意されているようにしてもよい。調理動作情報の更新が制御装置１２において行われるようにしてもよいし、データ処理装置１１において行われるようにしてもよい。
・風味主観情報の利用例
　シェフ側に設けられているセンサの方が、再現側に設けられているセンサより計測精度が高いといったように、双方のセンサの仕様が異なる場合がある。双方の仕様が異なる場合、同じ食材の風味をそれぞれのセンサで計測した場合の計測結果は異なるものとなる。
　シェフ側と再現側の双方に設けられたセンサの仕様が異なる場合においても調理ロボット１による調理済みの食材の風味とシェフにより調理された食材の風味を判定できるようにするために、風味主観情報が用いられる。
　図３７は、風味の判定例を示す図である。
　上述した例においては、図３７の左側に示すように、再現側の、ある調理工程の調理によって調理済みの食材が得られた場合、風味の計測が行われ、調理済みの食材の風味を表すセンサデータが得られる。
　また、図３７の右側に示すように、レシピデータから風味センサ情報が抽出され、矢印Ａ１０１で示すように、調理済みの食材の風味を表すセンサデータと、風味センサ情報とを比較することによって、風味の判定（風味が一致するか否かの判定）が行われる。
　図３８は、風味主観情報を用いた風味の判定例を示す図である。
　風味主観情報を用いて風味の判定を行う場合、再現側においては、図３８の左側に示すように、調理済みの食材の風味を表すセンサデータに基づいて風味主観情報が算出される。風味主観情報の算出には、図６を参照して説明したような、シェフの味の感じ方に基づいて生成されたモデルが用いられる。
　風味情報処理部５１４の主観情報解析部５２３（図２８）は、シェフ側に用意された、味覚主観情報生成用のモデルと同じモデルを有している。
　主観情報解析部５２３は、矢印Ａ１０２で示すように、調理済みの食材の風味を表すセンサデータに基づいて算出した風味主観情報と、レシピデータから抽出した風味主観情報とを比較することによって、風味の判定を行うことになる。両者の風味主観情報が一致する場合、風味が一致するものとして判定され、次の調理工程の処理が行われる。
　これにより、シェフ側と再現側の双方に設けられたセンサの仕様が異なる場合においても、シェフが感じる風味と同じ風味の食材や料理を再現することが可能となる。
　このように、風味を判定するためのモードには、センサデータを基準としたモードと、風味主観情報を基準としたモードとが用意される。
　図３９は、センサデータ生成用のモデルの例を示す図である。
　図３９に示すように、レシピデータに含まれる風味主観情報に基づいて、再現側に設けられたセンサの仕様下でのセンサデータを算出することが可能なモデルが主観情報解析部５２３に用意されるようにしてもよい。
　図３９に示す味覚センサ情報生成用モデルは、再現側に用意されたセンサにより計測された味に関するセンサデータと、シェフの味の感じ方を表す主観値とに基づいて深層学習などが行われることによって生成されたニューラルネットワークなどのモデルである。例えば、レシピデータを管理する管理者により、様々なセンサの仕様に応じたモデルが用意され、再現側に提供される。
　この場合、主観情報解析部５２３は、風味主観情報をモデルに入力することによって、対応するセンサデータを算出する。主観情報解析部５２３は、調理ロボット１による調理済みの食材の風味を計測して得られたセンサデータと、モデルを用いて算出したセンサデータとを比較することによって、風味の判定を行うことになる。
・属性情報の利用例
　レシピデータには、シェフの属性などを表す属性情報が含まれる。年齢、性別、国籍、生活地域などは、風味の感じ方に影響を与えることから、シェフの属性と、調理ロボット１により再現された料理を食べる人の属性との違いに応じて、再現される食材の風味が調整されるようにしてもよい。
　レシピデータから抽出された属性情報である調理人属性情報は、属性情報解析部５２４に供給され、風味調整部５２２が行う風味の調整の制御に用いられる。調理ロボット１により再現された料理を食べる人により入力された、食事人の属性を表す食事人属性情報も属性情報解析部５２４に供給される。
　属性情報解析部５２４は、調理人属性情報に基づいてシェフの属性を特定するとともに、食事人属性情報に基づいて食事人の属性を特定する。
　例えば、属性情報解析部５２４は、食事人の年齢がシェフの年齢を大きく上回っていて、食事人が年配の人であることを特定した場合、柔らかくするように食材の質感を調整する。
　また、属性情報解析部５２４は、食事人とシェフの国籍が異なる場合、上述したように、予め用意されている情報に基づいて、風味調整部５２２が調整する食材の風味を国籍の違いに応じて制御する。性別、生活地域などの、食事人とシェフの他の属性が異なる場合も同様に、属性情報解析部５２４は、風味調整部５２２が調整する食材の風味を両者の属性の違いに応じて制御する。
　これにより、基本的にはシェフの感じ方と同じ風味ではあるものの、食事人の好みに応じて風味の微調整が行われた料理が再現されることになる。
　また、属性情報解析部５２４は、食品属性情報に基づいて食材の属性を特定するとともに、再現側で用意された食材の属性を特定する。
　属性情報解析部５２４は、シェフ側で用いられた食材と再現側で用意された食材の属性が異なる場合、風味調整部５２２が調整する食材の風味を属性の違いに応じて制御する。
　このように、シェフ側と再現側の各種の属性の違いに基づいて、食材の風味が再現側において調整されるようにしてもよい。
・環境情報の利用例
（１）食事環境の調整
　レシピデータには、シェフが調理を行う空間の環境である調理環境を表す環境情報が含まれる。空間の色彩、気温、明るさなどは、風味の感じ方に影響を与えることから、調理ロボット１により再現された料理の食事が行われるダイニングルームなどの食事環境を、調理環境に近付けるための調整が行われるようにしてもよい。レシピデータから抽出された環境情報は、環境情報解析部５２５に供給され、食事環境の調整に用いられる。
　例えば、環境情報解析部５２５は、カメラ４４１（図２６）により撮影された画像を解析することによって計測された食事環境の色彩を、環境情報により表される調理環境の色彩に近付けるように、ダイニングルームの照明機器を制御する。環境情報解析部５２５は、外部の機器を制御することによって食事環境を調整する環境制御部としての機能を有している。
　また、環境情報解析部５２５は、温度・湿度センサ４４２により計測された食事環境の気温と湿度を、環境情報により表される調理環境の気温と湿度に近付けるように、ダイニングルームの空調機器を制御する。
　環境情報解析部５２５は、照度センサ４４３により計測された食事環境の明るさを、環境情報により表される調理環境の明るさに近付けるように、ダイニングルームの照明機器を制御する。
　これにより、食事環境を調理環境に近付けることができ、調理ロボット１により再現された料理を食べる人の風味の感じ方を、シェフの風味の感じ方に近付けることが可能となる。
（２）風味センサ情報の補正
　シェフ側に設けられたセンサの仕様に関する情報が環境情報に含められ、再現側に提供されるようにしてもよい。再現側においては、シェフ側に設けられたセンサと再現側に設けられたセンサとの違いに基づいて、レシピデータに含まれる風味センサ情報が補正される。
　図４０は、風味センサ情報を補正する制御装置１２の処理について説明するフローチャートである。
　ステップＳ１２１において、環境情報解析部５２５は、レシピデータに含まれる環境情報に基づいて、シェフ側に設けられたセンサの仕様を取得する。
　ステップＳ１２２において、環境情報解析部５２５は、再現側である調理ロボット１の周囲に設けられたセンサの仕様を取得する。
　ステップＳ１２３において、環境情報解析部５２５は、シェフ側に設けられたセンサの仕様と調理ロボット１の周囲に設けられたセンサの仕様との違いに基づいて、シェフ側で計測されたセンサデータである、レシピデータに含まれる風味センサ情報を補正する。環境情報解析部５２５に対しては、シェフ側に設けられたセンサの計測結果と、再現側に設けられたセンサの計測結果との対応関係を表す情報が補正用の情報として用意されている。
　このようにして補正された風味センサ情報が、風味の判定に用いられる。これにより、環境の違いを吸収して、風味の判定が行われるようにすることが可能となる。
＜その他＞
・構成の変形例
　レシピデータに基づいて料理を再現する調理ロボットが家庭内に設置された調理ロボット１であるものとしたが、様々な場所に設けられた調理ロボットにおいて料理が再現されるようにしてもよい。例えば、工場に設けられた調理ロボット、レストランに設けられた調理ロボットにおいて料理を再現させる場合にも、上述した技術は適用可能である。
　また、レシピデータに基づいて料理を再現する調理ロボットが、調理アームを動作させて調理を行う調理ロボット１であるものとしたが、調理アーム以外の構成によって食材の調理を行うことが可能な、様々な調理ロボットにおいて料理が再現されるようにしてもよい。
　以上においては、調理ロボット１の制御が制御装置１２により行われるものとしたが、レシピデータを生成するデータ処理装置１１により直接行われるようにしてもよい。この場合、データ処理装置１１には、図２７を参照して説明したコマンド生成部５０１の各構成が設けられる。
　また、コマンド生成部５０１の各構成が、レシピデータ管理サーバ２１に設けられるようにしてもよい。
　レシピデータを管理して他の機器に提供するレシピデータ管理サーバ２１のサーバ機能が、レシピデータを生成するデータ処理装置１１に設けられるようにしてもよい。
　図４１は、調理システムの他の構成例を示す図である。
　データ処理装置１１が有するレシピデータ管理部１１Ａは、レシピデータを管理して他の機器に提供するサーバ機能を有する。レシピデータ管理部１１Ａが管理するレシピデータが、複数の調理ロボットや、調理ロボットを制御する制御装置に対して提供される。
・データの管理
　上述したレシピデータ、調理工程データセット（調理動作情報、風味情報）などは、調理工程についての思想や感情を創作的に表現した成果物といえるものであるから、著作物と考えることもできる。
　例えば、調理を行うシェフ（例えば有名店を経営するシェフなど）は、調理工程において、食材の選択や味見などの試行を繰り返しながら、創作性を有する美味しい料理を完成させる。この場合、レシピデータ、調理工程データセット（調理動作情報、風味情報）には、データとしての価値が存在することになり、他者が利用する場合にはその対価が必要となる状況も想定できる。
　従って、レシピデータ、調理工程データセット（調理動作情報、風味情報）などを、音楽などと同様に、著作権管理する応用例も考えられる。
　つまり、本開示では、個別のデータに対して保護機能を設ける、コピー防止、暗号化、などの著作権保護技術を用いて、個別のレシピデータ、調理工程データセットを保護することも可能である。
　この場合、例えば、図１４のレシピデータ管理サーバ２１（図４１のデータ処理装置１１）は、シェフとレシピデータ（又は調理工程データセット）とを紐付ける形で、著作権管理した状態で管理する。
　次に、ユーザが、レシピデータを利用して調理ロボット１に調理を行わせたい場合には、そのレシピデータに対する利用料をユーザが支払うことにより、例えば、制御装置１２にダウンロードされたレシピデータを調理ロボット１における調理のために利用することが可能となる。なお、その利用料は、レシピデータの創作者であるシェフ、レシピデータを管理するデータ管理者などに還元される。
　また、本開示では、データの取引履歴を台帳としてサーバで分散管理するブロックチェーン技術を用いて、個別のレシピデータ、調理工程データセットを保護することも可能である。
　この場合、例えば、図１４のレシピデータ管理サーバ２１（図４１のデータ処理装置１１）は、データの取引履歴を台帳としてサーバ（クラウドサーバ、エッジサーバなど）で分散管理するブロックチェーン技術を用いて、シェフとレシピデータ（又は調理工程データセット）とを紐付ける形で管理する。
　次に、ユーザが、レシピデータを利用して調理ロボット１に調理を行わせたい場合には、そのレシピデータに対する利用料をユーザが支払うことにより、例えば、制御装置１２にダウンロードされたレシピデータを調理ロボット１における調理のために利用することが可能となる。なお、その利用料は、レシピデータの創作者であるシェフ、レシピデータを管理するデータ管理者などに還元される。
　このように、レシピデータ（又は調理工程データセット）を、シェフ、ユーザ、利用料のそれぞれの関係を考慮して、創作的な形で表現された著作物として効率的に管理することが可能である。
・吸光スペクトルの温度変化を利用した食材の特徴化
　食材の風味が、味、香り、質感などのセンサデータにより表されるものとしたが、他の指標により表されるようにしてもよい。食材の風味を表現する指標として、吸光スペクトルの温度変化を用いることが可能である。
　原理
　分光光度計を用いて、検体（食材）の吸光スペクトルが計測される。吸光スペクトルは、検体の温度に応じて変化する。温度上昇に伴って吸光スペクトルが変化する背景として、以下の反応が考えられる。
（１）会合からの解離
　検体の含有成分の会合状態（分子間の弱い結合により、２個以上の分子が１つの分子のように動く状態）は、温度により変化する。温度が低くなると会合あるいは凝集しやすくなり、逆に、温度が高くなると分子振動が激しくなるため、分子が会合から乖離しやすくなる。したがって、会合由来の吸光波長のピーク値が下がり、乖離した単分子由来の吸光波長のピーク値が上がる事になる。
（２）熱エネルギーによる分子の分解
　熱を吸収する事で結合力の弱い部分がはずれ、分子が分断される。
（３）酵素活性による分子の分解
　分解酵素を介して、分子が分断される。
（４）酸化還元
　温度上昇に伴い、水のpHが下がる（H＋濃度が上がる）。油脂類の場合、酸化速度が上昇する。
　ここで、食材などの天然物の味と香りの視点からは、天然物の含有成分のうち、味物質は液相の含有成分であり、香り物質は揮発性があって気相の含有成分である。
　会合状態にある分子は気相になりにくく、会合状態から解離した単分子が気相に転移しやすい。
　さらに、例えば、香りに深く関連するテルペン類は、植物内では糖の付いた配糖体の形で存在するが、熱分解あるいは酵素分解により、糖が外れたアグリコンの形となり、揮発しやすくなる。
　したがって、温度が高くなると、揮発しやすい分子の数が増え、揮発寸前の香り物質の吸光波長のピーク値が上がり、その香り物質がそれまで会合していた分子群に関連する吸光波長のピーク値が下がる事になる。
　この性質から、吸光スペクトルの温度変化は、「味」に関わる液相から「香り」に関わる気相への相転移を反映していると考える事ができる。
　そこで、対象とする検体を、少なくとも２つ以上の異なる温度で保温し、それぞれの保温状態の検体の吸光スペクトルを計測し、そのデータセットを、その検体の味と香りを特徴づける情報として用いることが可能である。吸光スペクトルのデータセットの特徴（パターン）から、検体を同定することが可能となる。
　このことは、分子の会合から解離、あるいは、熱分解・酵素分解による分子の分解の結果、液相から気相への相転移が生じる確率が高くなる事と、吸光スペクトルの温度変化とを考慮したものといえる。この手法は、波長と吸光度の二次元データとして表される吸光スペクトルに温度の次元を加えることによって、三次元データの吸光スペクトルによって検体を特徴化する手法であるといえる。
・プログラムについて
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
　インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図１９に示されるリムーバブルメディア２１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　１　調理ロボット，　１１　データ処理装置，　１２　制御装置，　２１　レシピデータ管理サーバ，　４１　カメラ，　４２　嗅覚センサ，　４３　味覚センサ，　５１　赤外線センサ，　５２　質感センサ，　５３　環境センサ，　２２１　データ処理部，　２３１　調理動作情報生成部，　２３２　風味情報生成部，　２３３　レシピデータ生成部，　２３４　環境情報生成部，　２３５　属性情報生成部，　２３６　レシピデータ出力部，　３２１　調理アーム，　３６１　コントローラ，　４０１　カメラ，　４０２　嗅覚センサ，　４０３　味覚センサ，　４０４　赤外線センサ，　４０５　質感センサ，　４０６　環境センサ，　４０７　通信部，　５０１　情報処理部，　５１１　レシピデータ取得部，　５１２　レシピデータ解析部，　５１３　ロボット状態推定部，　５１４　風味情報処理部，　５１５　制御部，　５１６　コマンド出力部

Claims (21)

  1. 　料理を作るための調理動作を行う調理アームと、
    　前記料理の食材に関する情報および前記食材を用いた調理工程における調理人の動作に関する情報が記述された調理動作データと、前記調理工程の進捗に連動して計測された前記調理人の感覚を示す感覚データとをリンクさせたデータセットを含むレシピデータを用いて、前記調理アームが行う調理動作を制御する制御部と
    　を備える調理ロボット。
  2. 　前記感覚データは、調理前の前記食材の風味、前記調理工程において調理された調理後の前記食材の風味、全ての前記調理工程を経て完成した前記料理の風味、のうちの少なくともいずれかを示すデータである
    　請求項１に記載の調理ロボット。
  3. 　前記感覚データは、甘味、酸味、塩味、苦味、旨味、辛味、渋味、のうちの少なくともいずれかの味を示す味覚情報を含む
    　請求項２に記載の調理ロボット。
  4. 　前記感覚データは、深層学習を行うことにより生成されたモデルに対する入力として前記味覚情報を用いることによって得られた、味覚に関する他の情報を含む
    　請求項３に記載の調理ロボット。
  5. 　前記調理アームが行う調理動作によって調理された前記食材の風味と、前記調理アームが行う調理動作によって完成した前記料理の風味のうちの少なくともいずれかを計測する風味計測部をさらに備える
    　請求項２に記載の調理ロボット。
  6. 　前記風味計測部は、前記食材の風味を形成する味と、前記料理の風味を形成する味のうちの少なくともいずれかを計測し、
    　前記制御部は、前記風味計測部により計測された味が、前記感覚データにより表される味に一致するように、味の調整のための調理動作を前記調理アームに行わせる
    　請求項５に記載の調理ロボット。
  7. 　前記感覚データは、前記食材の質感と前記料理の質感のうちの少なくともいずれかの質感を示す質感情報を含み、
    　前記風味計測部は、前記食材の風味を形成する質感と、前記料理の風味を形成する質感のうちの少なくともいずれかを計測し、
    　前記制御部は、前記風味計測部により計測された質感が、前記感覚データにより表される質感に一致するように、質感の調整のための調理動作を前記調理アームに行わせる
    　請求項５に記載の調理ロボット。
  8. 　前記質感情報は、センサにより計測された、応力、硬度、水分量、のうちの少なくともいずれかを示す情報である
    　請求項７に記載の調理ロボット。
  9. 　前記レシピデータは、前記調理工程の進捗に連動して計測された調理空間の環境を示す調理環境データを含み、
    　前記調理アームが行う調理動作によって完成した前記料理の食事が行われる食事空間の環境が、前記調理環境データにより表される前記調理空間の環境に一致するように、前記食事空間の環境を制御する環境制御部をさらに備える
    　請求項１に記載の調理ロボット。
  10. 　前記調理環境データは、前記調理空間の温度、湿度、気圧、明度、色相、彩度、のうちの少なくともいずれかを示すデータである
    　請求項９に記載の調理ロボット。
  11. 　前記レシピデータは、調理前の前記食材の属性、前記調理工程において調理された調理後の前記食材の属性、全ての前記調理工程を経て完成した前記料理の属性、のうちの少なくともいずれかを示す食品属性情報を含む
    　請求項１に記載の調理ロボット。
  12. 　前記調理動作データには、前記調理工程において用いられた調味料の種類と量が記述され、
    　前記レシピデータは、前記調味料の属性を示す調味料属性情報を含む
    　請求項１に記載の調理ロボット。
  13. 　前記レシピデータは、前記調理人の属性を示す調理人属性情報を含む
    　請求項１に記載の調理ロボット。
  14. 　前記制御部は、前記調理人属性情報により示される前記調理人の属性と、前記調理アームが行う調理動作によって完成した前記料理を食べるユーザの属性との違いに応じて前記調理工程を更新する
    　請求項１３に記載の調理ロボット。
  15. 　前記調理アームが調理動作を行う際の状況を認識する状況認識部と、
    　前記制御部は、認識された前記状況に従って前記調理工程を更新する
    　請求項１に記載の調理ロボット。
  16. 　前記制御部は、前記食材の状況に従って前記調理工程を更新する
    　請求項１５に記載の調理ロボット。
  17. 　前記制御部は、前記レシピデータに基づいて生成された、調理動作を命令する命令コマンドに従って前記調理アームを制御する
    　請求項１に記載の調理ロボット。
  18. 　前記制御部は、複数の前記調理アームを前記命令コマンドに従って協同させることによって調理動作を行わせる
    　請求項１７に記載の調理ロボット。
  19. 　料理を作るための調理動作を行う調理アームを備える調理ロボットが、
    　前記料理の食材に関する情報および前記食材を用いた調理工程における調理人の動作に関する情報が記述された調理動作データと、前記調理工程の進捗に連動して計測された前記調理人の感覚を示す感覚データとをリンクさせたデータセットを含むレシピデータを用いて、前記調理アームが行う調理動作を制御する
    　制御方法。
  20. 　料理の食材に関する情報および前記食材を用いた調理工程における調理人の動作に関する情報が記述された調理動作データと、前記調理工程の進捗に連動して計測された前記調理人の感覚を示す感覚データとをリンクさせたデータセットを含むレシピデータを用いて、調理ロボットが備える調理アームにより行われる調理動作を制御する制御部を備える
    　調理ロボット制御装置。
  21. 　調理ロボット制御装置が、
    　料理の食材に関する情報および前記食材を用いた調理工程における調理人の動作に関する情報が記述された調理動作データと、前記調理工程の進捗に連動して計測された前記調理人の感覚を示す感覚データとをリンクさせたデータセットを含むレシピデータを用いて、調理ロボットが備える調理アームにより行われる調理動作を制御する
    　制御方法。
PCT/JP2020/005704 2019-03-01 2020-02-14 調理ロボット、調理ロボット制御装置、制御方法 WO2020179401A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/426,968 US20220097239A1 (en) 2019-03-01 2020-02-14 Cooking robot, cooking robot control device, and control method
KR1020217025153A KR20210134619A (ko) 2019-03-01 2020-02-14 조리 로봇, 조리 로봇 제어 장치, 제어 방법
JP2021503506A JPWO2020179401A1 (ja) 2019-03-01 2020-02-14
EP20766076.2A EP3932273B1 (en) 2019-03-01 2020-02-14 Cooking robot, cooking robot control device, and control method
CN202080016746.5A CN113473890B (zh) 2019-03-01 2020-02-14 烹饪机器人、烹饪机器人控制装置和控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019038070 2019-03-01
JP2019-038070 2019-03-01

Publications (1)

Publication Number Publication Date
WO2020179401A1 true WO2020179401A1 (ja) 2020-09-10

Family

ID=72338266

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005704 WO2020179401A1 (ja) 2019-03-01 2020-02-14 調理ロボット、調理ロボット制御装置、制御方法

Country Status (6)

Country Link
US (1) US20220097239A1 (ja)
EP (1) EP3932273B1 (ja)
JP (1) JPWO2020179401A1 (ja)
KR (1) KR20210134619A (ja)
CN (1) CN113473890B (ja)
WO (1) WO2020179401A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378220A (zh) * 2021-06-09 2021-09-10 浙江旅游职业学院 一种基于区块链的中央厨房烹饪溯源系统
WO2022102287A1 (ja) * 2020-11-11 2022-05-19 ソニーグループ株式会社 情報処理装置、及び調理システム
WO2023287655A1 (en) * 2021-07-14 2023-01-19 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a serving robot

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102498432B1 (ko) * 2022-08-23 2023-02-10 피플즈리그 주식회사 육류 자동 조리 장치 및 그 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03163351A (ja) * 1989-11-22 1991-07-15 Anritsu Corp 味覚検出システム
JP2005504259A (ja) * 2001-09-29 2005-02-10 暁林 張 料理法の全情報記録システム及びロボットによる自動料理システム
JP2007155825A (ja) * 2005-11-30 2007-06-21 Cleanup Corp コンピュータ支援キッチンシステム及び該システムを用いた味つけの伝達方法、調理作業の伝達方法並びにプログラム
JP2017163916A (ja) * 2016-03-17 2017-09-21 株式会社電通 食品味覚再現システム、食品味覚再現データ変換装置及び食品味覚再現方法
JP2017536247A (ja) * 2014-09-02 2017-12-07 エムビーエル リミテッド 電子小規模操作ライブラリを用いて計装環境内でドメイン特定アプリケーションを実行するためのロボット操作方法及びシステム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4503502A (en) * 1983-06-03 1985-03-05 Chapin Roger A Method and apparatus for automated chinese stir-fry cooking
JP2578370B2 (ja) * 1989-07-24 1997-02-05 アンリツ株式会社 味覚センサ及びその製造方法
JP5196445B2 (ja) * 2009-11-20 2013-05-15 独立行政法人科学技術振興機構 料理プロセス指示装置及び料理プロセス指示方法
SE1200431A1 (sv) * 2012-07-09 2012-10-22 Electrolux Ab Anordning för köket
CN106030427B (zh) * 2014-02-20 2020-09-08 M·奥利尼克 用于在机器人烹饪厨房中制备食物的方法和系统
US20160029836A1 (en) * 2014-08-04 2016-02-04 Panasonic Intellectual Property Management Co., Ltd. Recipe information processing apparatus, cooking apparatus, and recipe information processing method
EP3209134A4 (en) * 2014-09-09 2018-09-05 Casabots Inc. Automated cooking machine using a cartesian bot
US20160350704A1 (en) * 2015-05-29 2016-12-01 Eugenio Minvielle Nutrition based food system and method
ES2807562T3 (es) * 2015-09-18 2021-02-23 Vorwerk Co Interholding Sistema y método para mejorar la reproducibilidad de los resultados de la cocción de un aparato de cocina multifuncional
US20170221296A1 (en) * 2016-02-02 2017-08-03 6d bytes inc. Automated preparation and dispensation of food and beverage products
CN106213971A (zh) * 2016-08-08 2016-12-14 宁波卡特马克炊具科技有限公司 一种智能烹饪系统及烹饪方法
WO2018039503A1 (en) * 2016-08-24 2018-03-01 Iceberg Luxembourg S.A.R.L. Calibration of dynamic conditioning systems
US20180232689A1 (en) * 2017-02-13 2018-08-16 Iceberg Luxembourg S.A.R.L. Computer Vision Based Food System And Method
WO2018165038A1 (en) * 2017-03-06 2018-09-13 Miso Robotics, Inc. Augmented reality-enhanced food preparation system and related methods
US20190111568A1 (en) * 2017-10-13 2019-04-18 International Business Machines Corporation Robotic Chef
JP2020131339A (ja) * 2019-02-18 2020-08-31 コネクテッドロボティクス株式会社 複合調理装置及び制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03163351A (ja) * 1989-11-22 1991-07-15 Anritsu Corp 味覚検出システム
JP2005504259A (ja) * 2001-09-29 2005-02-10 暁林 張 料理法の全情報記録システム及びロボットによる自動料理システム
JP2007155825A (ja) * 2005-11-30 2007-06-21 Cleanup Corp コンピュータ支援キッチンシステム及び該システムを用いた味つけの伝達方法、調理作業の伝達方法並びにプログラム
JP2017536247A (ja) * 2014-09-02 2017-12-07 エムビーエル リミテッド 電子小規模操作ライブラリを用いて計装環境内でドメイン特定アプリケーションを実行するためのロボット操作方法及びシステム
JP2017163916A (ja) * 2016-03-17 2017-09-21 株式会社電通 食品味覚再現システム、食品味覚再現データ変換装置及び食品味覚再現方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022102287A1 (ja) * 2020-11-11 2022-05-19 ソニーグループ株式会社 情報処理装置、及び調理システム
EP4245479A4 (en) * 2020-11-11 2024-04-10 Sony Group Corporation INFORMATION PROCESSING DEVICE AND COOKING SYSTEM
CN113378220A (zh) * 2021-06-09 2021-09-10 浙江旅游职业学院 一种基于区块链的中央厨房烹饪溯源系统
CN113378220B (zh) * 2021-06-09 2022-07-22 浙江旅游职业学院 一种基于区块链的中央厨房烹饪溯源系统
WO2023287655A1 (en) * 2021-07-14 2023-01-19 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a serving robot
US11969897B2 (en) 2021-07-14 2024-04-30 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a serving robot

Also Published As

Publication number Publication date
KR20210134619A (ko) 2021-11-10
CN113473890B (zh) 2024-04-23
CN113473890A (zh) 2021-10-01
JPWO2020179401A1 (ja) 2020-09-10
US20220097239A1 (en) 2022-03-31
EP3932273B1 (en) 2023-10-25
EP3932273A1 (en) 2022-01-05
EP3932273A4 (en) 2022-05-18

Similar Documents

Publication Publication Date Title
WO2020179401A1 (ja) 調理ロボット、調理ロボット制御装置、制御方法
CN112068526B (zh) 用于在机器人烹饪厨房中制备食物的方法和系统
CN111527348A (zh) 可配置的烹饪系统和方法
US20130171304A1 (en) System and method for culinary interaction
WO2018039503A1 (en) Calibration of dynamic conditioning systems
US20130149676A1 (en) System and methods for virtual cooking with recipe matching
US20160286837A1 (en) System and method of converting recipes for an automatic meal preparation apparatus
WO2020179407A1 (ja) データ処理装置、データ処理方法
US20160219906A1 (en) System and method of sharing recipes for an automatic meal preparation apparatus
KR20160082701A (ko) 영양 물질들을 컨디셔닝하기 위한 다중-컨디셔너 제어
WO2020179408A1 (ja) データ処理装置、データ処理方法
CN108720546B (zh) 烹饪器具的控制方法、控制装置及烹饪器具
KR20130015512A (ko) 사용자 제어 장치를 통해 제어되는 재료 혼합장치 및 방법
WO2020179402A1 (ja) 調理ロボット、調理ロボット制御装置、制御方法
WO2022239751A1 (ja) 飲料と食品、料理と調味料、調味料、食品構成材料それぞれの相性情報提示装置及び飲料と食品の相性診断方法
Childs et al. Sensory properties and consumer perception of wet and dry cheese sauces
WO2021024828A1 (ja) 調理アーム、計測方法、および調理アーム用アタッチメント
US20240349940A1 (en) Method and Apparatus for Automatic Cooking Control Based on Intelligent Cooking Device
WO2021024299A1 (ja) 食品生成システム
Klosse Food and wine pairing: A new approach
KR20220039707A (ko) 정보 처리 장치, 정보 처리 방법, 조리 로봇, 조리 방법, 및 조리 기구
Ko Padma Lakshmi's Thanksgiving Turkey: Slow Roasted and Richly Sauced.
CN114282091A (zh) 食材管理方法、装置、设备和存储介质
Susanto Research and Development Final Project" Pan-Fried Cheeseburger Dumpling"
KR20220042064A (ko) 정보 처리 장치, 정보 처리 방법, 조리 로봇, 조리 방법 및 조리 기구

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20766076

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021503506

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2020766076

Country of ref document: EP