WO2024084964A1 - 制御方法、情報提供方法、制御システム、情報提供システム、およびプログラム - Google Patents
制御方法、情報提供方法、制御システム、情報提供システム、およびプログラム Download PDFInfo
- Publication number
- WO2024084964A1 WO2024084964A1 PCT/JP2023/036101 JP2023036101W WO2024084964A1 WO 2024084964 A1 WO2024084964 A1 WO 2024084964A1 JP 2023036101 W JP2023036101 W JP 2023036101W WO 2024084964 A1 WO2024084964 A1 WO 2024084964A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- cooking
- information
- sensory
- dish
- food
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000010411 cooking Methods 0.000 claims abstract description 737
- 230000001953 sensory effect Effects 0.000 claims abstract description 554
- 235000013305 food Nutrition 0.000 claims abstract description 123
- 239000004615 ingredient Substances 0.000 claims description 65
- 239000000126 substance Substances 0.000 claims description 60
- 230000004048 modification Effects 0.000 claims description 17
- 238000012986 modification Methods 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 17
- 238000010801 machine learning Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 description 52
- 230000015654 memory Effects 0.000 description 41
- 238000004458 analytical method Methods 0.000 description 34
- 238000012545 processing Methods 0.000 description 31
- 235000009508 confectionery Nutrition 0.000 description 18
- 238000010586 diagram Methods 0.000 description 18
- 235000005135 Micromeria juliana Nutrition 0.000 description 17
- 241000246354 Satureja Species 0.000 description 17
- 235000007315 Satureja hortensis Nutrition 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 235000019658 bitter taste Nutrition 0.000 description 13
- 238000012937 correction Methods 0.000 description 12
- 235000019600 saltiness Nutrition 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 230000010365 information processing Effects 0.000 description 11
- 238000005259 measurement Methods 0.000 description 10
- 230000001419 dependent effect Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 239000000796 flavoring agent Substances 0.000 description 7
- 235000019634 flavors Nutrition 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 244000000626 Daucus carota Species 0.000 description 5
- 235000002767 Daucus carota Nutrition 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 239000007788 liquid Substances 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 230000006698 induction Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000004984 smart glass Substances 0.000 description 3
- 235000019640 taste Nutrition 0.000 description 3
- RTZKZFJDLAIYFH-UHFFFAOYSA-N Diethyl ether Chemical compound CCOCC RTZKZFJDLAIYFH-UHFFFAOYSA-N 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000004811 liquid chromatography Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 235000015429 Mirabilis expansa Nutrition 0.000 description 1
- 244000294411 Mirabilis expansa Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009835 boiling Methods 0.000 description 1
- 238000004587 chromatography analysis Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000012041 food component Nutrition 0.000 description 1
- 239000005417 food ingredient Substances 0.000 description 1
- 238000004817 gas chromatography Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000006460 hydrolysis reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 235000013536 miso Nutrition 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 235000015277 pork Nutrition 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 235000013555 soy sauce Nutrition 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000010025 steaming Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
- A47J27/00—Cooking-vessels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
Definitions
- This disclosure relates to a cooking control method, a cooking information providing method, etc.
- a cooking method that enhances cooking convenience has been proposed as a cooking control method (see, for example, Patent Document 1).
- increase/decrease information indicating an increase/decrease in cooking ingredients is obtained from a cooking appliance, the increase/decrease information is converted into heat value, and the heating time of the cooking appliance is adjusted according to the heat value.
- the increase/decrease information is obtained by capturing an image with a camera. This can save the user the trouble of adjusting the heating time in response to an increase/decrease in cooking ingredients.
- a cooking assistance system for assisting with cooking has also been proposed (see, for example, Patent Document 2).
- This cooking assistance system is configured as smart glasses.
- the smart glasses identify the size of the ingredient pieces produced by the cook cutting ingredients, and estimate and display the optimal cooking time for those ingredient pieces from the size of the ingredient pieces.
- a cooking control method using smart glasses identifies the size of the ingredient pieces and estimates the cooking time.
- JP 2020-159581 A Japanese Patent No. 6692960
- control methods described in the above patent documents have the problem that they do not provide adequate control over the sensory aspects of the food obtained by cooking, such as the degree of savory flavor.
- This disclosure provides a control method that can appropriately control the sensory level of a dish.
- a control method is a control method executed by a computer to control a cooker that cooks an object to be cooked, which obtains target sensory information indicating a target for one or more numerical values related to the sensory properties of a dish obtained by cooking the object to be cooked, obtains cooking parameter information including one or more cooking parameters used in cooking with the cooker based on the obtained target sensory information, obtains in-cooking sensory information indicating one or more numerical values related to the sensory properties of the object to be cooked while cooking with the cooker, changes the cooking parameter information to modified cooking parameter information including one or more modified cooking parameters based on the target sensory information and the in-cooking sensory information, and outputs a control signal including the modified cooking parameter information.
- Computer-readable recording media include non-volatile recording media such as, for example, a CD-ROM (Compact Disc-Read Only Memory). Computer-readable recording media may also be non-transitory recording media.
- FIG. 1 is a diagram illustrating an example of a configuration of an information processing system according to an embodiment.
- FIG. 2 is a block diagram showing an example of a functional configuration of the operation terminal and the cooking appliance according to the embodiment.
- FIG. 3 is a block diagram illustrating an example of a functional configuration of the server according to the embodiment.
- FIG. 4 is a diagram showing details of a plurality of types of sensory information stored in the third storage unit in the embodiment.
- FIG. 5 is a block diagram illustrating an example of a detailed functional configuration of a server control unit according to the embodiment.
- FIG. 6 is a diagram showing an example of dish list information, recipe information, basic cooking parameter information, and basic sensory information according to the embodiment.
- FIG. 1 is a diagram illustrating an example of a configuration of an information processing system according to an embodiment.
- FIG. 2 is a block diagram showing an example of a functional configuration of the operation terminal and the cooking appliance according to the embodiment.
- FIG. 3 is a block diagram illustrating an example of a
- FIG. 7 is a diagram showing an example of image data, chemical analysis data, and weight data included in cooking status information according to the embodiment.
- FIG. 8 is a diagram showing an example of a screen display of the operation terminal according to the embodiment.
- FIG. 9 is a diagram showing another example of a screen display of the operation terminal in the embodiment.
- FIG. 10 is a sequence diagram illustrating an example of a processing operation of the information processing system according to the embodiment.
- FIG. 11 is a flowchart illustrating an example of a processing operation of the server in the embodiment.
- FIG. 12 is a flowchart showing in detail a part of the processing operation of the server in the embodiment.
- FIG. 13 is a flowchart showing an example of constructing a first learning model in an embodiment.
- FIG. 14 is a flowchart showing an example of constructing a second learning model in an embodiment.
- FIG. 15 is a flowchart showing an example of constructing a third learning model in an embodiment.
- FIG. 16 is a flowchart showing an example of constructing a fourth learning model in an embodiment.
- FIG. 17 shows an example of the first learning model.
- FIG. 18 shows an example of the second learning model.
- FIG. 19 shows an example of the third learning model.
- FIG. 20 shows an example of the fourth learning model.
- a chef takes into consideration the sensory level of the resulting dish, such as the degree of fragrantness.
- Dishes include, for example, bouillon and braised pork.
- Sensory level refers to the level of stimulation received by organs such as the nose and tongue, and may be, for example, the degree of fragrantness, sweet aroma, sourness, bitterness, saltiness, etc. These sensory levels express the taste and deliciousness of the dish.
- a cook may desire a different sensory level than that described in the recipe. Even if a cook desires the sensory level described in the recipe, they may not be able to prepare the exact amount of ingredients as specified in the recipe, or may not be able to prepare each ingredient in the proportions specified in the recipe, or even if they do prepare each ingredient in the proportions specified in the recipe, the sensory level may fluctuate during the cooking process. In such cases, it is difficult to appropriately set the temperature, pressure, time, etc. of the cooker that will cook the food to be cooked in accordance with the cooker's desires.
- the control method is a control method executed by a computer to control a cooker that cooks food, and includes the steps of: acquiring target sensory information indicating a target for one or more numerical values related to the sensory of a dish obtained by cooking the food; acquiring cooking parameter information including one or more cooking parameters used in cooking with the cooker based on the acquired target sensory information; acquiring in-cooking sensory information indicating one or more numerical values related to the sensory of the food while cooking with the cooker is being performed; changing the cooking parameter information to modified cooking parameter information including one or more modified cooking parameters based on the target sensory information and the in-cooking sensory information; and outputting a control signal including the modified cooking parameter information.
- Each of the one or more numerical values related to the sensory is also called a sensory degree or a sensory evaluation value, and may be, for example, a degree of savory flavor, sweet aroma, sourness, bitterness, saltiness, etc.
- the target sensory information desired by the cooker is obtained, and cooking parameter information is obtained based on the target sensory information as, for example, initial cooking parameter information. Then, for example, by transmitting the cooking parameter information to a cooking appliance, cooking according to the cooking parameter information is started by the cooking appliance. After that, the cooking parameter information used by the cooking appliance is changed by one or more numerical values (i.e., sensory degree) related to the sensory of the food to be cooked when cooking is being performed. Therefore, by cooking according to the modified cooking parameter information, the sensory degree of the final dish can be brought closer to the sensory degree indicated by the target sensory information. In other words, the sensory degree of the final dish can be brought closer to the sensory degree desired by the cooker.
- the sensory degree of the final dish can be brought closer to the sensory degree desired by the cooker.
- the sensory degree of the final dish can be brought closer to the sensory degree desired by the cooker.
- the sensory degree of the dish can be appropriately controlled without the cook having to take the trouble of adjusting the cooking parameters.
- the cooking parameter information when acquiring the sensory information during cooking, the sensory information during cooking at a first time point after the start of cooking with the cooker is acquired as first sensory information, and the sensory information during cooking at a second time point after the first time point after the start of cooking with the cooker is acquired as second sensory information, and when changing the cooking parameter information, the cooking parameter information may be changed to the modified cooking parameter information based on the difference between the first sensory information and the second sensory information and the target sensory information.
- the cooking parameter information is changed to modified cooking parameter information based on the amount of change in the sensory information during cooking and the target sensory information. Therefore, by taking into account the tendency of the sensory level to change due to cooking according to the cooking parameter information, the sensory level of the final dish can be effectively brought closer to the sensory level desired by the cook.
- the first time may be 0 hours.
- the first sensory information indicates one or more numerical values related to the sensory level of the cooked food at the start of cooking.
- third sensory information may be obtained that indicates one or more numerical values related to the sensory properties of the dish obtained by cooking the dish using the cooker according to the modified cooking parameter information.
- information indicating the sensory level of the final dish is estimated as the third sensory information. Therefore, for example, by presenting the third sensory information to a cook, the cook can confirm whether a dish with the sensory level desired by the cook will be prepared, or how close the sensory level of the final dish is to the desired level.
- multiple candidates for the modified cooking parameter information may be obtained based on the target sensory information and the sensory information during cooking, and from the multiple candidates, a candidate whose difference with the cooking parameter information is equal to or less than a threshold value, or a candidate closest to the cooking parameter information may be selected as the modified cooking parameter information.
- the third sensory information is acquired by inputting at least the modified cooking parameter information into a learning model
- the learning model may be machine-trained so that, in response to the input of at least one cooking parameter that is changed during cooking with the cooker, one or more numerical values related to the sensory information of the dish obtained by cooking with the cooker according to the one or more cooking parameters are output.
- a learning model is used to acquire the third sensory information, making it possible to acquire the third sensory information with high accuracy.
- the sensory information during cooking may be acquired by inputting at least one of an image of the food being cooked, the weight of the food being cooked, and the amount of a chemical component contained in the food being cooked into a learning model while cooking is being performed using the cooker.
- a learning model is used to obtain sensory information during cooking, making it possible to obtain highly accurate sensory information during cooking.
- the learning model may be machine-trained to output one or more numerical values related to the sensory properties of one or more ingredients in response to at least one input of an image of one or more ingredients being cooked in the cooker, the weight of the one or more ingredients, and the amount of a chemical component contained in the one or more ingredients.
- the one or more cooking parameters may include a parameter indicating a temperature used for cooking with the cooker and a parameter indicating a time used for cooking with the cooker.
- the one or more cooking parameters may further include a parameter indicating the pressure used for cooking by the cooker.
- An information provision method is a method in which a computer provides information regarding cooking of an object to be cooked using a cooking appliance, and in response to a user's operation, receives target sensory information indicating a target for one or more numerical values related to the sensory properties of the dish obtained by cooking the object to be cooked, and outputs final sensory information related to the sensory properties of the dish that is derived based on the target sensory information and in-cooking sensory information indicating one or more numerical values related to the sensory properties of the object to be cooked while the object to be cooked using the cooking appliance.
- the sensory (i.e., sensory level) of the dish that will ultimately be made according to that information can be presented to the cook.
- the sensory level of the presented dish may be presented as a numerical value, a radar chart, or a number of stars.
- the cook can properly grasp the sensory level of the dish that will be obtained by cooking. In other words, the cook can confirm whether or not a dish with the sensory level desired by the cook will be made, or how close the sensory level of the ultimately made dish is to what is desired.
- the processing operations included in the above control method and information provision method are executed by a computer.
- each figure is a schematic diagram and is not necessarily a precise illustration.
- the same reference numerals are used for substantially the same configuration, and duplicate explanations are omitted or simplified.
- the effects of the above-mentioned control method and information provision method are also realized in the system and program.
- FIG. 1 is a diagram showing an example of a configuration of an information processing system 1000 according to the present embodiment.
- the information processing system 1000 includes a server 100, an operation terminal 200, and a cooking appliance 300, which are connected to each other via a communication network such as the Internet.
- Cooking device 300 is a device that prepares food by cooking one or more ingredients, and cooks the food by adjusting pressure, temperature, and time as cooking parameters.
- cooking device 300 is configured as a pressure cooker.
- the number of cooking parameters that can be adjusted by the cooker 300 is not limited to three, but may be one or two, or may be four or more.
- the cooker 300 may be a device that boils or steams food, may be an induction heating (IH) cooker, or may be a temperature-adjustable container.
- IH induction heating
- a temperature-adjustable container controls the temperature and time to ferment and mature soy sauce, miso, and the like as cooking.
- the cooker 300 may also be a cooker that uses a liquid or gas in a region just before the critical point (a point where the temperature is 374°C and the pressure is 22 MPa).
- a liquid or gas e.g., water
- Such a liquid (e.g., water) or gas has, for example, a pressure exceeding 0.2 MPa and a temperature exceeding 120°C.
- Types of cookers include pressure cooker type, superheated steam type, and frying pan type.
- a pressure cooker type cooker can independently control the temperature and pressure in a closed system, and uses the liquid to cook boiled or stewed food.
- a superheated steam type cooker sprays the gas (e.g., steam) onto the food to be cooked from a unit that can control at least the temperature of the temperature and pressure in a closed or open system, and cooks steamed or grilled food.
- a frying pan type cooker includes an induction cooker and a frying pan placed on the induction cooker, and grills food by controlling the temperature and time. Cooking using such a liquid or gas can promote hydrolysis reactions.
- the operation terminal 200 is configured as, for example, a smartphone or a tablet terminal. Such an operation terminal 200 is operated by a cook to cook using the cooking appliance 300. The cook may be a user who uses the cooking appliance 300.
- the server 100 controls the cooking appliance 300 in response to input operations made by the cook on the operation terminal 200.
- the server 100 is a computer that executes a control method for controlling the cooking appliance 300 that cooks the food to be cooked.
- the server 100 is a control system that controls the cooking appliance 300 that cooks the food to be cooked.
- FIG. 2 is a block diagram showing an example of the functional configuration of the operation terminal 200 and the cooking appliance 300.
- the operation terminal 200 is a computer that executes an information provision method that provides information about cooking of food items by the cooking appliance 300, and includes an input unit 201, a display unit 202, a terminal control unit 203, a terminal memory unit 204, and a terminal communication unit 205. Such an operation terminal 200 can also be said to be an information provision system that provides information about cooking of food items by the cooking appliance 300.
- the display unit 202 is a device that displays images, such as a liquid crystal display or an organic EL (Electro-Luminescence) display. Note that the display unit 202 is not limited to these, and may be any device that can display images. Furthermore, the display unit 202 in this embodiment can also be said to be an output unit that outputs information related to cooking. Note that in this embodiment, the display unit 202 is provided in the operation terminal 200 as an example of an output unit that outputs information related to cooking, but an audio output unit (such as a speaker) that outputs the information by audio may also be provided as an output unit. Furthermore, both the display unit 202 and the audio output unit may also be provided as output units.
- an audio output unit such as a speaker
- the input unit 201 is configured as a touch sensor that is disposed on the display unit 202, for example, and accepts an input operation corresponding to an image such as an icon displayed on the display unit 202 when the cook touches the image.
- the input unit 201 may also include a button, and accept an input operation corresponding to the button when the cook presses the button.
- the terminal communication unit 205 communicates with the cooking appliance 300 wirelessly or via a wired connection.
- the wireless communication may be performed using Wi-Fi (registered trademark), Bluetooth (registered trademark), ZigBee (registered trademark), or a specific low-power radio.
- the terminal communication unit 205 communicates with the server 100 via the above-mentioned communication network. Note that the terminal communication unit 205 may communicate with the server 100 directly, or may communicate with the server 100 via the cooking appliance 300.
- the terminal memory unit 204 is a recording medium for storing various information, data, programs, etc. Such a terminal memory unit 204 may be a hard disk drive, a RAM (Random Access Memory), a ROM (Read Only Memory), or a semiconductor memory. The terminal memory unit 204 may be either volatile or non-volatile.
- the terminal control unit 203 controls the input unit 201, the display unit 202, and the terminal communication unit 205, for example, by reading and executing a program stored in the terminal memory unit 204.
- the cooking appliance 300 includes a cooking control unit 303, a cooking memory unit 304, a cooking communication unit 305, a cooking status acquisition unit 310, and a cooking unit 320.
- the cooking unit 320 cooks the food, which is made up of one or more ingredients, by applying a physical action to the food in accordance with cooking parameter information including three cooking parameters, such as temperature, pressure, and time.
- cooking parameter information including three cooking parameters, such as temperature, pressure, and time.
- Such a cooking unit 320 includes a pressure adjustment unit 321, a temperature adjustment unit 322, and a time adjustment unit 323.
- the pressure adjustment unit 321 adjusts the pressure applied to the food according to a cooking parameter indicating pressure.
- the temperature adjustment unit 322 adjusts the temperature applied to the food according to a cooking parameter indicating temperature.
- the time adjustment unit 323 adjusts the duration of the pressure or temperature adjusted by the pressure adjustment unit 321 and the temperature adjustment unit 322 according to a cooking parameter indicating time.
- the cooking status acquisition unit 310 acquires cooking status information indicating the status of the food to be cooked.
- Such cooking status acquisition unit 310 includes a weight measurement unit 311, an imaging unit 312, and a chemical analysis unit 313.
- the weight measurement unit 311 measures the weight of the food to be cooked placed in the cooking appliance 300.
- the weight measurement unit 311 then outputs weight data indicating the measured weight.
- the imaging unit 312 is, for example, a camera, and captures an image of the food to be cooked placed in the cooking appliance 300.
- the imaging unit 312 then outputs image data obtained by capturing an image of the food to be cooked.
- the imaging unit 312 is, for example, an image sensor that is water resistant and has high performance in the dark.
- the chemical analysis unit 313 analyzes the chemical components of the food to be cooked placed in the cooking appliance 300, for example, by liquid chromatography, gas chromatography, or the like. The chemical analysis unit 313 then outputs chemical analysis data obtained by analyzing the chemical components.
- the chemical analysis unit 313 may analyze the chemical components of the food to be cooked using other methods, such as ether extraction, and is not limited to the above-mentioned chromatographic methods.
- the chemical analysis unit 313 may also analyze the chemical components of the food to be cooked placed in the cooking appliance 300, for example, based on information detected by an odor sensor.
- the odor sensor includes multiple odor detection elements.
- the odor sensor includes a first odor detection element to an n-th odor detection element (n is an integer equal to or greater than 2).
- the output signals of the first odor detection element to the n-th odor detection element may be subjected to machine learning and analysis to determine one or more chemical components contained in the food to be cooked, and the respective amounts of the one or more chemical components.
- the cooking status information includes the weight data, image data, and chemical analysis data described above.
- the cooking communication unit 305 communicates with the operation terminal 200 wirelessly or via a wired connection. As described above, the wireless communication may be performed via Wi-Fi, Bluetooth, or the like. Furthermore, the cooking communication unit 305 communicates with the server 100 via the above-mentioned communication network. Note that the cooking communication unit 305 may communicate directly with the server 100, or may communicate with the server 100 via the operation terminal 200.
- the cooking memory unit 304 is a recording medium for storing various information, data, programs, etc. Like the terminal memory unit 204, the cooking memory unit 304 is a hard disk drive, RAM, ROM, etc. Note that the cooking memory unit 304 may be either volatile or non-volatile.
- the cooking control unit 303 controls the cooking communication unit 305, the cooking status acquisition unit 310, and the cooking unit 320, for example, by reading and executing a program stored in the cooking memory unit 304.
- the cooker 300 cooks according to three cooking parameters, but it may also cook according to one or two cooking parameters, or four or more cooking parameters.
- FIG. 3 is a block diagram showing an example of the functional configuration of the server 100.
- the server 100 is a computer that controls a cooker 300 that cooks food, and includes a server control unit 103, a server memory unit 104, a server communication unit 105, a first memory unit 110, a second memory unit 120, a third memory unit 130, a fourth memory unit 140, and a model storage unit 150.
- the server memory unit 104, the first memory unit 110, the second memory unit 120, the third memory unit 130, the fourth memory unit 140, and the model storage unit 150 are each recording media, and like the terminal memory unit 204 and the cooking memory unit 304, are a hard disk drive, RAM, ROM, etc. Furthermore, these recording media may be volatile or non-volatile.
- Such a server 100 is also called a control system.
- the first memory unit 110 stores dish list information 111, recipe information 112, basic cooking parameter information 113, and basic sensory information 114.
- the dish list information 111 indicates the names of each of a plurality of dishes (hereinafter referred to as dish names).
- the recipe information 112 indicates, for each dish name indicated by the dish list information 111, one or more ingredients (also referred to as ingredients) used in the dish of that dish name, and the amount of each of the one or more ingredients.
- the basic cooking parameter information 113 indicates, for each dish name indicated by the dish list information 111, one or more basic cooking parameters used by the cooking section 320 of the cooking appliance 300 to prepare the dish of that dish name.
- the basic sensory information 114 indicates, for each dish name indicated by the dish list information 111, one or more numerical values related to the sensory properties of the dish prepared according to the recipe information 112 and basic cooking parameter information 113 corresponding to that dish name.
- the second storage unit 120 is a recording medium for storing cooking status information 121 obtained by the cooking status acquisition unit 310 of the cooking appliance 300.
- the cooking status information 121 includes image data, chemical analysis data, and weight data obtained at substantially the same time.
- the third memory unit 130 is a recording medium for storing sensory information 131 indicating one or more numerical values related to the sensory properties of a dish or cooked food.
- the sensory information 131 indicates a first sensory degree, a second sensory degree, ... as one or more numerical values related to sensory properties.
- the first sensory degree may be the degree of savory flavor
- the second sensory degree may be the degree of sweet aroma.
- the fourth memory unit 140 is a recording medium for storing initial cooking parameter information 141 and modified cooking parameter information 142.
- Each of the initial cooking parameter information 141 and the modified cooking parameter information 142 is cooking parameter information indicating one or more cooking parameters used in cooking by the cooker 300.
- the initial cooking parameter information 141 indicates one or more cooking parameters used when cooking by the cooker 300 begins.
- the modified cooking parameter information 142 is information modified or changed from the initial cooking parameter information 141.
- the modified cooking parameter information 142 includes one or more modified cooking parameters obtained by modifying or changing one or more cooking parameters included in the initial cooking parameter information 141.
- the model storage unit 150 stores, for each dish name indicated by the dish list information 111, a learning model set 150a corresponding to that dish name.
- the learning model set 150a includes a first learning model 151, a second learning model 152, a third learning model 153, and a fourth learning model 154.
- These learning models are, for example, machine-learned models such as neural networks.
- the first learning model 151 is a model for deriving the above-mentioned initial cooking parameter information 141.
- the second learning model 152 is a model for deriving the sensory information 131 of the food being cooked while cooking is being performed by the cooker 300 as sensory information during cooking.
- the third learning model 153 is a model for deriving the above-mentioned modified cooking parameter information 142.
- the fourth learning model 154 is a model for deriving the final sensory information 131 of the food obtained by cooking according to the initial cooking parameter information 141 and modified cooking parameter information 142 by the cooker 300 as third sensory information.
- the server communication unit 105 communicates with the operation terminal 200 and the cooking appliance 300 via the above-mentioned communication network.
- the server storage unit 104 is a recording medium for storing various information, data, programs, etc.
- the server control unit 103 controls the server communication unit 105 and the like, for example, by reading and executing a program stored in the server storage unit 104. For example, the server control unit 103 acquires cooking status information 121 from the cooker 300 via the server communication unit 105, and stores the cooking status information 121 in the second storage unit 120. The server control unit 103 also acquires sensory information 131, initial cooking parameter information 141, and modified cooking parameter information 142 derived using the learning model set 150a. The server control unit 103 then stores the acquired sensory information 131 in the third storage unit 130, and stores the acquired initial cooking parameter information 141 and modified cooking parameter information 142 in the fourth storage unit 140.
- FIG. 4 shows details of multiple types of sensory information 131 stored in the third storage unit 130.
- the third storage unit 130 stores multiple types of sensory information 131.
- the multiple types of sensory information 131 are target sensory information 131a, first sensory information 131b, second sensory information 131c, and third sensory information 131d, which will be described later.
- the target sensory information 131a is sensory information 131 that is a goal for the cook.
- Each of the first sensory information 131b and the second sensory information 131c is sensory information 131 of the food being cooked while it is being cooked, and is also called sensory information during cooking.
- the third sensory information 131d is sensory information 131 of the dish produced by cooking, and is also called final sensory information.
- FIG. 5 is a block diagram showing an example of a detailed functional configuration of the server control unit 103.
- the server control unit 103 includes an input acquisition unit 1031, a parameter acquisition unit 1032, a sensory information acquisition unit 1033, a parameter modification unit 1034, a processing unit 1035, and a parameter output unit 1037.
- the input acquisition unit 1031 acquires input information from the operation terminal 200 via the server communication unit 105.
- the input information is information accepted by the terminal control unit 203 through an input operation by the cook into the input unit 201 of the operation terminal 200.
- the cook By performing an input operation into the input unit 201 of the operation terminal 200, the cook, for example, inputs the name of the dish to be made in the cooker 300 (i.e., the dish name) and a target sensory numerical value.
- the sensory numerical value is also called the sensory degree or sensory evaluation value.
- the terminal control unit 203 accepts input information including dish information indicating the dish name and target sensory information 131a indicating the target sensory numerical value.
- the input acquisition unit 1031 acquires the input information from the terminal control unit 203 via the terminal communication unit 205 and the server communication unit 105.
- the input acquisition unit 1031 in this embodiment acquires (b) cooking information indicating the dish obtained by cooking the food to be cooked, and (b) target sensory information 131a indicating a target for one or more numerical values related to sensory sensations.
- the parameter acquisition unit 1032 acquires cooking parameter information indicating one or more cooking parameters using the input information and the learning model set 150a stored in the model storage unit 150. That is, the parameter acquisition unit 1032 acquires cooking parameter information including one or more cooking parameters used for cooking by the cooker 300 using the learning model set 150a based on the above-mentioned cooking information and target sensory information 131a acquired by the input acquisition unit 1031.
- This cooking parameter information is initial cooking parameter information 141.
- the one or more cooking parameters include a cooking parameter indicating the temperature used for cooking by the cooker 300 and a cooking parameter indicating the time used for cooking by the cooker 300.
- the one or more cooking parameters include a cooking parameter indicating the pressure used for cooking by the cooker 300.
- the parameter output unit 1037 transmits the initial cooking parameter information 141 to the cooking appliance 300 via the server communication unit 105.
- the cooking unit 320 of the cooking appliance 300 acquires the transmitted initial cooking parameter information 141 via the cooking communication unit 305, it starts cooking according to the initial cooking parameter information 141.
- the sensory information acquisition unit 1033 acquires the sensory information 131, for example, using the cooking state information 121 stored in the second memory unit 120 and the learning model set 150a stored in the model storage unit 150.
- the sensory information 131 acquired in this manner indicates one or more numerical values related to the sensory quality of the food being cooked when cooking is being performed by the cooker 300, and is also called sensory information during cooking (i.e., the first sensory information 131b or the second sensory information 131c).
- the sensory information acquisition unit 1033 acquires sensory information during cooking that indicates one or more numerical values related to the sensory quality of the food being cooked when cooking is being performed by the cooker 300 in accordance with the cooking parameter information.
- the parameter modification unit 1034 changes the initial cooking parameter information 141 to modified cooking parameter information 142 including one or more modified cooking parameters based on the above-mentioned target sensory information 131a and the sensory information during cooking. In other words, the parameter modification unit 1034 modifies the initial cooking parameter information 141 to the modified cooking parameter information 142.
- the learning model set 150a stored in the model storage unit 150 is used to modify this initial cooking parameter information 141.
- the parameter output unit 1037 outputs a control signal including the modified cooking parameter information 142 to the cooking appliance 300 via the server communication unit 105. In other words, the parameter output unit 1037 transmits a control signal including the modified cooking parameter information 142.
- the cooking unit 320 of the cooking appliance 300 acquires the transmitted modified cooking parameter information 142 via the cooking communication unit 305, it interrupts cooking according to the initial cooking parameter information 141 and performs cooking according to the modified cooking parameter information 142.
- the parameter output unit 1037 may transmit a control signal including the initial cooking parameter information 141 to the cooking appliance 300, similar to the modified cooking parameter information 142.
- the transmission or output of the initial cooking parameter information 141 or modified cooking parameter information 142 is performed with that information included in the control signal.
- the processing unit 1035 executes a process that is different from the process executed by each component other than the processing unit 1035 included in the server control unit 103. For example, the processing unit 1035 transmits the third sensory information 131d stored in the third storage unit 130 to the operation terminal 200 via the server communication unit 105.
- FIG. 6 shows an example of dish list information 111, recipe information 112, basic cooking parameter information 113, and basic sensory information 114.
- the dish list information 111 indicates, for each record number, the dish ID and dish name corresponding to that record number.
- the dish ID is identification information for identifying the dish name and the dish. Specifically, for record number "1,” the dish ID "D001" and the dish name "Bouillon” are shown in association with each other.
- recipe information 112 is associated with a dish ID and indicates one or more ingredients used in the dish identified by the dish ID and the respective quantities of the one or more ingredients. Specifically, recipe information 112 indicates, for each record number, the ingredient that corresponds to that record number and the quantity of that ingredient. More specifically, in recipe information 112 associated with dish ID "D0001," i.e., dish name "bouillon," the ingredient “carrot” and the quantity of that ingredient “carrot,” "200g,” are shown in association with each other for record number "1.”
- the basic cooking parameter information 113 is associated with a dish ID and indicates one or more cooking parameters used by the cooker 300 to prepare a dish identified by the dish ID.
- Each of the one or more cooking parameters consists of a cooking parameter name and a set value.
- the basic cooking parameter information 113 indicates, for each record number, the cooking parameter name and set value corresponding to that record number. More specifically, in the basic cooking parameter information 113 associated with the dish ID "D0001", i.e., the dish name "Bouillon", the cooking parameter name "Temperature” and the set value "100°C" are shown in association with each other for the record number "1". That is, the temperature "100°C" is shown as the cooking parameter for record number "1".
- the set value may be shown as a numerical range, for example, "90°C to 110°C". Also, when a single numerical value such as "100°C" is shown as the set value, that numerical value may be the average or median value of the set value (e.g., temperature) from the start of cooking to the end of cooking in the cooker 300.
- the basic sensory information 114 is associated with a dish ID, for example as shown in FIG. 6(d), and indicates one or more values related to the basic sensory of the dish indicated by the dish ID. Specifically, the basic sensory information 114 indicates, for each record number, a sensory item and a degree corresponding to the record number. More specifically, in the basic sensory information 114 associated with the dish ID "D0001", i.e., the dish name "bouillon", the sensory item "savory” and the degree "-1" are shown in association with each other for the record number "1". That is, the record number "1" indicates savory "-1" as a value related to the sensory, i.e., the sensory degree. The sensory item indicates the type of sensory degree.
- the sensory degree in this embodiment is a value within the numerical range from -3 to 3, but is not limited to this and may be a value within any numerical range.
- the sensory degree may be an integer or a decimal.
- the degree may be indicated as a numerical range, for example, "-1 to 1".
- FIG. 7 shows an example of image data, chemical analysis data, and weight data included in cooking status information 121.
- the image data 121a is data showing an image of an object to be cooked placed on the cooking appliance 300, for example as shown in FIG. 7(a). Such image data 121a is obtained by imaging using the imaging unit 312 of the cooking appliance 300.
- the chemical analysis data 121b is data showing a graph obtained by, for example, liquid chromatography, as shown in FIG. 7B.
- the horizontal axis of the graph shows the measurement time, and the vertical axis of the graph shows the number of counts measured at that measurement time.
- Such chemical analysis data 121b is obtained by analysis by the chemical analysis unit 313 of the cooking appliance 300. It can be said that such a graph shows the amount of each of one or more chemical components.
- the graph may be called a chromatogram.
- the chemical analysis unit 313 may obtain data directly showing the amount of each of several chemical components as the chemical analysis data 121b, rather than data showing the graph itself. In other words, the chemical analysis unit 313 may derive the amount of each of a number of predetermined chemical components from the graph, and output chemical analysis data 121b directly showing the amount of each of the derived chemical components.
- the weight data 121c is data that indicates the weight of the food being cooked placed in the cooking appliance 300, as shown in FIG. 7(c), for example. Such weight data 121c is obtained by measurement using the weight measuring unit 311 of the cooking appliance 300.
- FIG. 8 is a diagram showing an example of a screen display of the operation terminal 200. As shown in FIG.
- the terminal control unit 203 of the operation terminal 200 displays a search screen d1 on the display unit 202, as shown in FIG. 8(a), for example.
- the search screen d1 has an input field w1 for accepting input of a dish name.
- the cook writes the name of the dish they wish to make in the input field w1 by performing an input operation on the input unit 201 of the operation terminal 200. For example, the cook writes the dish name "bouillon" in the input field w1.
- the terminal control unit 203 obtains input information indicating the dish name "bouillon”, stores the input information in the terminal memory unit 204, and transmits the input information to the server 100 via the terminal communication unit 205.
- the input acquisition unit 1031 of the server 100 acquires the input information from the operation terminal 200 via the server communication unit 105 as dish information, and stores the dish information, for example, in the server storage unit 104.
- the processing unit 1035 searches the dish list information 111 stored in the first storage unit 110 for the dish name "bouillon” indicated by the dish information acquired by the input acquisition unit 1031.
- the processing unit 1035 finds the dish name "bouillon” in the dish list information 111, it identifies the dish ID associated with the dish name "bouillon”.
- the processing unit 1035 acquires the recipe information 112 and basic sensory information 114 associated with that dish ID from the first storage unit 110.
- the processing unit 1035 uses the recipe information 112 and the basic sensory information 114 to generate a sensory input screen d2, for example, as shown in FIG. 8B, and transmits information indicating the sensory input screen d2 to the operation terminal 200 via the server communication unit 105.
- the terminal control unit 203 of the operation terminal 200 acquires the information from the server 100 via the terminal communication unit 205, it displays the sensory input screen d2 indicated by the information on the display unit 202.
- the sensory input screen d2 includes a recipe field w2, a basic sensory field w3, a sensory adjustment field w4, and a start button b2.
- the recipe field w2 displays one or more ingredients for making the dish "Bouillon” indicated in the recipe information 112, and the respective amounts of the one or more ingredients.
- the basic sensory field w3 displays multiple sensory levels of the dish "Bouillon” indicated in the basic sensory information 114.
- the sensory adjustment field w4 displays multiple operation buttons b1 for changing the multiple sensory degrees displayed in the basic sensory field w3.
- the cook operates one of the multiple operation buttons b1 that corresponds to the sensory degree to which the cook wishes to change.
- the terminal control unit 203 of the operation terminal 200 receives input information in response to the input operation on the operation button b1, it changes the sensory degree corresponding to that operation button b1.
- the terminal control unit 203 changes the savory level displayed in the basic sensory field w3 from “-1" to "+1". In other words, the terminal control unit 203 accepts savory level "0" as the sensory level desired by the cook, or the target sensory level.
- the terminal control unit 203 changes the sweet aroma displayed in the basic sensory field w3 from "3" to "-1". In other words, the terminal control unit 203 accepts sweet aroma "2" as the sensory level desired by the cook, or the target sensory level. If the cook wishes to change any sensory level other than savory and sweet aroma, he or she repeatedly operates the operation button b1 corresponding to that sensory level.
- the cook then operates the start button b2 displayed on the sensory input screen d2.
- the terminal control unit 203 receives an input operation on the start button b2, it acquires input information indicating the target for each sensory level, such as savory, sweet aroma, sourness, and bitterness, as target sensory information 131a. Then, the terminal control unit 203 transmits the target sensory information 131a to the server 100 via the terminal communication unit 205.
- the change range of the sensory degree may be limited within a predetermined range. Furthermore, when one of the multiple sensory degrees is changed, the remaining sensory degrees may also be changed in conjunction with the change in that one sensory degree. Furthermore, the sensory adjustment field w4 may not display all of the sensory degrees shown in the basic sensory field w3, but may display only one of them as a sensory degree that can be changed.
- the sensory information acquisition unit 1033 of the server 100 acquires the target sensory information 131a from the operation terminal 200 via the server communication unit 105, and stores the target sensory information 131a in the third storage unit 130.
- the server control unit 103 then derives the initial cooking parameter information 141 using the target sensory information 131a.
- the server control unit 103 modifies the initial cooking parameter information 141 to modified cooking parameter information 142 by using the cooking state information 121 acquired by the cooker 300, etc.
- the server control unit 103 estimates one or more sensory degrees of the dish "bouillon" obtained by cooking with the cooker 300 according to the initial cooking parameter information 141 and the modified cooking parameter information 142. In other words, the server control unit 103 derives the third sensory information 131d as the final sensory information.
- the server control unit 103 stores the third sensory information 131d in the third storage unit 130, and further transmits the third sensory information 131d to the operation terminal 200 via the server communication unit 105.
- the server control unit 103 may transmit the modified cooking parameter of time included in the modified cooking parameter information 142 to the operation terminal 200 via the server communication unit 105.
- the terminal control unit 203 of the operation terminal 200 acquires the third sensory information 131d and the modified cooking parameter of time from the server 100 via the terminal communication unit 205.
- the terminal control unit 203 then displays a final sensory screen d3 for displaying the third sensory information 131d and the like on the display unit 202, as shown, for example, in FIG. 8(c).
- the final sensory screen d3 displays a number of sensory indicative levels indicated by the third sensory information 131d.
- the final sensory screen d3 displays the time indicated by the modified cooking parameter described above, for example as a cooking completion time of "2 hours 30 minutes.”
- the cook can recognize that a dish will be prepared that has one or more sensory indices that match the target sensory information 131a. Alternatively, the cook can recognize that even if an attempt is made to cook a dish so that its sensory indices match the target sensory information 131a, a dish that has a different sensory indices from the target sensory information 131a will be prepared. Alternatively, the cook can confirm how close the sensory indices of the final dish are to what is desired. The cook can also know the time when cooking of such a dish will be completed.
- each of the multiple sensory levels is displayed as a numerical value, but it may also be displayed as a radar chart, graph, or the like, or may be displayed as a number of stars.
- the operation button b1 in the sensory adjustment field w4 may be used to change, for example, the median of the numerical range.
- the width from the minimum value to the maximum value of the numerical range may be maintained constant.
- the savoryness level "-1 to 1" is displayed in the basic sensory field w3, and the operation button b1 is used to change it to "+1.”
- the terminal control unit 203 accepts the savoryness level "0 to 2" as the savoryness level desired by the cook, or as the target savoryness level.
- the initial cooking parameter information 141 and the modified cooking parameter information 142 may also be used to change the median of the numerical range, for example, to bring the savoryness level "-1 to 1" closer to "0 to 2.”
- FIG. 9 shows another example of the screen display of the operation terminal 200.
- the cook directly inputs the name of the dish, but may also input the names of the ingredients (i.e., food ingredients) used in the dish with that name.
- the terminal control unit 203 of the operation terminal 200 displays an ingredient input screen d11 on the display unit 202, as shown in FIG. 9(a).
- the ingredient input screen d11 has an input field w11 for accepting input of the names of ingredients the cook wants to use.
- the cook writes the names of the ingredients the cook wants to use in the input field w11 by performing an input operation on the input unit 201 of the operation terminal 200.
- the cook writes the name of the ingredient "carrot" in the input field w11.
- the terminal control unit 203 obtains input information indicating the name of the ingredient "carrot”, stores the input information in the terminal memory unit 204, and transmits the input information to the server 100 via the terminal communication unit 205.
- the input acquisition unit 1031 of the server 100 acquires the input information from the operation terminal 200 via the server communication unit 105, and stores the input information in, for example, the server storage unit 104.
- the input acquisition unit 1031 searches for one or more pieces of recipe information 112 in which the ingredient name "carrot" is indicated from among the multiple pieces of recipe information 112 stored in the first storage unit 110.
- the input acquisition unit 1031 then identifies the dish ID associated with each of the one or more pieces of recipe information 112. In other words, the input acquisition unit 1031 identifies the dish name identified by the dish ID.
- the input acquisition unit 1031 transmits search result information indicating the identified one or more dish names to the operation terminal 200 via the server communication unit 105.
- the terminal control unit 203 of the operation terminal 200 acquires the search result information from the server 100 via the terminal communication unit 205, it displays the search result screen d12 on the display unit 202, for example as shown in FIG. 9B.
- the search result screen d12 includes a dish name button b11 on which the name of the dish is written for each of one or more dishes indicated by the search result information.
- the cook selects the dish name button b11 corresponding to the dish that the cook wants to make by performing an input operation on the input unit 201 of the operation terminal 200. For example, the cook selects the dish name button b11 on which the dish name "Bouillon" is written.
- the terminal control unit 203 of the operation terminal 200 acquires input information indicating the dish name "Bouillon" written on the selected dish name button b11, stores the input information in the terminal storage unit 204, and transmits the input information to the server 100 via the terminal communication unit 205.
- the input acquisition unit 1031 of the server 100 acquires the input information from the operation terminal 200 via the server communication unit 105 as dish information, and stores the dish information, for example, in the server storage unit 104.
- the processing unit 1035 searches the dish list information 111 stored in the first storage unit 110 for the dish name "bouillon” indicated by the dish information acquired by the input acquisition unit 1031.
- the processing unit 1035 finds the dish name "bouillon” in the dish list information 111, it identifies the dish ID associated with the dish name "bouillon”.
- the processing unit 1035 acquires the recipe information 112 and basic sensory information 114 associated with that dish ID from the first storage unit 110.
- the operation terminal 200 displays the sensory input screen d2 and the final sensory screen d3 on the display unit 202 by communicating with the server 100 as shown in (c) and (d) of Figure 9, similar to (b) and (c) of Figure 8.
- Such an operation terminal 200 is a computer that performs an information providing method for providing information about the cooker 300 that cooks the food to be cooked.
- the operation terminal 200 receives (a) cooking information indicating the food to be cooked by cooking the food to be cooked, and (b) target sensory information 131a indicating a target for one or more sensory numerical values, in response to operation by the user who is a cook.
- the operation terminal 200 then outputs final sensory information regarding the sensory properties of the food, which is derived based on the cooking information, the target sensory information 131a, and the in-cooking sensory information, which is the sensory information 131 of the food to be cooked when the food to be cooked is being cooked by the cooker 300.
- the final sensory information is the third sensory information 131d described above.
- one or more numerical values i.e., sensory levels
- the cook can confirm whether or not a dish with the sensory level desired by the cook will be made, or how close the sensory level of the dish that will ultimately be made is to what is desired.
- the input unit 201 of the operation terminal 200 accepts text data such as the name of a dish or the names of ingredients through input operations by the cook, but it may also accept a voice signal.
- the input unit 201 is equipped with a microphone and accepts a voice signal output from the microphone.
- the terminal control unit 203 then performs voice recognition on the voice signal to obtain input information indicating the name of a dish or the names of ingredients.
- FIG. 10 is a sequence diagram showing an example of the processing operation of the information processing system 1000.
- Step S1 the operation terminal 200 acquires dish information and target sensory information 131a in response to an input operation on the input unit 201 by the cook.
- Step S2 The operation terminal 200 transmits the dish information and the target sensory information 131a acquired in step S1 to the server 100.
- Step S3 When the server 100 receives the cooking information and the target sensory information 131a transmitted from the operation terminal 200 in step S2, the server 100 uses the information to derive initial cooking parameter information 141.
- a learning model set 150a corresponding to the cooking indicated by the cooking information described above is used to derive the initial cooking parameter information 141, among the multiple learning model sets 150a stored in the model storage unit 150. Specifically, a first learning model 151 included in the learning model set 150a is used.
- FIG. 17 shows an example of the first learning model 151.
- the input to the first learning model 151 is the target sensory information 131a.
- the output from the first learning model 151 is the initial cooking parameter information 141.
- the target sensory information 131a includes the degree of fragrantness of the dish indicated by the cooking information, the degree of sweet aroma of the dish indicated by the cooking information, the degree of sourness of the dish indicated by the cooking information, the degree of bitterness of the dish indicated by the cooking information, and the degree of saltiness of the dish indicated by the cooking information.
- the degree of savory aroma, the degree of sweet aroma, the degree of sourness, the degree of bitterness, and the degree of saltiness are each specified by the user.
- the initial cooking parameter information 141 includes the temperature, pressure, and time at which the cooker cooks the food to be cooked so that the food indicated by the cooking information has the degree of savory aroma, sweet aroma, sourness, bitterness, saltiness, etc., specified by the user.
- the food to be cooked may include one or more ingredients.
- Step S4 The server 100 transmits the derived initial cooking parameter information 141 to the cooking appliance 300 .
- Step S5 When cooking appliance 300 receives initial cooking parameter information 141 from server 100, cooking appliance 300 starts cooking the food placed in cooking appliance 300 by controlling pressure, temperature, and time in accordance with the initial cooking parameter information 141. Cooking appliance 300 then acquires cooking status information 121 at time t1.
- Time t1 is the time when a first hour has elapsed since cooking by cooking appliance 300 started. This first hour may be a predetermined time or may be 0 hours. In other words, time t1 may be the time when cooking by cooking appliance 300 started.
- Step S6 Cooking appliance 300 transmits cooking status information 121 at time t1 to server 100.
- Step S7 When the server 100 receives the cooking status information 121 at time t1 from the cooking appliance 300, the server 100 uses the cooking status information 121 to derive the sensory information 131 of the food to be cooked at time t1 as the first sensory information 131b.
- the first sensory information 131b is sensory information during cooking.
- a learning model set 150a corresponding to the dish indicated by the above-mentioned dish information is used among the multiple learning model sets 150a stored in the model storage unit 150. Specifically, a second learning model 152 included in the learning model set 150a is used.
- FIG. 18 shows an example of the second learning model 152.
- the input to the second learning model 152 is cooking state information 121.
- the output from the second learning model 152 is sensory information 131.
- the cooking status information 121 includes image data 121a, chemical analysis data 121b, and gravity data 121c.
- the image data 121a may be m ⁇ n pixel values of an image (see, for example, FIG. 7A) captured by the imaging unit 312 at time t of an object cooked by the cooking appliance 300 controlled based on the initial cooking parameter information 141 from the cooking start time to time t.
- the m ⁇ n pixel values may be I(1,1), to, I(m,n).
- I(1,1) is the pixel value of pixel (1,1) in the image
- to, I(m,n) are the pixel values of pixel (m,n) in the image.
- m may be an integer of 2 or more
- n may be an integer of 2 or more.
- An example of the XY coordinate axis is shown in FIG. 7A.
- the chemical analysis data 121b may be r intensity values in a chromatogram (see, for example, FIG. 7(b)) obtained by the chemical analysis unit 313 starting measurement at time t of the food cooked by the cooking appliance 300 controlled based on the initial cooking parameter information 141 from the cooking start time to time t.
- the r intensity values may be the first intensity value at the first measurement time in the chromatogram, to the rth intensity value at the rth measurement time in the chromatogram.
- r may be an integer equal to or greater than 1.
- the chemical analysis data 121b may be s quantities of s chemical components.
- the s quantities of the s chemical components may be a first quantity of a first chemical component, through an s-th quantity of an s-th chemical component.
- s may be an integer greater than or equal to 1.
- the weight data 121c may be the weight value measured by the weight measuring unit 311 at time t of the food cooked by the cooking appliance 300 controlled based on the initial cooking parameter information 141 from the cooking start time to time t.
- the sensory information 131 includes the degree of fragrantness, sweet aroma, sourness, bitterness, and saltiness at time t of the food cooked by the cooker 300 controlled based on the initial cooking parameter information 141 from the cooking start time to time t.
- the above-mentioned time t corresponds to time t1 in step S7.
- the above-mentioned time t corresponds to time t2 in step S10, which will be described later.
- Step S8 Cooking appliance 300 acquires cooking status information 121 at time t2.
- Time t2 is a time at a second time point after a first time has elapsed since cooking was started by cooking appliance 300. Note that this second time may be a predetermined time longer than the first time.
- Step S9 Cooking appliance 300 transmits cooking status information 121 at time t2 to server 100.
- Step S10 When the server 100 receives the cooking status information 121 at time t2 from the cooker 300, the server 100 uses the cooking status information 121 to derive the sensory information 131 of the food to be cooked at time t2 as the second sensory information 131c.
- the second sensory information 131c is sensory information during cooking, similar to the first sensory information 131b.
- a learning model set 150a corresponding to the dish indicated by the above-mentioned dish information is used among the multiple learning model sets 150a stored in the model storage unit 150. Specifically, the second learning model 152 included in the learning model set 150a is used.
- Step S11 The server 100 calculates the difference between the first sensory information 131b and the second sensory information 131c. That is, for each of one or more sensory items, the server 100 calculates the difference between the sensory degree of the sensory item indicated in the first sensory information 131b and the sensory degree of the sensory item indicated in the second sensory information 131c.
- the above phrase "The server 100 calculates the difference between the first sensory information 131b and the second sensory information 131c" may be interpreted as "The server 100 calculates the difference information based on the first sensory information 131b and the second sensory information 131c.”
- the above difference information is ⁇ (degree of savory flavor contained in the second sensory information 131c)-(degree of savory flavor contained in the first sensory information 131b) ⁇ , ⁇ (degree of sweet aroma contained in the second sensory information 131c)-(degree of sweet aroma contained in the first sensory information 131b) ⁇ , ⁇ (degree of sourness contained in the second sensory information 131c)-(degree of sourness contained in the first sensory information 131b) ⁇ , ⁇ (degree of bitterness contained in the second sensory information 131c)-(degree of bitterness contained in the first sensory information 131b) ⁇ , It may include ⁇ (the degree of saltiness contained in the second sensory information 131c)-(the degree of saltiness contained in the first sensory information 131b) ⁇ .
- the above difference information is ⁇ (degree of savory flavor at time t2 of the food cooked by the cooker 300 controlled based on the initial cooking parameter information 141 from the cooking start time to time t2)-(degree of savory flavor at time t1 of the food cooked by the cooker 300 controlled based on the initial cooking parameter information 141 from the cooking start time to time t2) ⁇ , ⁇ (Intensity of sweet aroma at time t2 of the food cooked by the cooker 300 controlled based on the initial cooking parameter information 141 from the cooking start time to time t2) - (Intensity of sweet aroma at time t1 of the food cooked by the cooker 300 controlled based on the initial cooking parameter information 141 from the cooking start time to time t2) ⁇ , ⁇ (degree of sourness at time t2 of the food cooked by the cooking appliance 300 controlled based on the initial cooking parameter information 141 from the cooking start time to time t2)-(degree of sourness at time t1 of the food cooked by the cooking appliance 300 controlled based on the initial cooking parameter
- Step S12 the server 100 uses the difference calculated in step S11 to derive the modified cooking parameter information 142.
- the modified cooking parameter information 142 is derived using the learning model set 150a corresponding to the dish indicated by the above-mentioned dish information, among the multiple learning model sets 150a stored in the model storage unit 150.
- the third learning model 153 included in the learning model set 150a is used.
- FIG. 19 shows an example of the third learning model 153.
- the input to the third learning model 152 is difference information calculated based on the first sensory information 131b and the second sensory information 131c, and the target sensory information 131a.
- the output from the third learning model 153 is the modified cooking parameter information 142.
- the modified cooking parameter information 142 includes the temperature, pressure, and time for cooking the food cooked by the cooker 300 controlled based on the initial cooking parameter information 141 from time t4, from the cooking start time to time t3, so that the food indicated by the cooking information has the degree of savory aroma, sweet aroma, sourness, bitterness, saltiness, etc., specified by the user as indicated in the target sensory information 131a.
- Time t4 may be later than time t3 or may be the same as time t3.
- Time t3 may be later than time t1 and time t2.
- Time t1 and time t2 may be later than the cooking start time.
- Step S13 the server 100 transmits the modified cooking parameter information 142 derived in step S12 to the cooking appliance 300.
- Step S14 Cooking appliance 300 receives modified cooking parameter information 142 transmitted in step S13, and changes initial cooking parameter information 141 to the modified cooking parameter information 142. In other words, cooking appliance 300 interrupts cooking according to initial cooking parameter information 141, and starts cooking according to modified cooking parameter information 142.
- Step S15 The server 100 further derives the final sensory information 131 of the dish indicated by the above-mentioned cooking information when the dish is prepared, as the third sensory information 131d, using the corrected cooking parameter information 142 derived in step S12. That is, the third sensory information 131d is estimated.
- a learning model set 150a corresponding to the dish indicated by the above-mentioned cooking information is used among the multiple learning model sets 150a stored in the model storage unit 150.
- a fourth learning model 154 included in the learning model set 150a is used.
- Figure 20 shows an example of the fourth learning model 154.
- the input to the fourth learning model 154 is the modified cooking parameter information 142 and the sensory information during cooking.
- the output from the fourth learning model 153 is the sensory information of the created dish (i.e., the third sensory information 131d).
- the third sensory information 131d includes the degree of fragrantness, sweet aroma, sourness, bitterness, and saltiness of the created dish.
- Step S16 The server 100 transmits the modified cooking parameter of time included in the modified cooking parameter information 142 derived in step S12 and the third sensory information 131d derived in step S15 to the operation terminal 200. Note that the server 100 may transmit all modified cooking parameters included in the modified cooking parameter information 142.
- Step S17 The operation terminal 200 receives the modified cooking parameter of time and the third sensory information 131d included in the modified cooking parameter information 142 transmitted in step S16. Then, as shown in Fig. 8(c) or Fig. 9(d), the operation terminal 200 displays the modified cooking parameter of time and the third sensory information 131d on the display unit 202.
- the modified cooking parameter of time is displayed as, for example, a cooking completion time.
- cooking information indicating the dish desired by the cook and the target sensory information 131a desired by the cook are obtained, and initial cooking parameter information 141 is obtained based on them. Then, by transmitting the initial cooking parameter information 141 to the cooker 300, cooking according to the initial cooking parameter information 141 is started by the cooker 300.
- the initial cooking parameter information 141 used by the cooker 300 is then modified by one or more numerical values (i.e., sensory degree) related to the sensory of the food to be cooked when cooking is being performed. Therefore, by cooking according to the modified cooking parameter information 142, the sensory degree of the final dish can be made closer to the sensory degree indicated by the target sensory information 131a. In other words, the sensory degree of the final dish can be made closer to the sensory degree desired by the cooker.
- the sensory degree desired by the cooker is different from the sensory degree described in the basic recipe, or even if the amount of the food to be cooked is not according to the recipe, the sensory degree of the final dish can be made closer to the sensory degree desired by the cooker. As a result, the cook can properly control the sensory quality of the dish without having to adjust cooking parameters.
- FIG. 11 is a flowchart showing an example of the processing operation of the server 100.
- Step S110 First, the input acquisition unit 1031 of the server 100 acquires the dish information and the target sensory information 131 a from the operation terminal 200 via the server communication unit 105 .
- Step S120 The parameter acquisition unit 1032 derives initial cooking parameter information 141 using the cooking information and the target sensory information 131a.
- Step S130 The parameter output unit 1037 transmits the initial cooking parameter information 141 acquired in step S120 to the cooking appliance 300 via the server communication unit 105.
- Step S140 The processing unit 1035 acquires cooking status information 121 from the cooking appliance 300 via the server communication unit 105 , and stores the cooking status information 121 in the second storage unit 120 .
- Step S150 The sensory information acquisition unit 1033 derives sensory information during cooking using the cooking state information 121 acquired in step S140.
- Step S160 After the process of step S150, the parameter correction unit 1034 determines whether or not a plurality of pieces of sensory information during cooking have been derived. That is, the parameter correction unit 1034 determines whether or not the first sensory information 131b and the second sensory information 131c have been derived.
- the processing unit 1035 and the sensory information acquisition unit 1033 repeatedly execute the processes of steps S140 and S150. That is, the sensory information acquisition unit 1033 acquires the first sensory information 131b and the second sensory information 131c by repeating the process of step S150.
- the sensory information acquisition unit 1033 acquires the sensory information during cooking at the time when the first time has elapsed since the start of cooking by the cooking appliance 300 as the first sensory information 131b. Furthermore, the sensory information acquisition unit 1033 acquires, as second sensory information 131c, sensory information during cooking at a second time point after the first time has elapsed since the start of cooking by the cooking appliance 300.
- the first time point corresponds to time t1 in Fig. 10
- the second time point corresponds to time t2 in Fig. 10.
- Step S170 On the other hand, when the parameter correction unit 1034 determines that a plurality of pieces of in-cooking sensory information have been derived in the process of step S160 (Yes in step S160), the parameter correction unit 1034 calculates the difference between the pieces of in-cooking sensory information. In other words, the parameter correction unit 1034 calculates the difference between the first sensory information 131b and the second sensory information 131c.
- the parameter correction unit 1034 derives modified cooking parameter information 142 using the target sensory information 131a acquired in step S110 and the difference calculated in step S170.
- the modified cooking parameter information 142 is information for bringing one or more numerical values related to the sensory of the final dish closer to one or more numerical values indicated in the target sensory information 131a.
- the parameter correction unit 1034 in this embodiment changes the initial cooking parameter information 141 to the modified cooking parameter information 142 based on the difference between the first sensory information 131b and the second sensory information 131c and the target sensory information 131a.
- the initial cooking parameter information 141 is modified to the modified cooking parameter information 142 based on the amount of change in the sensory information during cooking and the target sensory information 131a. Therefore, by taking into account the tendency of the sensory level to change due to cooking according to the initial cooking parameter information 141, the sensory level of the final dish can be effectively brought closer to the sensory level desired by the cook.
- Step S190 The parameter output unit 1037 transmits the modified cooking parameter information 142 derived in step S180 to the operation terminal 200 and the cooking appliance 300 via the server communication unit 105.
- the parameter output unit 1037 may transmit only the modified cooking parameter of time included in the modified cooking parameter information 142 to the operation terminal 200.
- Step S200 The sensory information acquisition unit 1033 derives third sensory information 131d using the modified cooking parameter information 142 derived in step S180. That is, the sensory information acquisition unit 1033 acquires, based on the modified cooking parameter information 142, third sensory information 131d indicating one or more numerical values related to the sensory properties of the dish obtained by cooking with the cooker 300 in accordance with the modified cooking parameter information 142.
- Step S210 The parameter output unit 1037 transmits the third sensory information 131d derived in step S200 to the operation terminal 200 via the server communication unit 105.
- the third sensory information 131d is displayed on the display unit 202 of the operation terminal 200.
- information indicating the sensory level of the final dish is estimated as third sensory information 131d. Then, the third sensory information 131d is presented to the cook. As a result, the cook can confirm whether or not a dish with the sensory level desired by the cook is being prepared, or how close the sensory level of the final dish is to the desired level.
- FIG. 12 is a flowchart showing in detail a portion of the processing operation of server 100. Specifically, FIG. 12(a) is a flowchart showing the detailed processing of step S120 in FIG. 11, FIG. 12(b) is a flowchart showing the detailed processing of step S150 in FIG. 11, FIG. 12(c) is a flowchart showing the detailed processing of step S180 in FIG. 11, and FIG. 12(d) is a flowchart showing the detailed processing of step S200 in FIG. 11.
- the parameter acquisition unit 1032 executes, for example, the processing of steps S121 to S123 shown in FIG. 12(a).
- Step S121 The parameter acquisition unit 1032 reads out the first learning model 151 corresponding to the dish information from the model storage unit 150. That is, the parameter acquisition unit 1032 reads out the first learning model 151 included in the learning model set 150a corresponding to the dish name indicated by the dish information from the model storage unit 150.
- Step S122 The parameter acquisition unit 1032 inputs the target sensory information 131a to the first learning model 151 read out in step S121.
- Step S123 The parameter acquisition unit 1032 acquires the initial cooking parameter information 141 output from the first learning model 151 through the input in step S122. As a result, the initial cooking parameter information 141 is derived.
- the sensory information acquisition unit 1033 executes the processes of steps S151 to S153 shown in FIG. 12(b), for example.
- Step S151 The sensory information acquisition unit 1033 reads out the second learning model 152 corresponding to the dish information from the model storage unit 150. That is, the sensory information acquisition unit 1033 reads out the second learning model 152 included in the learning model set 150a corresponding to the dish name indicated by the dish information from the model storage unit 150.
- Step S152 The sensory information acquisition unit 1033 inputs the latest cooking state information 121 to the read second learning model 152.
- Step S153 The sensory information acquisition unit 1033 acquires the sensory information 131 output from the second learning model 152 as sensory information during cooking based on the input in step S152. In this way, the sensory information during cooking is derived.
- the sensory information acquisition unit 1033 in this embodiment acquires sensory information during cooking by inputting an image of the food being cooked, the weight of the food being cooked, and the amount of chemical components contained in the food being cooked into the second learning model 152 while cooking is being performed by the cooking appliance 300.
- the second learning model 152 is used to acquire sensory information during cooking, so that sensory information during cooking with high accuracy can be acquired.
- the image of the food to be cooked, the weight of the food to be cooked, and the amount of chemical components contained in the food to be cooked are included in the cooking state information 121 as image data 121a, weight data 121c, and chemical analysis data 121b.
- the image data 121a, weight data 121c, and chemical analysis data 121b are input to the second learning model 152, but only one of the image data 121a, chemical analysis data 121b, and weight data 121c, or only two of the image data 121a, chemical analysis data 121b, and weight data 121c may be input to the second learning model 152.
- at least one of the image data 121a, weight data 121c, and chemical analysis data 121b may be input to the second learning model 152. Even in such a case, highly accurate sensory information during cooking can be obtained.
- the parameter modification unit 1034 executes, for example, the processes of steps S181 to S184 shown in FIG. 12(c).
- Step S181 The parameter correction unit 1034 reads out the third learning model 153 corresponding to the dish information from the model storage unit 150. That is, the parameter correction unit 1034 reads out the third learning model 153 included in the learning model set 150a corresponding to the dish name indicated by the dish information from the model storage unit 150.
- Step S182 The parameter correction unit 1034 inputs the difference in the sensory information during cooking and the target sensory information 131a to the read third learning model 153.
- Step S183 The parameter correction unit 1034 acquires a plurality of candidates output from the third learning model 153 through the input in step S182. Each of the plurality of candidates is a candidate for the corrected cooking parameter information 142.
- Step S184 The parameter modification unit 1034 selects, from the multiple candidates acquired in step S183, a candidate that is closest to the initial cooking parameter information 141 as the modified cooking parameter information 142. In this way, the modified cooking parameter information 142 is derived.
- the parameter modification unit 1034 in this embodiment obtains multiple candidates for the modified cooking parameter information 142 based on the target sensory information 131a and the sensory information during cooking. Then, the parameter modification unit 1034 selects a candidate that is closest to the initial cooking parameter information 141 from the multiple candidates as the modified cooking parameter information 142. Alternatively, the parameter modification unit 1034 may select a candidate from the multiple candidates whose difference from the initial cooking parameter information 141 is equal to or less than a threshold as the modified cooking parameter information 142. For example, each of the multiple candidates is expressed as a vector including a cooking parameter of pressure, a cooking parameter of temperature, and a cooking parameter of time.
- the initial cooking parameter information 141 is also expressed as a vector including a cooking parameter of pressure, a cooking parameter of temperature, and a cooking parameter of time. Therefore, the parameter modification unit 1034 may calculate the distance between each vector of the multiple candidates and the vector of the initial cooking parameter information 141, and select a candidate from the multiple candidates whose distance is equal to or less than a threshold or the smallest as the modified cooking parameter information 142. Furthermore, among the multiple candidates, a candidate in which, for example, one or two predetermined cooking parameters are the same as the initial cooking parameter information 141 and only the remaining two or one cooking parameter is different from the initial cooking parameter information 141 may be selected as the modified cooking parameter information 142. The one or two predetermined cooking parameters may be a cooking parameter for temperature, a cooking parameter for pressure, etc.
- the modified cooking parameter information 142 As a result, even if multiple candidates are output from the third learning model 153, a candidate that does not differ significantly from the initial cooking parameter information 141 is adopted as the modified cooking parameter information 142. This reduces the processing burden on the cooker 300 associated with modifying the initial cooking parameter information 141. It also prevents the taste of the dish from changing significantly.
- the sensory information acquisition unit 1033 executes, for example, the processing of steps S201 to S203 shown in FIG. 12(d).
- Step S201 The sensory information acquisition unit 1033 reads out the fourth learning model 154 corresponding to the dish information from the model storage unit 150. That is, the sensory information acquisition unit 1033 reads out the fourth learning model 154 included in the learning model set 150a corresponding to the dish name indicated by the dish information from the model storage unit 150.
- Step S202 The sensory information acquisition unit 1033 inputs the second sensory information 131c and the modified cooking parameter information 142 to the read fourth learning model 154.
- Step S203 The sensory information acquisition unit 1033 acquires the sensory information 131 output from the fourth learning model 154 by the input in step S202 as the third sensory information 131d. In this way, the third sensory information 131d is derived.
- the sensory information acquisition unit 1033 in this embodiment acquires the third sensory information 131d by inputting at least the modified cooking parameter information 142 into the fourth learning model 154.
- FIG. 13 is a flowchart showing an example of constructing the first learning model 151.
- Step S301 First, the model creator generates multiple sets of cooking parameter information for a given dish.
- the cooking parameter information indicates one or more cooking parameters used in cooking section 320 of cooker 300.
- Step S302 the model creator creates a sample dish (also called a dish sample) by cooking according to each of the multiple sets of cooking parameter information using the cooking appliance 300.
- the cooking appliance 300 cooks one or more ingredients indicated by the recipe information corresponding to the specified dish.
- Step S303 For each food sample created in step S302, the model creator evaluates the sensory state of the food sample.
- the sensory state includes one or more sensory indices of the food sample.
- the sensory indices may be evaluated by multiple people. For example, each of the multiple people tastes the food sample and evaluates the sensory indices of the food sample. Then, an average value of the multiple sensory indices obtained by the evaluations by the multiple people may be used as the final sensory indices of the food sample.
- Step S304 The model creator selects a machine learning algorithm for constructing a first learning model 151 for the specified dish.
- Step S305 The model creator causes the learning model to learn the relationship between the sensory state associated with the above-mentioned predetermined dish and the cooking parameter information in accordance with the machine learning algorithm selected in step S304.
- Step S306 The model creator verifies the learned learning model in the process of step S305. That is, the model creator verifies whether or not correct cooking parameter information is output from the learning model as the initial cooking parameter information 141 when sensory information indicating a sensory state is input to the learning model.
- the verified learning model is stored in the model storage unit 150 of the server 100 as a first learning model 151 corresponding to a specific dish.
- the correct cooking parameter information is information that allows the dish with the sensory state input to the learning model to actually be made by cooking according to the cooking parameter information.
- FIG. 14 is a flowchart showing an example of constructing the second learning model 152.
- Step S311 the model creator generates multiple sets of recipe information for a given dish.
- the recipe information indicates one or more ingredients used in the given dish and the amounts of each of the one or more ingredients.
- Step S312 Next, for each of the multiple sets of recipe information, the model creator creates a dish sample by cooking according to the recipe information using the cooking appliance 300. Note that this dish sample may be a sample taken at the time when the first time period or the second time period has elapsed since the start of cooking.
- Step S313 The model creator identifies the cooking state of each dish sample created in step S312. That is, the model creator captures an image of the dish sample using a camera to obtain image data, analyzes the dish sample using a chemical analyzer to obtain chemical analysis data, and uses a weighing scale to obtain weight data of the dish sample. In this way, the image data, chemical analysis data, and weight data are identified as the cooking state of the dish sample.
- Step S314 For each food sample created in step S312, the model creator measures the sensory state of the food sample, i.e., one or more sensory dimensions that the food sample possesses.
- Step S315) The model creator selects a machine learning algorithm for constructing a second learning model 152 for the specified cuisine.
- Step S316 The model creator trains the learning model to learn the relationship between the cooking state and the sensory state according to the machine learning algorithm selected in step S315.
- Step S317) The model creator verifies the learned learning model in the process of step S316. That is, the model creator verifies whether or not cooking state information indicating a cooking state is input to the learning model and the learning model outputs sensory information indicating a correct sensory state.
- the verified learning model is stored in the model storage unit 150 of the server 100 as a second learning model 152 corresponding to a specific dish.
- the correct sensory state is the actual sensory state of the dish sample in the cooked state input to the learning model.
- the second learning model 152 in this embodiment is machine-trained so that, in response to input of an image of one or more ingredients being cooked in the cooking appliance 300, the weight of one or more ingredients, and the amount of chemical components contained in the one or more ingredients, one or more numerical values related to the sensory properties of the one or more ingredients are output.
- the one or more numerical values related to the sensory properties of the one or more ingredients correspond to the sensory state or sensory information 131 described above.
- the image, weight, and amount of chemical components of the one or more ingredients correspond to the image data 121a, weight data 121c, and chemical analysis data 121b described above, respectively, and these data represent the cooking state of the above-mentioned cooking sample.
- the image, weight, and amount of chemical components are input to the learning model, but only one of the image, weight, and amount of chemical components, or only two of the image, weight, and amount of chemical components, may be input to the learning model.
- the second learning model 152 may be machine-trained to output sensory information indicating the sensory state of one or more ingredients in response to at least one input of an image, weight, and amount of chemical components of the one or more ingredients.
- the sensory information acquisition unit 1033 inputs at least one of the image data 121a, weight data 121c, and chemical analysis data 121b of the food to be cooked into the second learning model 152, highly accurate sensory information during cooking can be acquired from the second learning model 152.
- FIG. 15 is a flowchart showing an example of constructing the third learning model 153.
- Step S321 the model creator generates multiple sets of cooking parameter information for a given dish.
- Step S322 Next, for each of the multiple sets of cooking parameter information, the model creator starts cooking a dish sample using the cooking appliance 300 in accordance with the cooking parameter information.
- Step S323 After cooking is started in step S322, the model creator measures the sensory state of each dish sample at two time points. Then, the model creator calculates difference information based on the sensory states measured at the two time points. Note that the two time points are time points when cooking is being performed by the cooking appliance 300. In other words, the measured sensory state is the sensory state during cooking. The two time points may be the above-mentioned first time point and second time point.
- Step S324 the model creator modifies the cooking parameter information in a plurality of ways during cooking. That is, the model creator stops cooking according to the cooking parameter information before the modification and starts cooking according to the cooking parameter information after the modification.
- Step S325) For each dish sample created using the modified cooking parameter information, the model creator measures the sensory state of the dish sample, i.e., one or more sensory indices of the dish sample, The sensory state measured at this time is the final sensory state after cooking.
- Step S326 The model creator selects a machine learning algorithm for constructing a third learning model 153 for the specified dish.
- Step S327 The model creator trains the learning model to learn the relationship between the difference in sensory state during cooking calculated in step S323 and the final sensory state measured in step S325, and the corrected cooking parameter information, according to the machine learning algorithm selected in step S326.
- Step S328 The model creator verifies the learned learning model in the process of step S327. That is, the model creator verifies whether or not corrected cooking parameter information is output from the learning model as corrected cooking parameter information 142 when the sensory information indicating the difference in the sensory state during cooking and the final sensory state is input to the learning model.
- the verified learning model is stored in the model storage unit 150 of the server 100 as the third learning model 153.
- the corrected cooking parameter information is information that is actually required to make a dish with the final sensory state input to the learning model when the sensory state has changed like the difference in the sensory state input to the learning model.
- the learning model constructed in this way i.e., the third learning model 153, can acquire corrected cooking parameter information 142 that brings the sensory state during cooking closer to the target sensory information 131a.
- FIG. 16 is a flowchart showing an example of constructing the fourth learning model 154.
- Step S331 the model creator generates multiple sets of cooking parameter information for a given dish.
- Step S332 Next, for each of the multiple sets of cooking parameter information, the model creator starts cooking a dish sample using the cooking appliance 300 in accordance with the cooking parameter information.
- Step S333 Then, after cooking is started in step S332, the model creator measures the sensory state of each cooking sample.
- the sensory state measured at this time is the sensory state during cooking.
- the model creator modifies the cooking parameter information in multiple ways during cooking. That is, the model creator stops cooking according to the cooking parameter information before the modification and starts cooking according to the cooking parameter information after the modification.
- the process of step S333 may be performed when the above-mentioned second time has elapsed since the start of cooking.
- the process of step S333 may be started when the above-mentioned second time has elapsed since the start of cooking.
- Step S334 For each dish sample created with the modified cooking parameter information, the model creator measures the sensory state of the dish sample, i.e., one or more sensory indices of the dish sample, which is the final sensory state after cooking.
- Step S335) The model creator selects a machine learning algorithm to build a fourth learning model 154 for the specified cuisine.
- Step S336 The model creator trains the learning model to learn the relationship between the final sensory state measured in step S334, the sensory state measured during cooking in step S333, and the corrected cooking parameter information according to the machine learning algorithm selected in step S335.
- Step S337) The model creator verifies the learned learning model in the process of step S336. That is, the model creator verifies whether or not the learning model outputs a correct final sensory state as the third sensory information 131d when the sensory information indicating the sensory state during cooking and the corrected cooking parameter information are input to the learning model.
- the learning model verified to output sensory information indicating the correct final sensory state is stored in the model storage unit 150 of the server 100 as the fourth learning model 154.
- the fourth learning model 154 in this embodiment is machine-trained so that, in response to the input of at least one or more cooking parameters that are changed during cooking by the cooking appliance 300, one or more numerical values related to the sensory state of the dish obtained by cooking by the cooking appliance 300 according to the one or more cooking parameters are output.
- the one or more corrected cooking parameters correspond to corrected cooking parameter information 142
- the one or more numerical values related to the sensory state of the dish are information indicating the final sensory state of the dish, and correspond to the third sensory information 131d.
- the correct final sensory state is the actual sensory state of the final dish sample obtained by cooking the dish sample in the sensory state during cooking input to the learning model according to the corrected cooking parameter information input to the learning model.
- the information processing system 1000 in this embodiment allows the cook to appropriately control the sensory quality of the dish without having to take the trouble of adjusting cooking parameters. Furthermore, the cook can appropriately grasp the sensory quality of the dish obtained by cooking. In other words, the cook can check whether or not a dish with the sensory quality desired by the cook is being prepared, or how close the sensory quality of the final dish is to what is desired.
- the operation terminal 200 in the above embodiment is a device independent of the cooking appliance 300, but may be incorporated into the cooking appliance 300.
- the functions used in the information processing system 1000 may be provided in the cooking appliance 300.
- the operation terminal 200 may be configured as a personal computer.
- the cook in the above embodiment may be a user who uses the information processing system 1000, or may be an operator of the operation terminal 200 or the cooking appliance 300.
- the server 100 in the above embodiment includes the first storage unit 110, the second storage unit 120, the third storage unit 130, the fourth storage unit 140, and the model storage unit 150, it is not necessary to include these recording media.
- the server 100 may use those recording media by communicating with a device that is external to the server 100 and has those recording media.
- the server 100 in the above embodiment acquires cooking parameter information including one or more cooking parameters used in cooking by the cooker 300 based on the dish information and the target sensory information 131a. That is, the server 100 acquires the initial cooking parameter information 141. However, the server 100 does not have to acquire the initial cooking parameter information 141. In this case, the server 100 acquires sensory information during cooking of the food to be cooked when the food to be cooked is being cooked by the cooker 300 according to the basic cooking parameter information 113. Alternatively, the server 100 may acquire the initial cooking parameter information 141 generated by the cooker 300.
- control method is a control method executed by a computer to control a cooker that cooks food to be cooked, and may perform the following processing operations. That is, the control method obtains cooking information indicating a dish obtained by cooking the food to be cooked, obtains cooking parameter information including one or more cooking parameters used in cooking by the cooker based on the obtained cooking information, and obtains target sensory information indicating a target value for one or more sensory values.
- the control method obtains during-cooking sensory information indicating one or more sensory values of the food to be cooked when the food to be cooked is cooked by the cooker according to the cooking parameter information, changes the cooking parameter information to modified cooking parameter information including one or more modified cooking parameters based on the target sensory information and the during-cooking sensory information, and outputs a control signal including the modified cooking parameter information.
- the cooking parameter information may be basic cooking parameter information 113 or initial cooking parameter information 141, and may be obtained from the cooker 300.
- the control signal may also be output or transmitted to the cooker 300. Even with such a control method, it is possible to achieve the same effect as the control method in the above embodiment.
- each component may be configured with dedicated hardware, or may be realized by executing a software program suitable for each component.
- Each component may be realized by a program execution unit such as a CPU or processor reading and executing a software program recorded on a recording medium such as a hard disk or semiconductor memory.
- a program for realizing a system such as the server 100 and the operation terminal 200 in the above embodiment may cause a processor to execute, for example, each step included in the sequence diagram of FIG. 10.
- a program for realizing the server 100 in the above embodiment may cause a processor to execute each step included in the respective flow charts of FIGS. 11 and 12.
- the above-mentioned server 100 or operation terminal 200 may be configured by a computer system including a microprocessor, ROM, RAM, a hard disk drive, a display unit, a keyboard, and a mouse.
- a program is stored in the RAM or the hard disk drive.
- the microprocessor operates according to the program, causing the server 100 or operation terminal 200 to achieve its function.
- the program is configured by combining a plurality of instruction codes that indicate commands to a computer to achieve a predetermined function.
- a system LSI is an ultra-multifunctional LSI manufactured by integrating multiple components on a single chip, and specifically, is a computer system comprising a microprocessor, ROM, RAM, etc.
- a computer program is stored in the RAM. The system LSI achieves its functions when the microprocessor operates in accordance with the computer program.
- IC card or module may be composed of an IC card or a standalone module that can be attached to and detached from a computer.
- the IC card or module is a computer system composed of a microprocessor, ROM, RAM, etc.
- the IC card or module may include the above-mentioned ultra-multifunction LSI.
- the IC card or module achieves its functions when the microprocessor operates according to a computer program. This IC card or module may be tamper-resistant.
- the present disclosure may also be a control method or an information providing method executed by the above-mentioned server 100 or operation terminal 200. Furthermore, these methods may be realized by a computer executing a program, or may be realized by a digital signal consisting of a program.
- the present disclosure may be configured with a program or digital signal in a non-transitory computer-readable recording medium.
- recording media include flexible disks, hard disks, CD-ROMs, MOs, DVDs, DVD-ROMs, DVD-RAMs, BDs (Blu-ray (registered trademark) Discs), and semiconductor memories.
- the program may also be configured with the above digital signal recorded in a non-transitory recording medium.
- the present disclosure may also be configured by transmitting the above-mentioned program or digital signal via a telecommunications line, a wireless or wired communication line, a network such as the Internet, or data broadcasting, etc.
- the present disclosure also relates to a computer system having a microprocessor and a memory, the memory storing a program, and the microprocessor operating according to the program.
- the program or digital signal may also be implemented by another independent computer system by recording it on the non-transitory recording medium and transferring it, or by transferring the program or digital signal via the network or the like.
- a computer-implemented method comprising: (a) determining information including a first temperature based on information including a first sourness level specified by a user and information indicating one or more ingredients, whereby the cooking appliance starts cooking the one or more ingredients under first conditions from a first time to produce a dish having the first sourness level, the first conditions including the cooking appliance cooking the one or more ingredients at the first temperature; (b) determining a second sourness degree of the one or more ingredients cooked under the first conditions from the first time to the second time based on a first image of the one or more ingredients cooked under the first conditions from the first time to the second time, the first image being taken by a camera at a second time; (c) determining a third sourness degree of the one or more ingredients cooked under the first conditions from the first time to the third time based on a second image of the one or more ingredients cooked under the first conditions from the first time to the third time taken by a camera at a third time; (d) determining information including a second temperature
- the above (b) and (c) are supported, for example, by the second learning model and its associated description.
- the above (d) is supported, for example, by the third learning model and its related descriptions.
- the present disclosure has the effect of being able to appropriately control the sensory level of a dish, and is useful in systems or devices that control or provide information regarding cooking.
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Food Science & Technology (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- General Preparation And Processing Of Foods (AREA)
Abstract
目標官能情報を取得し(ステップS110)、取得された目標官能情報に基づいて、調理器による調理に用いられる初期調理パラメータ情報を取得し(ステップS120)、調理器による調理が行われているときの、被調理物の調理中官能情報を取得し(ステップS150)、目標官能情報および調理中官能情報に基づいて、初期調理パラメータ情報を、1以上の修正調理パラメータを含む修正調理パラメータ情報に変更し(ステップS180)、修正調理パラメータ情報を含む制御情報を出力する(ステップS190)、制御方法。
Description
本開示は、調理に関する制御方法、または調理に関する情報提供方法などに関する。
従来、調理の利便性を高める調理方法が、調理に関する制御方法として提案されている(例えば、特許文献1参照)。この調理方法では、調理食材の増減を示す増減情報を調理機器から取得し、その増減情報を熱量に換算し、その熱量に応じて調理機器の加熱時間を調整する。例えば、その増減情報は、カメラによる撮像によって得られる。これにより、調理食材の増減に伴ってユーザが加熱時間を調整する手間を省くことができる。
また、調理を支援するための調理支援システムが提案されている(例えば、特許文献2参照)。この調理支援システムは、スマートグラスとして構成されている。スマートグラスは、調理者による食材のカットによって生成された食材片のサイズを特定し、その食材片のサイズから、その食材片に最適な加熱調理時間を推定して表示する。つまり、スマートグラスを用いた調理に関する制御方法では、食材片のサイズの特定、および加熱調理時間の推定などが行われる。これにより、調理者がレシピと異なる大きさに食材をカットした場合であっても、調理者は、そのカットによって得られる食材片のサイズに適した加熱調理時間で簡単に調理を行うことができる。
しかしながら、上記各特許文献の制御方法では、調理によって得られる料理の例えば香ばしさの度合いなどの官能度合に関しては適切な制御ができていないという課題がある。
本開示は、料理の官能度合を適切に制御することができる制御方法などを提供する。
本開示の一態様に係る制御方法は、被調理物を調理する調理器を制御するためにコンピュータが実行する制御方法であって、前記被調理物の調理によって得られる料理の官能に関する1つ以上の数値に対する目標を示す目標官能情報を取得し、取得された前記目標官能情報に基づいて、前記調理器による調理に用いられる1以上の調理パラメータを含む調理パラメータ情報を取得し、前記調理器による調理が行われているときの、前記被調理物の前記官能に関する1つ以上の数値を示す調理中官能情報を取得し、前記目標官能情報および前記調理中官能情報に基づいて、前記調理パラメータ情報を、1以上の修正調理パラメータを含む修正調理パラメータ情報に変更し、前記修正調理パラメータ情報を含む制御信号を出力する。
なお、この包括的または具体的な態様は、装置、システム、集積回路、または、コンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD-ROM(Compact Disc-Read Only Memory)等の不揮発性の記録媒体を含む。コンピュータ読み取り可能な記録媒体は、非一時的な記録媒体であってもよい。
本開示によれば、料理の官能度合を適切に制御することができる。
なお、本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施の形態並びに明細書および図面に記載された構成によって提供されるが、必ずしも全ての構成が必要とはされない。
(本開示に至った知見)
調理者は、調理を行うときには、その調理によって得られる料理の香ばしさの度合いなどの官能度合に配慮する。料理は、例えばブイヨン、豚の角煮などである。官能度合は、人の鼻、舌などの器官が受ける刺激の度合いであって、例えば、香ばしさ、甘い香り、酸味、苦味、塩味などの度合いであってもよい。これらの官能度合によって、味、おいしさが表現される。
調理者は、調理を行うときには、その調理によって得られる料理の香ばしさの度合いなどの官能度合に配慮する。料理は、例えばブイヨン、豚の角煮などである。官能度合は、人の鼻、舌などの器官が受ける刺激の度合いであって、例えば、香ばしさ、甘い香り、酸味、苦味、塩味などの度合いであってもよい。これらの官能度合によって、味、おいしさが表現される。
調理を行う場合、その料理のレシピにしたがって1以上の食材などからなる被調理物を準備し、その被調理物を調理すれば、そのレシピに応じた官能度合を有する料理を作ることができる。
しかし、調理者は、レシピに記述されている官能度合とは異なる官能度合を希望する場合がある。また、調理者は、レシピに記述されている官能度合を希望したとしても、レシピどおりの正確な分量の食材を準備できない、レシピどおりの分量比率で各食材を準備できない、あるいは、レシピどおりの分量比率で各食材を準備したとしても、調理過程で官能度合が変動する場合がある。このような場合、被調理物を調理する調理器に対して、調理器の温度、圧力、時間などを、調理者の希望に沿って適切に設定することは困難である。
そこで、本開示の第1態様に係る制御方法は、被調理物を調理する調理器を制御するためにコンピュータが実行する制御方法であって、前記被調理物の調理によって得られる料理の官能に関する1つ以上の数値に対する目標を示す目標官能情報を取得し、取得された前記目標官能情報に基づいて、前記調理器による調理に用いられる1以上の調理パラメータを含む調理パラメータ情報を取得し、前記調理器による調理が行われているときの、前記被調理物の前記官能に関する1つ以上の数値を示す調理中官能情報を取得し、前記目標官能情報および前記調理中官能情報に基づいて、前記調理パラメータ情報を、1以上の修正調理パラメータを含む修正調理パラメータ情報に変更し、前記修正調理パラメータ情報を含む制御信号を出力する。なお、官能に関する1以上の数値のそれぞれは、官能度合あるいは官能評価値とも呼ばれ、例えば、香ばしさ、甘い香り、酸味、苦味、塩味などの度合いであってもよい。
これにより、例えば調理者が希望する目標官能情報が取得され、それに基づいて調理パラメータ情報が例えば初期調理パラメータ情報として取得される。そして、例えば、その調理パラメータ情報の調理器への送信によって、その調理パラメータ情報にしたがった調理が調理器によって開始される。その後、調理器に用いられている調理パラメータ情報は、調理が行われているときの被調理物の官能に関する1つ以上の数値(すなわち官能度合)によって変更される。そのため、修正調理パラメータ情報にしたがった調理によって、最終的に作られる料理の官能度合を、目標官能情報によって示される官能度合に近づけることができる。言い換えれば、最終的に作られる料理の官能度合などを、調理者が希望する官能度合に近づけることができる。すなわち、調理者が希望する官能度合が、基本とされるレシピに記述されている官能度合と異なっていても、あるいは、被調理物の分量がそのレシピどおりでなくても、最終的な料理の官能度合を、調理者が希望する官能度合に近づけることができる。その結果、調理者がわざわざ調理パラメータを調整することなく、料理の官能度合を適切に制御することができる。
また、第1態様に従属する第2態様に係る制御方法において、前記調理中官能情報の取得では、前記調理器による調理開始から第1時間経過時点における前記調理中官能情報を、第1官能情報として取得し、前記調理器による調理開始から前記第1時間経過後の第2時間経過時点における前記調理中官能情報を、第2官能情報として取得し、前記調理パラメータ情報の変更では、前記第1官能情報と前記第2官能情報との差分と、前記目標官能情報とに基づいて、前記調理パラメータ情報を前記修正調理パラメータ情報に変更してもよい。
これにより、調理中官能情報の変化量と、目標官能情報とに基づいて、調理パラメータ情報が修正調理パラメータ情報に変更される。したがって、調理パラメータ情報にしたがった調理による官能度合の変化傾向を考慮することによって、最終的な料理の官能度合を、調理者が希望する官能度合に効果的に近づけることができる。なお、第1時間は、0時間であってもよい。この場合、第1官能情報は、調理の開始時点における被調理物の官能に関する1つ以上の数値を示す。
また、第1態様または第2態様に従属する第3態様に係る制御方法では、さらに、前記調理器による前記修正調理パラメータ情報にしたがった調理によって得られる前記料理の前記官能に関する1つ以上の数値を示す第3官能情報を取得してもよい。
これにより、最終的に作られる料理の官能度合を示す情報が、第3官能情報として推定される。したがって、例えば、その第3官能情報を調理者に提示することによって、調理者は、調理者が希望する官能度合を有する料理が作られるか否か、または、最終的に作られる料理の官能度合が希望にどれだけ近いかを確認することができる。
また、第1態様から第3態様の何れか1つに従属する第4態様に係る制御方法において、前記調理パラメータ情報の変更では、前記目標官能情報および前記調理中官能情報に基づいて、前記修正調理パラメータ情報の複数の候補を取得し、前記複数の候補から、前記調理パラメータ情報との差分が閾値以下である候補、または、前記調理パラメータ情報に最も近い候補を、前記修正調理パラメータ情報として選択してもよい。
これにより、例えば目標官能情報および調理中官能情報の学習モデルへの入力によって、新たな複数の調理パラメータ情報がそれぞれ候補として出力される場合であっても、元の調理パラメータ情報(すなわち初期調理パラメータ情報)と大きく異ならない候補が修正調理パラメータ情報として採用される。したがって、調理パラメータ情報の変更に伴う調理器の処理負担を軽減することができる。
また、第3態様に従属する第5態様に係る制御方法において、前記第3官能情報の取得では、少なくとも前記修正調理パラメータ情報を学習モデルに入力することによって、前記第3官能情報を取得し、前記学習モデルは、少なくとも、前記調理器による調理中に変更された1以上の調理パラメータの入力に対して、前記1以上の調理パラメータにしたがった前記調理器による調理によって得られる前記料理の前記官能に関する1つ以上の数値が出力されるように機械学習されていてもよい。
これにより、第3官能情報の取得に学習モデルが用いられるため、確度の高い第3官能情報を取得することができる。
また、第1態様から第5態様の何れか1つに従属する第6態様に係る制御方法において、前記調理中官能情報の取得では、前記調理器による調理が行われているときの、前記被調理物の画像、前記被調理物の重量、および前記被調理物に含まれる化学成分の分量の少なくとも1つを学習モデルに入力することによって、前記調理中官能情報を取得してもよい。
これにより、調理中官能情報の取得に学習モデルが用いられるため、確度の高い調理中官能情報を取得することができる。
また、第6態様に従属する第7態様に係る制御方法では、前記学習モデルは、前記調理器で調理されている1以上の食材の画像、前記1以上の食材の重量、および前記1以上の食材に含まれる化学成分の分量の少なくとも1つの入力に対して、前記1以上の食材の前記官能に関する1つ以上の数値が出力されるように機械学習されていてもよい。
これにより、被調理物の画像、被調理物の重量、および被調理物に含まれる化学成分の分量の少なくとも1つが、機械学習済みの学習モデルに入力されると、その学習モデルから、確度の高い調理中官能情報を取得することができる。
また、第1態様から第7態様の何れか1つに従属する第8態様に係る制御方法では、前記1以上の調理パラメータは、前記調理器による調理に用いられる温度を示すパラメータと、前記調理器による調理に用いられる時間を示すパラメータとを含んでもよい。
これにより、例えば焼き調理によって得られる料理の官能を適切に制御することができる。
また、第8態様に従属する第9態様に係る制御方法では、前記1以上の調理パラメータは、さらに、前記調理器による調理に用いられる圧力を示すパラメータを含んでもよい。
これにより、例えば圧力をかけた蒸し料理または茹で料理などによって得られる料理の官能を適切に制御することができる。
また、本開示の一態様に係る情報提供方法は、調理器による被調理物の調理に関する情報をコンピュータが提供する情報提供方法であって、ユーザによる操作に応じて、前記被調理物の調理によって得られる料理の官能に関する1つ以上の数値に対する目標を示す目標官能情報を受け付け、前記目標官能情報と、前記調理器による前記被調理物に対する調理が行われているときの、前記被調理物の前記官能に関する1つ以上の数値を示す調理中官能情報とに基づいて導出される、前記料理の前記官能に関する最終官能情報を出力する。
これにより、例えばコンピュータのユーザである調理者が希望する料理を示す料理情報と、その調理者が希望する目標官能情報とが受け付けられると、それらの情報に応じて最終的に作られる料理の官能(すなわち官能度合)を、調理者に提示することができる。提示される料理の官能は、数値として提示されてもよく、レーダーチャートとして提示されてもよく、星の数として提示されてもよい。したがって、調理者は、調理によって得られる料理の官能を適切に把握することができる。つまり、調理者は、調理者が希望する官能度合を有する料理が作られるか否か、または、最終的に作られる料理の官能度合が希望にどれだけ近いかを確認することができる。
なお、上記制御方法および情報提供方法に含まれる処理動作はコンピュータによって実行される。
以下、本開示の実施の形態について、図面を参照しながら説明する。以下に説明する実施の形態は、いずれも本開示の一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態などは、一例であって本開示を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化する。上記の制御方法および情報提供方法の作用効果はシステムおよびプログラムにおいても同様に実現される。
(実施の形態1)
[情報処理システムの全体構成]
図1は、本実施の形態における情報処理システム1000の構成の一例を示す図である。
[情報処理システムの全体構成]
図1は、本実施の形態における情報処理システム1000の構成の一例を示す図である。
情報処理システム1000は、例えばインターネットなどの通信ネットワークを介して互いに接続されたサーバ100と、操作端末200と、調理器300とを備える。
調理器300は、1以上の食材などからなる被調理物の調理によって料理を作る機器であって、圧力、温度、および時間をそれぞれ調理パラメータとして調整することによって、その調理を行う。本実施の形態では、一例として、調理器300は、圧力鍋として構成されている。
なお、調理器300によって調整可能な調理パラメータの数は、3つに限らず、1つまたは2つであってもよく、4つ以上であってもよい。また、調理器300は、被調理物を煮たり、蒸したりする機器であってもよく、IH(Induction Heating)調理器であってもよく、温度調整可能な容器であってもよい。温度調整な容器は、温度および時間を制御することによって、醤油、味噌などの発酵および熟成を調理として行う。
また、調理器300は、臨界点(温度が374℃であって、かつ圧力が22MPaである点)の少し前の領域にある液体または気体を用いた調理器であってもよい。このような液体(例えば、水)または気体は、例えば、0.2MPaを超える圧力と120℃を超える温度とを有する。この調理器のタイプには、圧力鍋型、過熱水蒸気型、フライパン型などがある。圧力鍋型の調理器は、密閉系で温度および圧力を独立して制御することができ、当該液体を利用して茹で調理、煮込み調理などを行う。過熱水蒸気型の調理器は、密閉系または解放系で温度および圧力の少なくとも温度を制御可能なユニットから当該気体(例えば、水蒸気)を被調理物に噴射し、蒸し調理、焼き調理などを行う。フライパン型の調理器は、IH調理器と、そのIH調理器上に載置されたフライパンとを含み、温度および時間を制御することによって焼き調理を行う。このような液体または気体を用いた調理では、加水分解反応を促進することができる。
操作端末200は、例えばスマートフォンまたはタブレット端末として構成されている。このような操作端末200は、調理器300による調理を行うために調理者によって操作される。調理者は調理器300を利用するユーザであってもよい。
サーバ100は、調理者による操作端末200への入力操作に応じて、調理器300を制御する。つまり、サーバ100は、被調理物を調理する調理器300を制御する制御方法を実行するコンピュータである。言い換えれば、サーバ100は、被調理物を調理する調理器300を制御する制御システムである。
[サーバ、操作端末、調理器の構成]
図2は、操作端末200および調理器300の機能構成の一例を示すブロック図である。
図2は、操作端末200および調理器300の機能構成の一例を示すブロック図である。
操作端末200は、調理器300による被調理物の調理に関する情報を提供する情報提供方法を実行するコンピュータであって、入力部201、表示部202、端末制御部203、端末記憶部204、および端末通信部205を備える。このような操作端末200は、調理器300による被調理物の調理に関する情報を提供する情報提供システムであるとも言える。
表示部202は、画像を表示するデバイスであって、例えば液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイなどである。なお、表示部202は、これらに限定されるものではなく、画像を表示し得るデバイスであればどのようなデバイスであってもよい。また、本実施の形態における表示部202は、調理に関する情報を出力する出力部であるとも言える。なお、本実施の形態では、表示部202が、調理に関する情報を出力する出力部の一例として操作端末200に備えられているが、その情報を音声によって出力する音声出力部(例えばスピーカなど)が出力部として備えられていてもよい。また、表示部202および音声出力部の双方が出力部として備えられていてもよい。
入力部201は、例えば表示部202に配設され、その表示部202に表示されるアイコンなどの画像に調理者が触れることによって、その画像に対応する入力操作を受け付けるタッチセンサとして構成されている。また、入力部201は、ボタンを備え、調理者がそのボタンを押下することによって、そのボタンに対応する入力操作を受け付けてもよい。
端末通信部205は、無線または有線を介して調理器300と通信する。無線通信は、Wi-Fi(登録商標)、Bluetooth(登録商標)、ZigBee(登録商標)、または特定小電力無線で行われてもよい。さらに、端末通信部205は、上述の通信ネットワークを介してサーバ100と通信する。なお、端末通信部205は、サーバ100と直接通信してもよく、調理器300を介してサーバ100と通信してもよい。
端末記憶部204は、各種情報、データ、プログラムなどを格納するための記録媒体である。このような端末記憶部204は、ハードディスクドライブ、RAM(Random Access Memory)、ROM(Read Only Memory)、または半導体メモリなどである。なお、端末記憶部204は、揮発性であっても不揮発性であってもよい。
端末制御部203は、例えば端末記憶部204に格納されているプログラムを読み出して実行することによって、入力部201、表示部202、および端末通信部205などを制御する。
調理器300は、調理制御部303、調理記憶部304、調理通信部305、調理状態取得部310、および調理部320を備える。
調理部320は、温度、圧力、および時間などの3つの調理パラメータを含む調理パラメータ情報にしたがって、1以上の食材などからなる被調理物に対して物理的な作用を与えることによって、その被調理物の調理を行う。このような調理部320は、圧力調整部321と、温度調整部322と、時間調整部323とを備える。
圧力調整部321は、圧力を示す調理パラメータにしたがって、被調理物に対して与えられる圧力を調整する。温度調整部322は、温度を示す調理パラメータにしたがって、被調理物に対して与えられる温度を調整する。時間調整部323は、時間を示す調理パラメータにしたがって、圧力調整部321および温度調整部322によって調整される圧力または温度の持続時間を調整する。
調理状態取得部310は、被調理物の状態を示す調理状態情報を取得する。このような調理状態取得部310は、重量測定部311と、撮像部312と、化学分析部313とを備える。重量測定部311は、調理器300に配置されている被調理物の重量を測定する。そして、重量測定部311は、その測定された重量を示す重量データを出力する。撮像部312は、例えばカメラであって、調理器300に配置されている被調理物を撮像する。そして、撮像部312は、その被調理物の撮像によって得られる画像データを出力する。撮像部312は、例えば、耐水性を有し、暗所性能の高い画像センサである。化学分析部313は、例えば液体クロマトグラフ法、ガスクロマトグラフ法などによって、調理器300に配置されている被調理物の化学成分を分析する。そして、化学分析部313は、その化学成分の分析によって得られる化学分析データを出力する。なお、化学分析部313は、上記各クロマトグラフ法に限らず、エーテル抽出法など、他の方法を用いて被調理物の化学成分を分析してもよい。また、化学分析部313は、例えば、においセンサによって検出された情報に基づいて、調理器300に配置されている被調理物の化学成分を分析してもよい。当該においセンサは、複数のにおい検出素子を含む。具体的には、当該においセンサは、第1におい検出素子~第nにおい検出素子を含む(nは2以上の整数)。第1におい検出素子~第nにおい検出素子の出力信号を機械学習・解析にかけることにより、被調理物に含まれる1または複数の化学成分、及び、当該1または複数の化学成分のそれぞれの分量、を決定してもよい。
調理状態情報は、上述の重量データ、画像データおよび化学分析データを含む。
調理通信部305は、無線または有線を介して操作端末200と通信する。無線通信は、上述のとおり、Wi-Fi、Bluetoothなどで行われてもよい。さらに、調理通信部305は、上述の通信ネットワークを介してサーバ100と通信する。なお、調理通信部305は、サーバ100と直接通信してもよく、操作端末200を介してサーバ100と通信してもよい。
調理記憶部304は、各種情報、データ、プログラムなどを格納するための記録媒体である。このような調理記憶部304は、端末記憶部204と同様、ハードディスクドライブ、RAM、ROMなどである。なお、調理記憶部304は、揮発性であっても不揮発性であってもよい。
調理制御部303は、例えば調理記憶部304に格納されているプログラムを読み出して実行することによって、調理通信部305、調理状態取得部310、および調理部320などを制御する。
なお、本実施の形態における調理器300は、3つの調理パラメータにしたがって調理を行うが、1つまたは2つの調理パラメータにしたがって調理を行ってもよく、4つ以上の調理パラメータにしたがって調理を行ってもよい。
図3は、サーバ100の機能構成の一例を示すブロック図である。
サーバ100は、被調理物を調理する調理器300を制御するコンピュータであって、サーバ制御部103、サーバ記憶部104、サーバ通信部105、第1記憶部110、第2記憶部120、第3記憶部130、第4記憶部140、およびモデル格納部150を備える。サーバ記憶部104、第1記憶部110、第2記憶部120、第3記憶部130、第4記憶部140、およびモデル格納部150は、それぞれ記録媒体であって、端末記憶部204および調理記憶部304と同様、ハードディスクドライブ、RAM、ROMなどである。また、これらの記録媒体は、揮発性であっても不揮発性であってもよい。このようなサーバ100は、制御システムとも呼ばれる。
第1記憶部110は、料理リスト情報111、レシピ情報112、基本調理パラメータ情報113、および基本官能情報114を格納している。料理リスト情報111は、複数の料理のそれぞれの名称(以下、料理名と呼ばれる)を示す。レシピ情報112は、料理リスト情報111によって示される料理名ごとに、その料理名の料理に用いられる1以上の材料(食材とも呼ばれる)と、1以上の材料のそれぞれの分量とを示す。基本調理パラメータ情報113は、料理リスト情報111によって示される料理名ごとに、その料理名の料理を作るために調理器300の調理部320に用いられる1以上の基本的な調理パラメータを示す。基本官能情報114は、料理リスト情報111によって示される料理名ごとに、その料理名に対応するレシピ情報112および基本調理パラメータ情報113にしたがって作られる料理が有する官能に関する1つ以上の数値を示す。
第2記憶部120は、調理器300の調理状態取得部310によって得られる調理状態情報121を格納するための記録媒体である。調理状態情報121は、実質的に同一のタイミングで得られた画像データ、化学分析データおよび重量データを含む。
第3記憶部130は、料理または被調理物が有する官能に関する1つ以上の数値を示す官能情報131を格納するための記録媒体である。例えば、官能情報131は、第1官能度合、第2官能度合、・・・を官能に関する1以上の数値として示す。第1官能度合は、香ばしさの度合いであってもよく、第2官能度合は、甘い香りの度合いであってもよい。
第4記憶部140は、初期調理パラメータ情報141と、修正調理パラメータ情報142とを格納するための記録媒体である。初期調理パラメータ情報141および修正調理パラメータ情報142のそれぞれは、調理器300による調理に用いられる1以上の調理パラメータを示す調理パラメータ情報である。初期調理パラメータ情報141は、調理器300による調理が開始されるときに用いられる1以上の調理パラメータを示す。修正調理パラメータ情報142は、初期調理パラメータ情報141から修正または変更された情報である。つまり、修正調理パラメータ情報142は、初期調理パラメータ情報141に含まれる1以上の調理パラメータを修正または変更することによって得られる1以上の修正調理パラメータを含む。
モデル格納部150は、料理リスト情報111によって示される料理名ごとに、その料理名に対応する学習モデルセット150aを格納している。学習モデルセット150aは、第1学習モデル151と、第2学習モデル152と、第3学習モデル153と、第4学習モデル154とを含む。これらの学習モデルは、例えばニューラルネットワークなどの機械学習済みのモデルである。
第1学習モデル151は、上述の初期調理パラメータ情報141を導出するためモデルである。第2学習モデル152は、調理器300による調理が行われているときの被調理物の官能情報131を調理中官能情報として導出するためのモデルである。第3学習モデル153は、上述の修正調理パラメータ情報142を導出するためのモデルである。第4学習モデル154は、調理器300による初期調理パラメータ情報141および修正調理パラメータ情報142にしたがった調理によって得られる料理の最終的な官能情報131を第3官能情報として導出するためのモデルである。
サーバ通信部105は、上述の通信ネットワークを介して操作端末200および調理器300と通信する。サーバ記憶部104は、各種情報、データ、プログラムなどを格納するための記録媒体である。
サーバ制御部103は、例えばサーバ記憶部104に格納されているプログラムを読み出して実行することによって、サーバ通信部105などを制御する。例えば、サーバ制御部103は、調理器300からサーバ通信部105を介して調理状態情報121を取得し、その調理状態情報121を第2記憶部120に格納する。また、サーバ制御部103は、学習モデルセット150aを用いて導出される官能情報131、初期調理パラメータ情報141、修正調理パラメータ情報142を取得する。そして、サーバ制御部103は、その取得された官能情報131を第3記憶部130に格納し、取得された初期調理パラメータ情報141および修正調理パラメータ情報142を第4記憶部140に格納する。
図4は、第3記憶部130に格納されている複数種の官能情報131の詳細を示す図である。
第3記憶部130には、図4に示すように、複数種の官能情報131が格納される。複数種の官能情報131は、後述の目標官能情報131a、第1官能情報131b、第2官能情報131c、および第3官能情報131dである。目標官能情報131aは、調理者にとって目標とされる官能情報131である。第1官能情報131bおよび第2官能情報131cのそれぞれは、調理されているときの被調理物の官能情報131であって、調理中官能情報とも呼ばれる。第3官能情報131dは、調理によって作られる料理の官能情報131であって、最終官能情報とも呼ばれる。
図5は、サーバ制御部103の詳細な機能構成の一例を示すブロック図である。
サーバ制御部103は、入力取得部1031、パラメータ取得部1032、官能情報取得部1033、パラメータ修正部1034、処理部1035、およびパラメータ出力部1037を備える。
入力取得部1031は、操作端末200からサーバ通信部105を介して入力情報を取得する。入力情報は、調理者による操作端末200の入力部201への入力操作によって端末制御部203に受け付けられる情報である。調理者は、操作端末200の入力部201への入力操作を行うことによって、例えば、調理器300で作られる料理の名称(すなわち料理名)と、目標とされる官能に関する数値とを入力する。官能に関する数値は、官能度合あるいは官能評価値とも呼ばれる。その結果、端末制御部203は、その料理名を示す料理情報と、目標とされる官能に関する数値を示す目標官能情報131aとを含む入力情報を受け付ける。入力取得部1031は、端末制御部203から端末通信部205およびサーバ通信部105を介して、その入力情報を取得する。
すなわち、本実施の形態における入力取得部1031は、被調理物の調理によって得られる料理を示す料理情報と、(b)官能に関する1つ以上の数値に対する目標を示す目標官能情報131aとを取得する。
パラメータ取得部1032は、入力情報と、モデル格納部150に格納されている学習モデルセット150aとを用いて、1以上の調理パラメータを示す調理パラメータ情報を取得する。つまり、パラメータ取得部1032は、入力取得部1031によって取得された上述の料理情報および目標官能情報131aに基づいて、調理器300による調理に用いられる1以上の調理パラメータを含む調理パラメータ情報を、学習モデルセット150aを用いて取得する。この調理パラメータ情報は、初期調理パラメータ情報141である。また、本実施の形態では、その1以上の調理パラメータは、調理器300による調理に用いられる温度を示す調理パラメータと、調理器300による調理に用いられる時間を示す調理パラメータとを含む。さらに、1以上の調理パラメータは、調理器300による調理に用いられる圧力を示す調理パラメータを含む。
パラメータ出力部1037は、サーバ通信部105を介して調理器300に、その初期調理パラメータ情報141を送信する。調理器300の調理部320は、その送信された初期調理パラメータ情報141を、調理通信部305を介して取得すると、その初期調理パラメータ情報141にしたがって調理を開始する。
官能情報取得部1033は、例えば、第2記憶部120に格納されている調理状態情報121と、モデル格納部150に格納されている学習モデルセット150aとを用いて、官能情報131を取得する。このように取得される官能情報131は、調理器300による調理が行われているときの被調理物の官能に関する1つ以上の数値を示し、調理中官能情報(すなわち第1官能情報131bまたは第2官能情報131c)とも呼ばれる。つまり、官能情報取得部1033は、調理器300による調理パラメータ情報にしたがった被調理物に対する調理が行われているときの、被調理物の官能に関する1つ以上の数値を示す調理中官能情報を取得する。
パラメータ修正部1034は、上述の目標官能情報131aおよび調理中官能情報に基づいて、初期調理パラメータ情報141を、1以上の修正調理パラメータを含む修正調理パラメータ情報142に変更する。言い換えれば、パラメータ修正部1034は、初期調理パラメータ情報141を修正調理パラメータ情報142に修正する。この初期調理パラメータ情報141の修正には、モデル格納部150に格納されている学習モデルセット150aが用いられる。
パラメータ出力部1037は、サーバ通信部105を介して調理器300に、その修正調理パラメータ情報142を含む制御信号を出力する。言い換えれば、パラメータ出力部1037は、修正調理パラメータ情報142を含む制御信号を送信する。調理器300の調理部320は、その送信された修正調理パラメータ情報142を、調理通信部305を介して取得すると、初期調理パラメータ情報141にしたがった調理を中断し、修正調理パラメータ情報142にしたがって調理を行う。
なお、パラメータ出力部1037は、上述の初期調理パラメータ情報141の送信でも、修正調理パラメータ情報142と同様に、初期調理パラメータ情報141を含む制御信号を調理器300に送信してもよい。以下、初期調理パラメータ情報141または修正調理パラメータ情報142の送信または出力は、それらの情報が制御信号に含まれた状態で行われる。
処理部1035は、サーバ制御部103に含まれる処理部1035以外の各構成要素によって行われる処理とは異なる処理を実行する。例えば、処理部1035は、第3記憶部130に格納されている第3官能情報131dを、サーバ通信部105を介して操作端末200に送信する。
図6は、料理リスト情報111、レシピ情報112、基本調理パラメータ情報113、および基本官能情報114の一例を示す図である。
料理リスト情報111は、例えば図6の(a)に示すように、レコード番号ごとに、そのレコード番号に対応する料理IDおよび料理名を示す。料理IDは、料理名および料理を識別するための識別情報である。具体的には、レコード番号「1」には、料理ID「D001」および料理名「ブイヨン」が互いに関連付けて示されている。
レシピ情報112は、例えば図6の(b)に示すように、料理IDに対応付けられ、その料理IDによって識別される料理に用いられる1以上の材料と、その1以上の材料のそれぞれの分量とを示す。具体的には、レシピ情報112は、レコード番号ごとに、そのレコード番号に対応する材料と、その材料の分量とを示す。より具体的には、料理ID「D0001」、すなわち料理名「ブイヨン」に対応付けられたレシピ情報112では、レコード番号「1」に対して、材料「にんじん」と、その材料「にんじん」の分量「200g」とが互いに関連付けて示されている。
基本調理パラメータ情報113は、例えば図6の(c)に示すように、料理IDに対応付けられ、その料理IDによって識別される料理を作るために調理器300に用いられる1以上の調理パラメータを示す。1以上の調理パラメータのそれぞれは、調理パラメータ名および設定値からなる。具体的には、基本調理パラメータ情報113は、レコード番号ごとに、そのレコード番号に対応する調理パラメータ名および設定値を示す。より具体的には、料理ID「D0001」、すなわち料理名「ブイヨン」に対応付けられた基本調理パラメータ情報113では、レコード番号「1」に対して、調理パラメータ名「温度」と、設定値「100℃」とが互いに関連付けて示されている。つまり、レコード番号「1」には、調理パラメータとして、温度「100℃」が示されている。なお、設定値は、例えば「90℃~110℃」のように、数値範囲として示されていてもよい。また、設定値として「100℃」のように1つの数値が示されている場合には、その数値は、調理器300での調理開始から調理終了までの設定値(例えば、温度)の平均値または中央値であってもよい。
基本官能情報114は、例えば図6の(d)に示すように、料理IDに対応付けられ、その料理IDによって示される料理の基本的な官能に関する1つ以上の数値を示す。具体的には、基本官能情報114は、レコード番号ごとに、そのレコード番号に対応する官能項目および度合いを示す。より具体的には、料理ID「D0001」、すなわち料理名「ブイヨン」に対応付けられた基本官能情報114では、レコード番号「1」に対して、官能項目「香ばしさ」と、度合い「-1」とが互いに関連付けて示されている。つまり、レコード番号「1」には、官能に関する数値、すなわち官能度合として、香ばしさ「-1」が示されている。なお、官能項目は、官能度合の種別を示している。また、本実施の形態における官能度合は、-3から3までの数値範囲内の数値であるが、これに限らず、どのような数値範囲内の数値であってもよい。また、官能度合は、整数であってもよく小数であってもよい。なお、度合いは、例えば「-1~1」のように、数値範囲として示されていてもよい。
図7は、調理状態情報121に含まれる画像データ、化学分析データ、および重量データの一例を示す図である。
画像データ121aは、例えば図7の(a)に示すように、調理器300に配置されている被調理物が映し出されている画像を示すデータである。このような画像データ121aは、調理器300の撮像部312による撮像によって得られる。
化学分析データ121bは、例えば図7の(b)に示すように、例えば液体クロマトグラフィーによって得られるグラフを示すデータである。グラフの横軸は、測定時間を示し、グラフの縦軸は、その測定時間において計測されたカウント数を示す。このような化学分析データ121bは、調理器300の化学分析部313による分析によって得られる。このようなグラフは、1以上の化学成分のそれぞれの分量を示していると言える。当該グラフはクロマトグラムと呼んでもよい。なお、化学分析部313は、そのグラフそのものを示すデータではなく、幾つかの化学成分のそれぞれの分量を直接的に示すデータを、化学分析データ121bとして取得してもよい。つまり、化学分析部313は、予め定められている複数の化学成分のそれぞれの分量をそのグラフから導出し、その導出された各化学成分の分量を直接的に示す化学分析データ121bを出力してもよい。
重量データ121cは、例えば図7の(c)に示すように、調理器300に配置されている被調理物の重量を示すデータである。このような重量データ121cは、調理器300の重量測定部311による測定によって得られる。
[画面表示]
図8は、操作端末200の画面表示の一例を示す図である。
図8は、操作端末200の画面表示の一例を示す図である。
操作端末200の端末制御部203は、例えば図8の(a)に示すように、検索画面d1を表示部202に表示する。検索画面d1は、料理名の入力を受け付けるための入力欄w1を有する。調理者は、操作端末200の入力部201に対する入力操作を行うことによって、調理者が作ろうとする料理の料理名を、その入力欄w1に書き込む。例えば、調理者は、料理名「ブイヨン」を入力欄w1に書き込む。その結果、端末制御部203は、その料理名「ブイヨン」を示す入力情報を取得し、その入力情報を端末記憶部204に格納するとともに、端末通信部205を介してサーバ100に送信する。
サーバ100の入力取得部1031は、操作端末200からサーバ通信部105を介してその入力情報を料理情報として取得し、その料理情報を例えばサーバ記憶部104に保存する。処理部1035は、入力取得部1031によって取得された料理情報によって示される料理名「ブイヨン」を、第1記憶部110に格納されている料理リスト情報111から検索する。処理部1035は、料理リスト情報111から料理名「ブイヨン」を見つけると、その料理名「ブイヨン」に関連付けられている料理IDを特定する。そして、処理部1035は、その料理IDに対応付けられているレシピ情報112および基本官能情報114を第1記憶部110から取得する。
処理部1035は、そのレシピ情報112および基本官能情報114を用いて、例えば図8の(b)に示す官能入力画面d2を生成し、サーバ通信部105を介して操作端末200に、その官能入力画面d2を示す情報を送信する。操作端末200の端末制御部203は、サーバ100から端末通信部205を介してその情報を取得すると、その情報によって示される官能入力画面d2を表示部202に表示する。官能入力画面d2は、レシピ欄w2と、基本官能欄w3と、官能調整欄w4と、スタートボタンb2とを含む。レシピ欄w2には、レシピ情報112に示されている、料理「ブイヨン」を作るための1以上の材料と、その1以上の材料のそれぞれの分量とが表示される。基本官能欄w3には、基本官能情報114に示されている料理「ブイヨン」が有する複数の官能度合が表示される。
官能調整欄w4には、基本官能欄w3に表示されている複数の官能度合を変更するための複数の操作ボタンb1が表示されている。調理者は、その複数の操作ボタンb1のうち、調理者が変更を希望する官能度合に対応する操作ボタンb1を操作する。操作端末200の端末制御部203は、その操作ボタンb1に対する入力操作に応じた入力情報を受け付けると、その操作ボタンb1に対応する官能度合を変更する。
例えば、香ばしさに対応する操作ボタンb1が操作されると、端末制御部203は、基本官能欄w3に表示されている香ばしさ「-1」に対して「+1」だけ変更する。つまり、端末制御部203は、香ばしさ「0」を、調理者が希望する官能度合、あるいは官能度合の目標として受け付ける。同様に、甘い香りに対応する操作ボタンb1が操作されると、端末制御部203は、基本官能欄w3に表示されている甘い香り「3」に対して「-1」だけ変更する。つまり、端末制御部203は、甘い香り「2」を、調理者が希望する官能度合、あるいは官能度合の目標として受け付ける。調理者は、香ばしさ、甘い香り以外にも、変更を希望する官能度合があれば、その官能度合に対応する操作ボタンb1を繰り返し操作する。そして、調理者は、官能入力画面d2に表示されているスタートボタンb2を操作する。端末制御部203は、スタートボタンb2に対する入力操作を受け付けると、香ばしさ、甘い香り、酸味、苦味などの各々の官能度合に対する目標を示す入力情報を、目標官能情報131aとして取得する。そして、端末制御部203は、端末通信部205を介してサーバ100にその目標官能情報131aを送信する。
なお、官能度合の変更幅は、予め定められた規定幅以内に制限されていてもよい。また、複数の官能度合のうちの1つが変更されると、残りの他の官能度合も、その1つの官能度合の変更に連動して変更されてもよい。また、官能調整欄w4には、基本官能欄w3に示されている全ての官能度合が表示されることなく、それらのうちの1つのみが変更可能な官能度合として表示されてもよい。
サーバ100の官能情報取得部1033は、操作端末200からサーバ通信部105を介してその目標官能情報131aを取得し、その目標官能情報131aを第3記憶部130に格納する。そして、サーバ制御部103は、その目標官能情報131aを用いて初期調理パラメータ情報141を導出する。さらに、サーバ制御部103は、調理器300によって取得される調理状態情報121などを用いることによって、その初期調理パラメータ情報141を修正調理パラメータ情報142に修正する。さらに、サーバ制御部103は、初期調理パラメータ情報141および修正調理パラメータ情報142にしたがった調理器300による調理によって得られる料理「ブイヨン」の1つ以上の官能度合を推定する。つまり、サーバ制御部103は、最終官能情報として第3官能情報131dを導出する。そして、サーバ制御部103は、その第3官能情報131dを第3記憶部130に保存し、さらに、サーバ通信部105を介して操作端末200に、その第3官能情報131dを送信する。また、サーバ制御部103は、上述の修正調理パラメータ情報142に含まれる時間の修正調理パラメータを、サーバ通信部105を介して操作端末200に送信してもよい。
操作端末200の端末制御部203は、サーバ100から端末通信部205を介してその第3官能情報131dと時間の修正調理パラメータとを取得する。そして、端末制御部203は、例えば図8の(c)に示すように、その第3官能情報131dなどを表示するための最終官能画面d3を表示部202に表示する。最終官能画面d3には、第3官能情報131dによって示される複数の官能度合が表示されている。さらに、最終官能画面d3には、上述の修正調理パラメータによって示される時間が、例えば調理完了時間「2時間30分」として表示されている。
調理者は、目標官能情報131aの入力に対して、最終官能画面d3に表示される1つ以上の官能度合を見ることによって、目標官能情報131aどおりの1つ以上の官能度合を有する料理が作られることを認識することができる。あるいは、調理者は、料理の官能度合が目標官能情報131aどおりになるように調理が試みられたとしても、目標官能情報131aとは異なる官能度合を有する料理が作られることを認識することができる。あるいは、調理者は、最終的に作られる料理の官能度合が希望にどれだけ近いかを確認することができる。また、調理者は、そのような料理の調理が完了する時間を把握することができる。
なお、図8の(c)に示す例では、複数の官能度合のそれぞれは、数値として表示されているが、レーダーチャート、グラフなどによって表示されてもよく、星の数によって表示されてもよい。
なお、官能度合が数値範囲として基本官能欄w3に表示されている場合には、官能調整欄w4の操作ボタンb1によって、例えば、その数値範囲の中央値が変更されてもよい。この場合、数値範囲の最小値から最大値までの幅は一定に維持されてもよい。例えば、香ばしさ「-1~1」が基本官能欄w3に表示され、操作ボタンb1の操作によって「+1」の変更が行われる。この場合、端末制御部203は、香ばしさ「0~2」を、調理者が希望する香ばしさ、あるいは香ばしさの目標として受け付ける。また、初期調理パラメータ情報141および修正調理パラメータ情報142は、例えば、香ばしさ「-1~1」を「0~2」に近付けるように、その数値範囲の中央値を変更してもよい。
図9は、操作端末200の画面表示の他の例を示す図である。
図8に示す例では、調理者は、料理名を直接入力するが、その料理名の料理に用いられる材料(すなわち食材)の名称を入力してもよい。例えば、操作端末200の端末制御部203は、図9の(a)に示すように、食材入力画面d11を表示部202に表示する。食材入力画面d11は、調理者が使いたい食材の名称の入力を受け付けるための入力欄w11を有する。調理者は、操作端末200の入力部201に対する入力操作を行うことによって、調理者が使いたい食材の名称を、その入力欄w11に書き込む。例えば、調理者は、食材の名称「にんじん」を入力欄w11に書き込む。その結果、端末制御部203は、その食材の名称「にんじん」を示す入力情報を取得し、その入力情報を端末記憶部204に格納するとともに、端末通信部205を介してサーバ100に送信する。
サーバ100の入力取得部1031は、操作端末200からサーバ通信部105を介してその入力情報を取得し、その入力情報を例えばサーバ記憶部104に保存する。入力取得部1031は、第1記憶部110に格納されている複数のレシピ情報112から、その食材の名称「にんじん」が示されている1以上のレシピ情報112を検索する。そして、入力取得部1031は、その1以上のレシピ情報112のそれぞれに対応付けられている料理IDを特定する。すなわち、入力取得部1031は、その料理IDによって識別される料理名を特定する。入力取得部1031は、サーバ通信部105を介して操作端末200に、その特定された1以上の料理名を示す検索結果情報を送信する。
操作端末200の端末制御部203は、サーバ100から端末通信部205を介してその検索結果情報を取得すると、例えば図9の(b)に示すように、検索結果画面d12を表示部202に表示する。検索結果画面d12は、検索結果情報によって示される1以上の料理のそれぞれについて、その料理名が記された料理名ボタンb11を含む。調理者は、操作端末200の入力部201に対する入力操作を行うことによって、調理者が作りたい料理に対応する料理名ボタンb11を選択する。例えば、調理者は、料理名「ブイヨン」が記された料理名ボタンb11を選択する。その結果、操作端末200の端末制御部203は、選択された料理名ボタンb11に記されている料理名「ブイヨン」を示す入力情報を取得し、その入力情報を端末記憶部204に格納するとともに、端末通信部205を介してサーバ100に送信する。
サーバ100の入力取得部1031は、操作端末200からサーバ通信部105を介してその入力情報を料理情報として取得し、その料理情報を例えばサーバ記憶部104に保存する。処理部1035は、入力取得部1031によって取得された料理情報によって示される料理名「ブイヨン」を、第1記憶部110に格納されている料理リスト情報111から検索する。処理部1035は、料理リスト情報111から料理名「ブイヨン」を見つけると、その料理名「ブイヨン」に関連付けられている料理IDを特定する。そして、処理部1035は、その料理IDに対応付けられているレシピ情報112および基本官能情報114を第1記憶部110から取得する。
その後、操作端末200は、図8の(b)および(c)と同様、図9の(c)および(d)に示すように、サーバ100との通信を行うことによって、官能入力画面d2および最終官能画面d3を表示部202に表示する。
このような操作端末200は、被調理物を調理する調理器300に関する情報を提供する情報提供方法を行うコンピュータである。つまり、操作端末200は、調理者であるユーザによる操作に応じて、(a)被調理物の調理によって得られる料理を示す料理情報と、(b)官能に関する1つ以上の数値に対する目標を示す目標官能情報131aとを受け付ける。そして、操作端末200は、料理情報および目標官能情報131aと、調理器300による被調理物に対する調理が行われているときの、被調理物の官能情報131である調理中官能情報とに基づいて導出される、料理の官能に関する最終官能情報を出力する。最終官能情報は、上述の第3官能情報131dである。
これにより、調理者が希望する料理を示す料理情報と、その調理者が希望する目標官能情報131aとが受け付けられると、それらの情報に応じて最終的に作られる料理の官能に関する1つ以上の数値(すなわち官能度合)を、調理者に提示することができる。したがって、調理者は、調理によって得られる料理の官能を適切に把握することができる。つまり、調理者は、調理者が希望する官能度合を有する料理が作られるか否か、または、最終的に作られる料理の官能度合が希望にどれだけ近いかを確認することができる。
なお、上述の例では、操作端末200の入力部201は、調理者による入力操作によって、料理名または食材の名称などのテキストデータを受け付けるが、音声信号を受け付けてもよい。この場合、入力部201は、マイクを備え、マイクから出力される音声信号を受け付ける。そして、端末制御部203は、その音声信号に対して音声認識を行うことによって、料理名または食材の名称を示す入力情報を取得する。
[処理動作]
図10は、情報処理システム1000の処理動作の一例を示すシーケンス図である。
図10は、情報処理システム1000の処理動作の一例を示すシーケンス図である。
(ステップS1)
まず、操作端末200は、調理者による入力部201への入力操作に応じて、料理情報および目標官能情報131aを取得する。
まず、操作端末200は、調理者による入力部201への入力操作に応じて、料理情報および目標官能情報131aを取得する。
(ステップS2)
操作端末200は、ステップS1で取得された料理情報および目標官能情報131aをサーバ100に送信する。
操作端末200は、ステップS1で取得された料理情報および目標官能情報131aをサーバ100に送信する。
(ステップS3)
サーバ100は、ステップS2で操作端末200から送信された料理情報および目標官能情報131aを受信すると、それらの情報を用いて初期調理パラメータ情報141を導出する。その初期調理パラメータ情報141の導出には、モデル格納部150に格納されている複数の学習モデルセット150aのうち、上述の料理情報によって示される料理に対応する学習モデルセット150aが用いられる。具体的には、学習モデルセット150aに含まれる第1学習モデル151が用いられる。
サーバ100は、ステップS2で操作端末200から送信された料理情報および目標官能情報131aを受信すると、それらの情報を用いて初期調理パラメータ情報141を導出する。その初期調理パラメータ情報141の導出には、モデル格納部150に格納されている複数の学習モデルセット150aのうち、上述の料理情報によって示される料理に対応する学習モデルセット150aが用いられる。具体的には、学習モデルセット150aに含まれる第1学習モデル151が用いられる。
図17は、第1学習モデル151の例を示す。第1学習モデル151への入力は目標官能情報131aである。第1学習モデル151からの出力は、初期調理パラメータ情報141である。
目標官能情報131aは、料理情報によって示される料理の香ばしさの度合い、料理情報によって示される料理の甘い香りの度合い、料理情報によって示される料理の酸味の度合い、料理情報によって示される料理の苦味の度合い、料理情報によって示される料理の塩味の度合いを含む。
当該香ばしさの度合い、当該甘い香りの度合い、当該酸味の度合い、当該苦味の度合い、当該塩味の度合いのそれぞれは、ユーザによって指定される。
初期調理パラメータ情報141は、料理情報によって示される料理が、ユーザによって指定された香ばしさの度合い、甘い香りの度合い、酸味の度合い、苦味の度合い、塩味の度合い、~を有するように、調理器が被調理物を調理する温度、圧力、時間を含む。被調理物は1または複数の材料を含んでもよい。
(ステップS4)
サーバ100は、導出された初期調理パラメータ情報141を調理器300に送信する。
サーバ100は、導出された初期調理パラメータ情報141を調理器300に送信する。
(ステップS5)
調理器300は、サーバ100から初期調理パラメータ情報141を受信すると、その初期調理パラメータ情報141にしたがって、圧力、温度および時間を制御することによって、調理器300に配置されている被調理物の調理を開始する。そして、調理器300は、時刻t1における調理状態情報121を取得する。時刻t1は、調理器300による調理が開始されてから第1時間が経過した時点の時刻である。なお、この第1時間は、予め定められた時間であってもよく、0時間であってもよい。つまり、時刻t1は、調理器300による調理が開始された時点の時刻であってもよい。
調理器300は、サーバ100から初期調理パラメータ情報141を受信すると、その初期調理パラメータ情報141にしたがって、圧力、温度および時間を制御することによって、調理器300に配置されている被調理物の調理を開始する。そして、調理器300は、時刻t1における調理状態情報121を取得する。時刻t1は、調理器300による調理が開始されてから第1時間が経過した時点の時刻である。なお、この第1時間は、予め定められた時間であってもよく、0時間であってもよい。つまり、時刻t1は、調理器300による調理が開始された時点の時刻であってもよい。
(ステップS6)
調理器300は、その時刻t1における調理状態情報121をサーバ100に送信する。
調理器300は、その時刻t1における調理状態情報121をサーバ100に送信する。
(ステップS7)
サーバ100は、調理器300から、時刻t1における調理状態情報121を受信すると、その調理状態情報121を用いて、時刻t1での被調理物の官能情報131を第1官能情報131bとして導出する。なお、第1官能情報131bは、調理中官能情報である。また、その第1官能情報131bの導出には、モデル格納部150に格納されている複数の学習モデルセット150aのうち、上述の料理情報によって示される料理に対応する学習モデルセット150aが用いられる。具体的には、学習モデルセット150aに含まれる第2学習モデル152が用いられる。
サーバ100は、調理器300から、時刻t1における調理状態情報121を受信すると、その調理状態情報121を用いて、時刻t1での被調理物の官能情報131を第1官能情報131bとして導出する。なお、第1官能情報131bは、調理中官能情報である。また、その第1官能情報131bの導出には、モデル格納部150に格納されている複数の学習モデルセット150aのうち、上述の料理情報によって示される料理に対応する学習モデルセット150aが用いられる。具体的には、学習モデルセット150aに含まれる第2学習モデル152が用いられる。
図18は、第2学習モデル152の例を示す。第2学習モデル152への入力は調理状態情報121である。第2学習モデル152からの出力は官能情報131である。
調理状態情報121は、画像データ121a、化学分析データ121b、重力データ121cを含む。
画像データ121aは、調理開始時刻から時刻tまで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物を、撮像部312が時刻tに撮像した画像(例えば、図7の(a)参照)のm×n個の画素値であってもよい。m×n個の画素値は、I(1,1)、~、I(m,n)であってもよい。I(1,1)は画像の画素(1,1)の画素値、~、I(m,n)は画像の画素(m,n)の画素値である。画素(1,1)は画像において(x、y)=(1,1)に位置し、~、画素(m,n)は当該画像において(x、y)=(m,n)に位置する。mは2以上の整数、nは2以上の整数であってもよい。XY座標軸の例は、図7の(a)に示されている。
化学分析データ121bは、調理開始時刻から時刻tまで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物を、化学分析部313が時刻tから測定を開始して得られたクロマトグラム(例えば、図7の(b)参照)におけるr個の強度値であってもよい。r個の強度値は、クロマトグラムにおける第1測定時間での第1強度値、~、クロマトグラムにおける第r測定時間での第r強度値であってもよい。rは1以上の整数であってもよい。
化学分析データ121bは、s個の化学成分のs個の分量あってもよい。s個の化学成分のs個の分量は、第1化学成分の第1分量、~、第s化学成分の第s分量であってもよい。sは1以上の整数であってもよい。
重量データ121cは、調理開始時刻から時刻tまで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物を、重量測定部311が時刻tに測定した重量値であってもよい。
官能情報131は、調理開始時刻から時刻tまで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の、時刻tにおける、香ばしさの度合い、甘い香りの度合い、酸味の度合い、苦味の度合い、塩味の度合いを含む。
上記した時刻tは、ステップS7では時刻t1に対応する。上記した時刻tは、後述するステップS10では時刻t2に対応する。
(ステップS8)
調理器300は、時刻t2における調理状態情報121を取得する。時刻t2は、調理器300による調理が開始されてから第1時間が経過した後の第2時間経過時点における時刻である。なお、この第2時間は、第1時間よりも長く予め定められた時間であってもよい。
調理器300は、時刻t2における調理状態情報121を取得する。時刻t2は、調理器300による調理が開始されてから第1時間が経過した後の第2時間経過時点における時刻である。なお、この第2時間は、第1時間よりも長く予め定められた時間であってもよい。
(ステップS9)
調理器300は、その時刻t2における調理状態情報121をサーバ100に送信する。
調理器300は、その時刻t2における調理状態情報121をサーバ100に送信する。
(ステップS10)
サーバ100は、調理器300から、時刻t2における調理状態情報121を受信すると、その調理状態情報121を用いて、時刻t2での被調理物の官能情報131を第2官能情報131cとして導出する。なお、第2官能情報131cは、第1官能情報131bと同様、調理中官能情報である。また、その第2官能情報131cの導出には、モデル格納部150に格納されている複数の学習モデルセット150aのうち、上述の料理情報によって示される料理に対応する学習モデルセット150aが用いられる。具体的には、学習モデルセット150aに含まれる第2学習モデル152が用いられる。
サーバ100は、調理器300から、時刻t2における調理状態情報121を受信すると、その調理状態情報121を用いて、時刻t2での被調理物の官能情報131を第2官能情報131cとして導出する。なお、第2官能情報131cは、第1官能情報131bと同様、調理中官能情報である。また、その第2官能情報131cの導出には、モデル格納部150に格納されている複数の学習モデルセット150aのうち、上述の料理情報によって示される料理に対応する学習モデルセット150aが用いられる。具体的には、学習モデルセット150aに含まれる第2学習モデル152が用いられる。
(ステップS11)
サーバ100は、第1官能情報131bと第2官能情報131cとの差分を算出する。つまり、サーバ100は、1以上の官能項目のそれぞれについて、第1官能情報131bに示されているその官能項目の官能度合と、第2官能情報131cに示されているその官能項目の官能度合との差分を算出する。
サーバ100は、第1官能情報131bと第2官能情報131cとの差分を算出する。つまり、サーバ100は、1以上の官能項目のそれぞれについて、第1官能情報131bに示されているその官能項目の官能度合と、第2官能情報131cに示されているその官能項目の官能度合との差分を算出する。
上記した「サーバ100は、第1官能情報131bと第2官能情報131cとの差分を算出する」は、「サーバ100は第1官能情報131bと第2官能情報131cに基づいて差分情報を算出する」と解釈してしてもよい。
上記差分情報は、
{(第2官能情報131cが含む香ばしさの度合い)-(第1官能情報131bが含む香ばしさの度合い)}、
{(第2官能情報131cが含む甘い香りの度合い)-(第1官能情報131bが含む甘い香りの度合い)}、
{(第2官能情報131cが含む酸味の度合い)-(第1官能情報131bが含む酸味の度合い)}、
{(第2官能情報131cが含む苦味の度合い)-(第1官能情報131bが含む苦味の度合い)}、
{(第2官能情報131cが含む塩味の度合い)-(第1官能情報131bが含む塩味の度合い)}を含んでもよい。
{(第2官能情報131cが含む香ばしさの度合い)-(第1官能情報131bが含む香ばしさの度合い)}、
{(第2官能情報131cが含む甘い香りの度合い)-(第1官能情報131bが含む甘い香りの度合い)}、
{(第2官能情報131cが含む酸味の度合い)-(第1官能情報131bが含む酸味の度合い)}、
{(第2官能情報131cが含む苦味の度合い)-(第1官能情報131bが含む苦味の度合い)}、
{(第2官能情報131cが含む塩味の度合い)-(第1官能情報131bが含む塩味の度合い)}を含んでもよい。
上記差分情報は、
{(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t2における香ばしさの度合い)-(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t1における香ばしさの度合い)}、
{(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t2における甘い香りの度合い)-(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t1における甘い香りの度合い)}、
{(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t2における酸味の度合い)-(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t1における酸味の度合い)}、
{(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t2における苦味の度合い)-(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t1における苦味の度合い)}、
{(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t2における塩味の度合い)-(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t1における塩味の度合い)}を含んでもよい。
{(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t2における香ばしさの度合い)-(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t1における香ばしさの度合い)}、
{(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t2における甘い香りの度合い)-(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t1における甘い香りの度合い)}、
{(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t2における酸味の度合い)-(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t1における酸味の度合い)}、
{(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t2における苦味の度合い)-(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t1における苦味の度合い)}、
{(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t2における塩味の度合い)-(調理開始時刻から時刻t2まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物の時刻t1における塩味の度合い)}を含んでもよい。
(ステップS12)
続いて、サーバ100は、ステップS11で算出された差分を用いて、修正調理パラメータ情報142を導出する。その修正調理パラメータ情報142の導出には、モデル格納部150に格納されている複数の学習モデルセット150aのうち、上述の料理情報によって示される料理に対応する学習モデルセット150aが用いられる。具体的には、学習モデルセット150aに含まれる第3学習モデル153が用いられる。
続いて、サーバ100は、ステップS11で算出された差分を用いて、修正調理パラメータ情報142を導出する。その修正調理パラメータ情報142の導出には、モデル格納部150に格納されている複数の学習モデルセット150aのうち、上述の料理情報によって示される料理に対応する学習モデルセット150aが用いられる。具体的には、学習モデルセット150aに含まれる第3学習モデル153が用いられる。
図19は、第3学習モデル153の例を示す。第3学習モデル152への入力は、第1官能情報131bと第2官能情報131cに基づいて算出された差分情報、及び、目標官能情報131aである。第3学習モデル153からの出力は修正調理パラメータ情報142である。
修正調理パラメータ情報142は、料理情報によって示される料理が、目標官能情報131aに示された、ユーザによって指定された香ばしさの度合い、甘い香りの度合い、酸味の度合い、苦味の度合い、塩味の度合い、~、を有するように、調理器300が時刻t4から、調理開始時刻から時刻t3まで初期調理パラメータ情報141に基づいて制御された調理器300が調理した被調理物を、調理する温度、圧力、時間を含む。
時刻t4は、時刻t3より遅い、または、時刻t3と同じあってもよい。時刻t3は、時刻t1及び時刻t2より遅くてもよい。時刻t1及び時刻t2は調理開示時刻より遅くてもよい。
(ステップS13)
そして、サーバ100は、ステップS12で導出された修正調理パラメータ情報142を調理器300に送信する。
そして、サーバ100は、ステップS12で導出された修正調理パラメータ情報142を調理器300に送信する。
(ステップS14)
調理器300は、ステップS13で送信された修正調理パラメータ情報142を受信し、初期調理パラメータ情報141をその修正調理パラメータ情報142に変更する。つまり、調理器300は、初期調理パラメータ情報141にしたがった調理を中断し、修正調理パラメータ情報142にしたがった調理を開始する。
調理器300は、ステップS13で送信された修正調理パラメータ情報142を受信し、初期調理パラメータ情報141をその修正調理パラメータ情報142に変更する。つまり、調理器300は、初期調理パラメータ情報141にしたがった調理を中断し、修正調理パラメータ情報142にしたがった調理を開始する。
(ステップS15)
サーバ100は、さらに、ステップS12で導出された修正調理パラメータ情報142を用いて、上述の料理情報によって示される料理が作られたときのその料理の最終的な官能情報131を、第3官能情報131dとして導出する。つまり、第3官能情報131dが推定される。その第3官能情報131dの導出には、モデル格納部150に格納されている複数の学習モデルセット150aのうち、上述の料理情報によって示される料理に対応する学習モデルセット150aが用いられる。具体的には、学習モデルセット150aに含まれる第4学習モデル154が用いられる。
サーバ100は、さらに、ステップS12で導出された修正調理パラメータ情報142を用いて、上述の料理情報によって示される料理が作られたときのその料理の最終的な官能情報131を、第3官能情報131dとして導出する。つまり、第3官能情報131dが推定される。その第3官能情報131dの導出には、モデル格納部150に格納されている複数の学習モデルセット150aのうち、上述の料理情報によって示される料理に対応する学習モデルセット150aが用いられる。具体的には、学習モデルセット150aに含まれる第4学習モデル154が用いられる。
図20は、第4学習モデル154の例を示す。第4学習モデル154への入力は修正調理パラメータ情報142と調理中の官能情報である。第4学習モデル153からの出力は作成された料理の官能情報(すなわち、第3官能情報131d)である。第3官能情報131dは作成された料理の香ばしさの度合い、甘い香りの度合い、酸味の度合い、苦味の度合い、塩味の度合いを含む。
(ステップS16)
サーバ100は、ステップS12で導出された修正調理パラメータ情報142に含まれる時間の修正調理パラメータと、ステップS15で導出された第3官能情報131dとを、操作端末200に送信する。なお、サーバ100は、修正調理パラメータ情報142に含まれる全ての修正調理パラメータを送信してもよい。
サーバ100は、ステップS12で導出された修正調理パラメータ情報142に含まれる時間の修正調理パラメータと、ステップS15で導出された第3官能情報131dとを、操作端末200に送信する。なお、サーバ100は、修正調理パラメータ情報142に含まれる全ての修正調理パラメータを送信してもよい。
(ステップS17)
操作端末200は、ステップS16で送信された修正調理パラメータ情報142に含まれる時間の修正調理パラメータと、第3官能情報131dとを受信する。そして、操作端末200は、図8の(c)または図9の(d)に示すように、その時間の修正調理パラメータと、第3官能情報131dとを表示部202に表示する。時間の修正調理パラメータは、例えば調理完了時間として表示される。
操作端末200は、ステップS16で送信された修正調理パラメータ情報142に含まれる時間の修正調理パラメータと、第3官能情報131dとを受信する。そして、操作端末200は、図8の(c)または図9の(d)に示すように、その時間の修正調理パラメータと、第3官能情報131dとを表示部202に表示する。時間の修正調理パラメータは、例えば調理完了時間として表示される。
このように、本実施の形態では、調理者が希望する料理を示す料理情報と、調理者が希望する目標官能情報131aとが取得され、それらに基づいて初期調理パラメータ情報141が取得される。そして、その初期調理パラメータ情報141の調理器300への送信によって、その初期調理パラメータ情報141にしたがった調理が調理器300によって開始される。その後、調理器300に用いられている初期調理パラメータ情報141は、調理が行われているときの被調理物の官能に関する1つ以上の数値(すなわち官能度合)によって修正される。そのため、修正調理パラメータ情報142にしたがった調理によって、最終的に作られる料理の官能度合を、目標官能情報131aによって示される官能度合に近づけることができる。言い換えれば、最終的に作られる料理の官能度合を、調理者が希望する官能度合に近づけることができる。すなわち、調理者が希望する官能度合が、基本とされるレシピに記述されている官能度合と異なっていても、あるいは、被調理物の分量がそのレシピどおりでなくても、最終的な料理の官能度合を、調理者が希望する官能度合に近づけることができる。その結果、調理者がわざわざ調理パラメータを調整することなく、料理の官能を適切に制御することができる。
図11は、サーバ100の処理動作の一例を示すフローチャートである。
(ステップS110)
まず、サーバ100の入力取得部1031は、操作端末200からサーバ通信部105を介して料理情報と目標官能情報131aとを取得する。
まず、サーバ100の入力取得部1031は、操作端末200からサーバ通信部105を介して料理情報と目標官能情報131aとを取得する。
(ステップS120)
パラメータ取得部1032は、その料理情報と目標官能情報131aとを用いて、初期調理パラメータ情報141を導出する。
パラメータ取得部1032は、その料理情報と目標官能情報131aとを用いて、初期調理パラメータ情報141を導出する。
(ステップS130)
パラメータ出力部1037は、サーバ通信部105を介して調理器300に、ステップS120で取得された初期調理パラメータ情報141を送信する。
パラメータ出力部1037は、サーバ通信部105を介して調理器300に、ステップS120で取得された初期調理パラメータ情報141を送信する。
(ステップS140)
処理部1035は、調理器300からサーバ通信部105を介して、調理状態情報121を取得し、その調理状態情報121を第2記憶部120に格納する。
処理部1035は、調理器300からサーバ通信部105を介して、調理状態情報121を取得し、その調理状態情報121を第2記憶部120に格納する。
(ステップS150)
官能情報取得部1033は、ステップS140で取得された調理状態情報121を用いて、調理中官能情報を導出する。
官能情報取得部1033は、ステップS140で取得された調理状態情報121を用いて、調理中官能情報を導出する。
(ステップS160)
パラメータ修正部1034は、ステップS150の処理が行われた後、複数の調理中官能情報が導出されたか否かを判定する。つまり、パラメータ修正部1034は、第1官能情報131bおよび第2官能情報131cが導出されたか否かを判定する。ここで、処理部1035および官能情報取得部1033は、ステップS160の処理において、複数の調理中官能情報が導出されていない判定されると(ステップS160のNo)、ステップS140およびステップS150の処理を繰り返し実行する。つまり、官能情報取得部1033は、ステップS150の処理を繰り返すことによって、第1官能情報131bと第2官能情報131cとを取得する。具体的には、官能情報取得部1033は、調理器300による調理開始から第1時間経過時点における調理中官能情報を、第1官能情報131bとして取得する。さらに、官能情報取得部1033は、調理器300による調理開始から第1時間経過後の第2時間経過時点における調理中官能情報を、第2官能情報131cとして取得する。なお、第1時間経過時点は、図10の時刻t1に相当し、第2時間経過時点は、図10の時刻t2に相当する。
パラメータ修正部1034は、ステップS150の処理が行われた後、複数の調理中官能情報が導出されたか否かを判定する。つまり、パラメータ修正部1034は、第1官能情報131bおよび第2官能情報131cが導出されたか否かを判定する。ここで、処理部1035および官能情報取得部1033は、ステップS160の処理において、複数の調理中官能情報が導出されていない判定されると(ステップS160のNo)、ステップS140およびステップS150の処理を繰り返し実行する。つまり、官能情報取得部1033は、ステップS150の処理を繰り返すことによって、第1官能情報131bと第2官能情報131cとを取得する。具体的には、官能情報取得部1033は、調理器300による調理開始から第1時間経過時点における調理中官能情報を、第1官能情報131bとして取得する。さらに、官能情報取得部1033は、調理器300による調理開始から第1時間経過後の第2時間経過時点における調理中官能情報を、第2官能情報131cとして取得する。なお、第1時間経過時点は、図10の時刻t1に相当し、第2時間経過時点は、図10の時刻t2に相当する。
(ステップS170)
一方、パラメータ修正部1034は、ステップS160の処理において、複数の調理中官能情報が導出された判定すると(ステップS160のYes)、それらの調理中官能情報の差分を算出する。つまり、パラメータ修正部1034は、第1官能情報131bと第2官能情報131cとの差分を算出する。
一方、パラメータ修正部1034は、ステップS160の処理において、複数の調理中官能情報が導出された判定すると(ステップS160のYes)、それらの調理中官能情報の差分を算出する。つまり、パラメータ修正部1034は、第1官能情報131bと第2官能情報131cとの差分を算出する。
(ステップS180)
そして、パラメータ修正部1034は、ステップS110で取得された目標官能情報131aと、ステップS170で算出された差分とを用いて、修正調理パラメータ情報142を導出する。なお、修正調理パラメータ情報142は、最終的に作られる料理の官能に関する1つ以上の数値を、目標官能情報131aに示されている1以上の数値に近づけるための情報である。このように、本実施の形態におけるパラメータ修正部1034は、第1官能情報131bと第2官能情報131cとの差分と、目標官能情報131aとに基づいて、初期調理パラメータ情報141を修正調理パラメータ情報142に変更する。
そして、パラメータ修正部1034は、ステップS110で取得された目標官能情報131aと、ステップS170で算出された差分とを用いて、修正調理パラメータ情報142を導出する。なお、修正調理パラメータ情報142は、最終的に作られる料理の官能に関する1つ以上の数値を、目標官能情報131aに示されている1以上の数値に近づけるための情報である。このように、本実施の形態におけるパラメータ修正部1034は、第1官能情報131bと第2官能情報131cとの差分と、目標官能情報131aとに基づいて、初期調理パラメータ情報141を修正調理パラメータ情報142に変更する。
このように、本実施の形態では、調理中官能情報の変化量と、目標官能情報131aとに基づいて、初期調理パラメータ情報141が修正調理パラメータ情報142に修正される。したがって、初期調理パラメータ情報141にしたがった調理による官能度合の変化傾向を考慮することによって、最終的な料理の官能度合を、調理者が希望する官能度合に効果的に近づけることができる。
(ステップS190)
パラメータ出力部1037は、サーバ通信部105を介して操作端末200および調理器300に、ステップS180で導出された修正調理パラメータ情報142を送信する。パラメータ出力部1037は、修正調理パラメータ情報142に含まれる時間の修正調理パラメータのみを操作端末200に送信してもよい。
パラメータ出力部1037は、サーバ通信部105を介して操作端末200および調理器300に、ステップS180で導出された修正調理パラメータ情報142を送信する。パラメータ出力部1037は、修正調理パラメータ情報142に含まれる時間の修正調理パラメータのみを操作端末200に送信してもよい。
(ステップS200)
官能情報取得部1033は、ステップS180で導出された修正調理パラメータ情報142を用いて、第3官能情報131dを導出する。つまり、官能情報取得部1033は、調理器300による修正調理パラメータ情報142にしたがった調理によって得られる料理の官能に関する1つ以上の数値を示す第3官能情報131dを、その修正調理パラメータ情報142に基づいて取得する。
官能情報取得部1033は、ステップS180で導出された修正調理パラメータ情報142を用いて、第3官能情報131dを導出する。つまり、官能情報取得部1033は、調理器300による修正調理パラメータ情報142にしたがった調理によって得られる料理の官能に関する1つ以上の数値を示す第3官能情報131dを、その修正調理パラメータ情報142に基づいて取得する。
(ステップS210)
パラメータ出力部1037は、サーバ通信部105を介して操作端末200に、ステップS200で導出された第3官能情報131dを送信する。この第3官能情報131dは、操作端末200の表示部202に表示される。
パラメータ出力部1037は、サーバ通信部105を介して操作端末200に、ステップS200で導出された第3官能情報131dを送信する。この第3官能情報131dは、操作端末200の表示部202に表示される。
このように、本実施の形態では、最終的に作られる料理の官能度合を示す情報が、第3官能情報131dとして推定される。そして、その第3官能情報131dは調理者に提示される。その結果、調理者は、調理者が希望する官能度合を有する料理が作られるか否か、または、最終的に作られる料理の官能度合が希望にどれだけ近いかを確認することができる。
図12は、サーバ100の処理動作の一部を詳細に示すフローチャートである。具体的には、図12の(a)は、図11のステップS120の詳細な処理を示すフローチャートであり、図12の(b)は、図11のステップS150の詳細な処理を示すフローチャートである。図12の(c)は、図11のステップS180の詳細な処理を示すフローチャートであり、図12の(d)は、図11のステップS200の詳細な処理を示すフローチャートである。
パラメータ取得部1032は、初期調理パラメータ情報141を導出するときには、例えば図12の(a)に示すステップS121~S123の処理を実行する。
(ステップS121)
パラメータ取得部1032は、料理情報に対応する第1学習モデル151をモデル格納部150から読み出す。つまり、パラメータ取得部1032は、料理情報によって示される料理名に対応する学習モデルセット150aに含まれている第1学習モデル151を、モデル格納部150から読み出す。
パラメータ取得部1032は、料理情報に対応する第1学習モデル151をモデル格納部150から読み出す。つまり、パラメータ取得部1032は、料理情報によって示される料理名に対応する学習モデルセット150aに含まれている第1学習モデル151を、モデル格納部150から読み出す。
(ステップS122)
パラメータ取得部1032は、ステップS121で読み出された第1学習モデル151に対して、目標官能情報131aを入力する。
パラメータ取得部1032は、ステップS121で読み出された第1学習モデル151に対して、目標官能情報131aを入力する。
(ステップS123)
パラメータ取得部1032は、ステップS122での入力によって第1学習モデル151から出力される初期調理パラメータ情報141を取得する。これにより、初期調理パラメータ情報141が導出される。
パラメータ取得部1032は、ステップS122での入力によって第1学習モデル151から出力される初期調理パラメータ情報141を取得する。これにより、初期調理パラメータ情報141が導出される。
官能情報取得部1033は、第1官能情報131bなどの調理中官能情報を導出するときには、例えば図12の(b)に示すステップS151~S153の処理を実行する。
(ステップS151)
官能情報取得部1033は、料理情報に対応する第2学習モデル152をモデル格納部150から読み出す。つまり、官能情報取得部1033は、料理情報によって示される料理名に対応する学習モデルセット150aに含まれている第2学習モデル152を、モデル格納部150から読み出す。
官能情報取得部1033は、料理情報に対応する第2学習モデル152をモデル格納部150から読み出す。つまり、官能情報取得部1033は、料理情報によって示される料理名に対応する学習モデルセット150aに含まれている第2学習モデル152を、モデル格納部150から読み出す。
(ステップS152)
官能情報取得部1033は、その読み出された第2学習モデル152に対して、最新の調理状態情報121を入力する。
官能情報取得部1033は、その読み出された第2学習モデル152に対して、最新の調理状態情報121を入力する。
(ステップS153)
官能情報取得部1033は、ステップS152での入力によって第2学習モデル152から出力される官能情報131を調理中官能情報として取得する。これにより、調理中官能情報が導出される。
官能情報取得部1033は、ステップS152での入力によって第2学習モデル152から出力される官能情報131を調理中官能情報として取得する。これにより、調理中官能情報が導出される。
このように、本実施の形態における官能情報取得部1033は、調理器300による調理が行われているときの、被調理物の画像、被調理物の重量、および被調理物に含まれる化学成分の分量を第2学習モデル152に入力することによって、調理中官能情報を取得する。これにより、調理中官能情報の取得に第2学習モデル152が用いられるため、確度の高い調理中官能情報を取得することができる。
なお、被調理物の画像、被調理物の重量、および被調理物に含まれる化学成分の分量は、画像データ121a、重量データ121c、および化学分析データ121bとして調理状態情報121に含まれていている。また、本実施の形態では、その画像データ121a、重量データ121c、および化学分析データ121bが第2学習モデル152に入力されるが、画像データ121a、化学分析データ121b、および重量データ121cのうちの1つだけ、あるいは、画像データ121a、化学分析データ121b、および重量データ121cのうち2つだけが第2学習モデル152に入力されてもよい。つまり、画像データ121a、重量データ121c、および化学分析データ121bの少なくとも1つが第2学習モデル152に入力されてもよい。このような場合であっても、確度の高い調理中官能情報を取得することができる。
パラメータ修正部1034は、修正調理パラメータ情報142を導出するときには、例えば図12の(c)に示すステップS181~S184の処理を実行する。
(ステップS181)
パラメータ修正部1034は、料理情報に対応する第3学習モデル153をモデル格納部150から読み出す。つまり、パラメータ修正部1034は、料理情報によって示される料理名に対応する学習モデルセット150aに含まれている第3学習モデル153を、モデル格納部150から読み出す。
パラメータ修正部1034は、料理情報に対応する第3学習モデル153をモデル格納部150から読み出す。つまり、パラメータ修正部1034は、料理情報によって示される料理名に対応する学習モデルセット150aに含まれている第3学習モデル153を、モデル格納部150から読み出す。
(ステップS182)
パラメータ修正部1034は、その読み出された第3学習モデル153に対して、調理中官能情報の差分と、目標官能情報131aとを入力する。
パラメータ修正部1034は、その読み出された第3学習モデル153に対して、調理中官能情報の差分と、目標官能情報131aとを入力する。
(ステップS183)
パラメータ修正部1034は、ステップS182での入力によって第3学習モデル153から出力される複数の候補を取得する。複数の候補のそれぞれは、修正調理パラメータ情報142の候補である。
パラメータ修正部1034は、ステップS182での入力によって第3学習モデル153から出力される複数の候補を取得する。複数の候補のそれぞれは、修正調理パラメータ情報142の候補である。
(ステップS184)
パラメータ修正部1034は、ステップS183で取得された複数の候補の中から、初期調理パラメータ情報141に最も近い候補を、修正調理パラメータ情報142として選択する。これにより、修正調理パラメータ情報142が導出される。
パラメータ修正部1034は、ステップS183で取得された複数の候補の中から、初期調理パラメータ情報141に最も近い候補を、修正調理パラメータ情報142として選択する。これにより、修正調理パラメータ情報142が導出される。
このように、本実施の形態におけるパラメータ修正部1034は、目標官能情報131aおよび調理中官能情報に基づいて、修正調理パラメータ情報142の複数の候補を取得する。そして、パラメータ修正部1034は、その複数の候補から、初期調理パラメータ情報141に最も近い候補を、修正調理パラメータ情報142として選択する。あるいは、パラメータ修正部1034は、その複数の候補から、初期調理パラメータ情報141との差分が閾値以下である候補を、修正調理パラメータ情報142として選択してもよい。例えば、複数の候補のそれぞれは、圧力の調理パラメータと、温度の調理パラメータと、時間の調理パラメータとを含むベクトルとして表現される。同様に、初期調理パラメータ情報141も、圧力の調理パラメータと、温度の調理パラメータと、時間の調理パラメータとを含むベクトルとして表現される。したがって、パラメータ修正部1034は、複数の候補のそれぞれのベクトルと、初期調理パラメータ情報141のベクトルとの間の距離を算出し、複数の候補から、その距離が閾値以下または最も小さい候補を、修正調理パラメータ情報142として選択してもよい。また、複数の候補のうち、例えば予め定められた1つまたは2つの調理パラメータが初期調理パラメータ情報141と同一で、かつ、残りの2つまたは1つの調理パラメータのみが初期調理パラメータ情報141と異なる候補が、修正調理パラメータ情報142として選択されてもよい。予め定められた1つまたは2つの調理パラメータは、温度の調理パラメータ、圧力の調理パラメータなどであってもよい。
これにより、複数の候補が第3学習モデル153から出力される場合であっても、初期調理パラメータ情報141と大きく異ならない候補が修正調理パラメータ情報142として採用される。したがって、初期調理パラメータ情報141の修正に伴う調理器300の処理負担を軽減することができる。また、料理の味が大きく変わることを抑えることができる。
官能情報取得部1033は、第3官能情報131dを導出するときには、例えば図12の(d)に示すステップS201~S203の処理を実行する。
(ステップS201)
官能情報取得部1033は、料理情報に対応する第4学習モデル154をモデル格納部150から読み出す。つまり、官能情報取得部1033は、料理情報によって示される料理名に対応する学習モデルセット150aに含まれている第4学習モデル154を、モデル格納部150から読み出す。
官能情報取得部1033は、料理情報に対応する第4学習モデル154をモデル格納部150から読み出す。つまり、官能情報取得部1033は、料理情報によって示される料理名に対応する学習モデルセット150aに含まれている第4学習モデル154を、モデル格納部150から読み出す。
(ステップS202)
官能情報取得部1033は、その読み出された第4学習モデル154に対して、第2官能情報131cと修正調理パラメータ情報142とを入力する。
官能情報取得部1033は、その読み出された第4学習モデル154に対して、第2官能情報131cと修正調理パラメータ情報142とを入力する。
(ステップS203)
官能情報取得部1033は、ステップS202での入力によって第4学習モデル154から出力される官能情報131を第3官能情報131dとして取得する。これにより、第3官能情報131dが導出される。
官能情報取得部1033は、ステップS202での入力によって第4学習モデル154から出力される官能情報131を第3官能情報131dとして取得する。これにより、第3官能情報131dが導出される。
このように、本実施の形態における官能情報取得部1033は、少なくとも修正調理パラメータ情報142を第4学習モデル154に入力することによって、第3官能情報131dを取得する。
[学習モデルの構築例]
図13は、第1学習モデル151の構築例を示すフローチャートである。
図13は、第1学習モデル151の構築例を示すフローチャートである。
(ステップS301)
まず、モデル作成者は、所定の料理に対して複数通りの調理パラメータ情報を生成する。なお、調理パラメータ情報は、調理器300の調理部320に用いられる1以上の調理パラメータを示す。
まず、モデル作成者は、所定の料理に対して複数通りの調理パラメータ情報を生成する。なお、調理パラメータ情報は、調理器300の調理部320に用いられる1以上の調理パラメータを示す。
(ステップS302)
次に、モデル作成者は、複数通りの調理パラメータ情報のそれぞれについて、その調理パラメータ情報にしたがった調理器300による調理を行うことによって、料理のサンプル(料理サンプルとも呼ばれる)を作る。調理器300は当該所定の料理に対応するレシピ情報が示す1または複数の食材を調理する。
次に、モデル作成者は、複数通りの調理パラメータ情報のそれぞれについて、その調理パラメータ情報にしたがった調理器300による調理を行うことによって、料理のサンプル(料理サンプルとも呼ばれる)を作る。調理器300は当該所定の料理に対応するレシピ情報が示す1または複数の食材を調理する。
(ステップS303)
モデル作成者は、ステップS302で作られた料理サンプルごとに、その料理サンプルの官能状態を評価する。官能状態は、その料理サンプルが有する1つ以上の官能度合を含む。官能度合の評価は、複数人で行われてもよい。例えば、複数人のそれぞれが、料理サンプルを試食し、その料理サンプルに対する官能度合を評価する。そして、複数人の評価によって得られる複数の官能度合の平均値が、その料理サンプルに対する最終的な官能度合として用いられてもよい。
モデル作成者は、ステップS302で作られた料理サンプルごとに、その料理サンプルの官能状態を評価する。官能状態は、その料理サンプルが有する1つ以上の官能度合を含む。官能度合の評価は、複数人で行われてもよい。例えば、複数人のそれぞれが、料理サンプルを試食し、その料理サンプルに対する官能度合を評価する。そして、複数人の評価によって得られる複数の官能度合の平均値が、その料理サンプルに対する最終的な官能度合として用いられてもよい。
(ステップS304)
モデル作成者は、上記所定の料理に対する第1学習モデル151を構築するための機械学習アルゴリズムを選定する。
モデル作成者は、上記所定の料理に対する第1学習モデル151を構築するための機械学習アルゴリズムを選定する。
(ステップS305)
モデル作成者は、上記所定の料理に対応付けられている官能状態と、調理パラメータ情報との関係を、ステップS304で選定された機械学習アルゴリズムにしたがって学習モデルに学習させる。
モデル作成者は、上記所定の料理に対応付けられている官能状態と、調理パラメータ情報との関係を、ステップS304で選定された機械学習アルゴリズムにしたがって学習モデルに学習させる。
(ステップS306)
モデル作成者は、ステップS305の処理で学習済みの学習モデルを検証する。つまり、モデル作成者は、官能状態を示す官能情報の学習モデルへの入力に対して、その学習モデルから正しい調理パラメータ情報が初期調理パラメータ情報141として出力されるか否かを検証する。正しい調理パラメータ情報が出力されると検証された学習モデルが、所定の料理に対応する第1学習モデル151としてサーバ100のモデル格納部150に格納される。なお、正しい調理パラメータ情報とは、その調理パラメータ情報にしたがった調理によって、学習モデルに入力された官能状態の料理が実際に作られる情報である。
モデル作成者は、ステップS305の処理で学習済みの学習モデルを検証する。つまり、モデル作成者は、官能状態を示す官能情報の学習モデルへの入力に対して、その学習モデルから正しい調理パラメータ情報が初期調理パラメータ情報141として出力されるか否かを検証する。正しい調理パラメータ情報が出力されると検証された学習モデルが、所定の料理に対応する第1学習モデル151としてサーバ100のモデル格納部150に格納される。なお、正しい調理パラメータ情報とは、その調理パラメータ情報にしたがった調理によって、学習モデルに入力された官能状態の料理が実際に作られる情報である。
図14は、第2学習モデル152の構築例を示すフローチャートである。
(ステップS311)
まず、モデル作成者は、所定の料理に対して複数通りのレシピ情報を生成する。なお、レシピ情報は、所定の料理に用いられる1以上の材料と、1以上の材料のそれぞれの分量とを示す。
まず、モデル作成者は、所定の料理に対して複数通りのレシピ情報を生成する。なお、レシピ情報は、所定の料理に用いられる1以上の材料と、1以上の材料のそれぞれの分量とを示す。
(ステップS312)
次に、モデル作成者は、複数通りのレシピ情報のそれぞれについて、そのレシピ情報にしたがった調理器300による調理を行うことによって、料理サンプルを作る。なお、この料理サンプルは、調理開始から上述の第1時間経過時点または第2時間経過時点におけるサンプルであってもよい。
次に、モデル作成者は、複数通りのレシピ情報のそれぞれについて、そのレシピ情報にしたがった調理器300による調理を行うことによって、料理サンプルを作る。なお、この料理サンプルは、調理開始から上述の第1時間経過時点または第2時間経過時点におけるサンプルであってもよい。
(ステップS313)
モデル作成者は、ステップS312で作られた料理サンプルごとに、その料理サンプルの調理状態を特定する。つまり、モデル作成者は、カメラを用いて料理サンプルを撮像することによって画像データを取得し、化学分析装置を用いて料理サンプルを分析することによって化学分析データを取得し、重量計を用いて料理サンプルの重量データを取得する。これにより、画像データ、化学分析データおよび重量データが料理サンプルの調理状態として特定される。
モデル作成者は、ステップS312で作られた料理サンプルごとに、その料理サンプルの調理状態を特定する。つまり、モデル作成者は、カメラを用いて料理サンプルを撮像することによって画像データを取得し、化学分析装置を用いて料理サンプルを分析することによって化学分析データを取得し、重量計を用いて料理サンプルの重量データを取得する。これにより、画像データ、化学分析データおよび重量データが料理サンプルの調理状態として特定される。
(ステップS314)
モデル作成者は、ステップS312で作られた料理サンプルごとに、その料理サンプルの官能状態、すなわち、その料理サンプルが有する1つ以上の官能度合を計測する。
モデル作成者は、ステップS312で作られた料理サンプルごとに、その料理サンプルの官能状態、すなわち、その料理サンプルが有する1つ以上の官能度合を計測する。
(ステップS315)
モデル作成者は、上記所定の料理に対する第2学習モデル152を構築するための機械学習アルゴリズムを選定する。
モデル作成者は、上記所定の料理に対する第2学習モデル152を構築するための機械学習アルゴリズムを選定する。
(ステップS316)
モデル作成者は、調理状態と官能状態との関係を、ステップS315で選定された機械学習アルゴリズムにしたがって学習モデルに学習させる。
モデル作成者は、調理状態と官能状態との関係を、ステップS315で選定された機械学習アルゴリズムにしたがって学習モデルに学習させる。
(ステップS317)
モデル作成者は、ステップS316の処理で学習済みの学習モデルを検証する。つまり、モデル作成者は、調理状態を示す調理状態情報の学習モデルへの入力に対して、その学習モデルから正しい官能状態を示す官能情報として出力されるか否かを検証する。正しい官能状態を示す官能情報が出力されると検証された学習モデルが、所定の料理に対応する第2学習モデル152としてサーバ100のモデル格納部150に格納される。なお、正しい官能状態とは、学習モデルに入力された調理状態の料理サンプルの実際の官能状態である。
モデル作成者は、ステップS316の処理で学習済みの学習モデルを検証する。つまり、モデル作成者は、調理状態を示す調理状態情報の学習モデルへの入力に対して、その学習モデルから正しい官能状態を示す官能情報として出力されるか否かを検証する。正しい官能状態を示す官能情報が出力されると検証された学習モデルが、所定の料理に対応する第2学習モデル152としてサーバ100のモデル格納部150に格納される。なお、正しい官能状態とは、学習モデルに入力された調理状態の料理サンプルの実際の官能状態である。
このように、本実施の形態における第2学習モデル152は、調理器300で調理されている1以上の食材の画像、1以上の食材の重量、および1以上の食材に含まれる化学成分の分量の入力に対して、その1以上の食材の官能に関する1つ以上の数値が出力されるように機械学習されている。なお、1以上の食材の官能に関する1つ以上の数値は、上述の官能状態あるいは官能情報131に相当する。また、1以上の食材の画像、重量、および化学成分の分量は、上述の画像データ121a、重量データ121c、および化学分析データ121bにそれぞれ相当し、これらのデータによって上述の料理サンプルの調理状態が表現されている。また、本実施の形態における機械学習では、その画像、重量、および化学成分の分量が学習モデルに入力されるが、画像、重量、および化学成分の分量のうちの1つだけ、あるいは画像、重量、および化学成分の分量のうち2つだけが学習モデルに入力されてもよい。つまり、第2学習モデル152は、1以上の食材の画像、重量、および化学成分の分量の少なくとも1つの入力に対して、その1以上の食材の官能状態を示す官能情報が出力されるように機械学習されていていてもよい。
これにより、官能情報取得部1033によって被調理物の画像データ121a、重量データ121c、および化学分析データ121bの少なくとも1つが、第2学習モデル152に入力されると、その第2学習モデル152から、確度の高い調理中官能情報を取得することができる。
図15は、第3学習モデル153の構築例を示すフローチャートである。
(ステップS321)
まず、モデル作成者は、所定の料理に対して複数通りの調理パラメータ情報を生成する。
まず、モデル作成者は、所定の料理に対して複数通りの調理パラメータ情報を生成する。
(ステップS322)
次に、モデル作成者は、複数通りの調理パラメータ情報のそれぞれについて、その調理パラメータ情報にしたがった調理器300による料理サンプルの調理を開始する。
次に、モデル作成者は、複数通りの調理パラメータ情報のそれぞれについて、その調理パラメータ情報にしたがった調理器300による料理サンプルの調理を開始する。
(ステップS323)
モデル作成者は、ステップS322で調理が開始された後、料理サンプルごとに、その料理サンプルの官能状態を2つの時点で計測する。そして、モデル作成者は、2つの時点で計測された官能状態に基づいて差分情報を算出する。なお、その2つの時点は、調理器300による調理が行われているときの時点である。つまり、計測される官能状態は、調理中の官能状態である。また、その2つの時点は、上述の第1時間経過時点および第2時間経過時点であってもよい。
モデル作成者は、ステップS322で調理が開始された後、料理サンプルごとに、その料理サンプルの官能状態を2つの時点で計測する。そして、モデル作成者は、2つの時点で計測された官能状態に基づいて差分情報を算出する。なお、その2つの時点は、調理器300による調理が行われているときの時点である。つまり、計測される官能状態は、調理中の官能状態である。また、その2つの時点は、上述の第1時間経過時点および第2時間経過時点であってもよい。
(ステップS324)
そして、モデル作成者は、調理中に、調理パラメータ情報を複数の通りに修正する。つまり、モデル作成者は、修正前の調理パラメータ情報にしたがった調理を中断し、修正後の調理パラメータ情報にしたがった調理を開始する。
そして、モデル作成者は、調理中に、調理パラメータ情報を複数の通りに修正する。つまり、モデル作成者は、修正前の調理パラメータ情報にしたがった調理を中断し、修正後の調理パラメータ情報にしたがった調理を開始する。
(ステップS325)
モデル作成者は、修正後の調理パラメータ情報で作られた料理サンプルごとに、その料理サンプルの官能状態、すなわち、その料理サンプルが有する1以上の官能度合を計測する。このとき計測される官能状態は、調理後の最終的な官能状態である。
モデル作成者は、修正後の調理パラメータ情報で作られた料理サンプルごとに、その料理サンプルの官能状態、すなわち、その料理サンプルが有する1以上の官能度合を計測する。このとき計測される官能状態は、調理後の最終的な官能状態である。
(ステップS326)
モデル作成者は、上記所定の料理に対する第3学習モデル153を構築するための機械学習アルゴリズムを選定する。
モデル作成者は、上記所定の料理に対する第3学習モデル153を構築するための機械学習アルゴリズムを選定する。
(ステップS327)
モデル作成者は、ステップS323で算出された調理中の官能状態の差分、およびステップS325で計測された最終的な官能状態と、修正後の調理パラメータ情報との関係を、ステップS326で選定された機械学習アルゴリズムにしたがって学習モデルに学習させる。
モデル作成者は、ステップS323で算出された調理中の官能状態の差分、およびステップS325で計測された最終的な官能状態と、修正後の調理パラメータ情報との関係を、ステップS326で選定された機械学習アルゴリズムにしたがって学習モデルに学習させる。
(ステップS328)
モデル作成者は、ステップS327の処理で学習済みの学習モデルを検証する。つまり、モデル作成者は、調理中の官能状態の差分および最終的な官能状態を示す官能情報の学習モデルへの入力に対して、その学習モデルから正しい修正後の調理パラメータ情報が修正調理パラメータ情報142として出力されるか否かを検証する。正しい修正後の調理パラメータ情報が出力されると検証された学習モデルが、第3学習モデル153としてサーバ100のモデル格納部150に格納される。なお、上述の最終的な官能状態は、目標官能情報131aに相当する。また、正しい修正後の調理パラメータ情報とは、学習モデルに入力された官能状態の差分のように官能状態が変化している場合に、学習モデルに入力された最終的な官能状態の料理を作るために実際に必要とされる情報である。このように構築される学習モデル、すなわち第3学習モデル153によって、調理中の官能状態を目標官能情報131aに近づける修正調理パラメータ情報142を取得することができる。
モデル作成者は、ステップS327の処理で学習済みの学習モデルを検証する。つまり、モデル作成者は、調理中の官能状態の差分および最終的な官能状態を示す官能情報の学習モデルへの入力に対して、その学習モデルから正しい修正後の調理パラメータ情報が修正調理パラメータ情報142として出力されるか否かを検証する。正しい修正後の調理パラメータ情報が出力されると検証された学習モデルが、第3学習モデル153としてサーバ100のモデル格納部150に格納される。なお、上述の最終的な官能状態は、目標官能情報131aに相当する。また、正しい修正後の調理パラメータ情報とは、学習モデルに入力された官能状態の差分のように官能状態が変化している場合に、学習モデルに入力された最終的な官能状態の料理を作るために実際に必要とされる情報である。このように構築される学習モデル、すなわち第3学習モデル153によって、調理中の官能状態を目標官能情報131aに近づける修正調理パラメータ情報142を取得することができる。
図16は、第4学習モデル154の構築例を示すフローチャートである。
(ステップS331)
まず、モデル作成者は、所定の料理に対して複数通りの調理パラメータ情報を生成する。
まず、モデル作成者は、所定の料理に対して複数通りの調理パラメータ情報を生成する。
(ステップS332)
次に、モデル作成者は、複数通りの調理パラメータ情報のそれぞれについて、その調理パラメータ情報にしたがった調理器300による料理サンプルの調理を開始する。
次に、モデル作成者は、複数通りの調理パラメータ情報のそれぞれについて、その調理パラメータ情報にしたがった調理器300による料理サンプルの調理を開始する。
(ステップS333)
そして、モデル作成者は、ステップS332で調理が開始された後、料理サンプルごとに、その料理サンプルの官能状態を計測する。このとき計測される官能状態は、調理中の官能状態である。さらに、モデル作成者は、調理中に、調理パラメータ情報を複数の通りに修正する。つまり、モデル作成者は、修正前の調理パラメータ情報にしたがった調理を中断し、修正後の調理パラメータ情報にしたがった調理を開始する。なお、ステップS333の処理は、調理開始から上述の第2時間が経過した時点で行われてもよい。ステップS333の処理は、調理開始から上述の第2時間が経過した時点から開始されてもよい。
そして、モデル作成者は、ステップS332で調理が開始された後、料理サンプルごとに、その料理サンプルの官能状態を計測する。このとき計測される官能状態は、調理中の官能状態である。さらに、モデル作成者は、調理中に、調理パラメータ情報を複数の通りに修正する。つまり、モデル作成者は、修正前の調理パラメータ情報にしたがった調理を中断し、修正後の調理パラメータ情報にしたがった調理を開始する。なお、ステップS333の処理は、調理開始から上述の第2時間が経過した時点で行われてもよい。ステップS333の処理は、調理開始から上述の第2時間が経過した時点から開始されてもよい。
(ステップS334)
モデル作成者は、修正後の調理パラメータ情報で作られた料理サンプルごとに、その料理サンプルの官能状態、すなわち、その料理サンプルが有する1つ以上の官能度合を計測する。このとき計測される官能状態は、調理後の最終的な官能状態である。
モデル作成者は、修正後の調理パラメータ情報で作られた料理サンプルごとに、その料理サンプルの官能状態、すなわち、その料理サンプルが有する1つ以上の官能度合を計測する。このとき計測される官能状態は、調理後の最終的な官能状態である。
(ステップS335)
モデル作成者は、上記所定の料理に対する第4学習モデル154を構築するための機械学習アルゴリズムを選定する。
モデル作成者は、上記所定の料理に対する第4学習モデル154を構築するための機械学習アルゴリズムを選定する。
(ステップS336)
モデル作成者は、ステップS334で計測された最終的な官能状態と、ステップS333で計測された調理中の官能状態、および、修正後の調理パラメータ情報との関係を、ステップS335で選定された機械学習アルゴリズムにしたがって学習モデルに学習させる。
モデル作成者は、ステップS334で計測された最終的な官能状態と、ステップS333で計測された調理中の官能状態、および、修正後の調理パラメータ情報との関係を、ステップS335で選定された機械学習アルゴリズムにしたがって学習モデルに学習させる。
(ステップS337)
モデル作成者は、ステップS336の処理で学習済みの学習モデルを検証する。つまり、モデル作成者は、調理中の官能状態を示す官能情報および修正後の調理パラメータ情報の学習モデルへの入力に対して、その学習モデルから正しい最終的な官能状態が第3官能情報131dとして出力されるか否かを検証する。正しい最終的な官能状態を示す官能情報が出力されると検証された学習モデルが、第4学習モデル154としてサーバ100のモデル格納部150に格納される。
モデル作成者は、ステップS336の処理で学習済みの学習モデルを検証する。つまり、モデル作成者は、調理中の官能状態を示す官能情報および修正後の調理パラメータ情報の学習モデルへの入力に対して、その学習モデルから正しい最終的な官能状態が第3官能情報131dとして出力されるか否かを検証する。正しい最終的な官能状態を示す官能情報が出力されると検証された学習モデルが、第4学習モデル154としてサーバ100のモデル格納部150に格納される。
このように、本実施の形態における第4学習モデル154は、少なくとも、調理器300による調理中に変更された1以上の調理パラメータの入力に対して、その1以上の調理パラメータにしたがった調理器300による調理によって得られる料理の官能に関する1つ以上の数値が出力されるように機械学習されている。なお、修正された1以上の調理パラメータは、修正調理パラメータ情報142に相当し、料理の官能に関する1つ以上の数値は、料理の最終的な官能状態を示す情報であって、第3官能情報131dに相当する。なお、正しい最終的な官能状態とは、学習モデルに入力された調理中の官能状態の料理サンプルに対して、学習モデルに入力された修正後の調理パラメータ情報にしたがった調理が行われることによって得られる、最終的な料理サンプルの実際の官能状態である。
このような機械学習された第4学習モデル154が第3官能情報131dの取得に用いられるため、確度の高い第3官能情報131dを取得することができる。
以上、本実施の形態における情報処理システム1000では、調理者がわざわざ調理パラメータを調整することなく、料理の官能を適切に制御することができる。また、調理者は、調理によって得られる料理の官能を適切に把握することができる。つまり、調理者は、調理者が希望する官能度合を有する料理が作られるか否か、または、最終的に作られる料理の官能度合が希望にどれだけ近いかを確認することができる。
<その他の態様>
以上、本開示に係る情報処理システム、サーバ、操作端末などについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものも、本開示の範囲内に含まれる。
以上、本開示に係る情報処理システム、サーバ、操作端末などについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態に施したものも、本開示の範囲内に含まれる。
例えば、上記実施の形態における操作端末200は、調理器300とは独立した装置であるが、調理器300に組み込まれていてもよい。つまり、操作端末200の各種機能のうち、情報処理システム1000に用いられる機能が調理器300に備えられていてもよい。また、操作端末200は、パーソナルコンピュータとして構成されていてもよい。
また、上記実施の形態における調理者は、情報処理システム1000を利用するユーザであってもよく、操作端末200または調理器300の操作者であってもよい。
また、上記実施の形態におけるサーバ100は、第1記憶部110、第2記憶部120、第3記憶部130、第4記憶部140、およびモデル格納部150を備えているが、これらの記録媒体を備えていなくてもよい。例えば、サーバ100は、サーバ100の外部にあって、それらの記録媒体を有する装置と通信することによって、それらの記録媒体を利用してもよい。
また、上記実施の形態におけるサーバ100は、料理情報および目標官能情報131aに基づいて、調理器300による調理に用いられる1以上の調理パラメータを含む調理パラメータ情報を取得する。つまり、サーバ100は、初期調理パラメータ情報141を取得する。しかし、サーバ100は、初期調理パラメータ情報141を取得しなくてもよい。この場合、サーバ100は、調理器300による基本調理パラメータ情報113にしたがった被調理物に対する調理が行われているときの、その被調理物の調理中官能情報を取得する。あるいは、サーバ100は、調理器300によって生成される初期調理パラメータ情報141を取得してもよい。
言い換えれば、本開示に係る制御方法は、被調理物を調理する調理器を制御するためにコンピュータが実行する制御方法であって、以下の各処理動作を行ってもよい。つまり、その制御方法では、前記被調理物の調理によって得られる料理を示す料理情報を取得し、取得された前記料理情報に基づいて、前記調理器による調理に用いられる1以上の調理パラメータを含む調理パラメータ情報を取得し、官能に関する1つ以上の数値に対して目標とされる数値を示す目標官能情報とを取得する。さらに、その制御方法では、前記調理器による前記調理パラメータ情報にしたがった前記被調理物に対する調理が行われているときの、前記被調理物の前記官能に関する1つ以上の数値を示す調理中官能情報を取得し、前記目標官能情報および前記調理中官能情報に基づいて、前記調理パラメータ情報を、1以上の修正調理パラメータを含む修正調理パラメータ情報に変更し、前記修正調理パラメータ情報を含む制御信号を出力する。なお、その調理パラメータ情報は、基本調理パラメータ情報113あるいは初期調理パラメータ情報141であって、調理器300から取得されてもよい。また、制御信号は、調理器300に出力または送信されてもよい。このような制御方法であっても、上記実施の形態における制御方法と同等の作用効果を奏することができる。
また、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態におけるサーバ100および操作端末200などのシステムを実現するプログラムは、例えば、図10のシーケンス図に含まれる各ステップをプロセッサに実行させてもよい。また、上記実施の形態におけるサーバ100を実現するプログラムは、図11および12のそれぞれのフローチャートに含まれる各ステップをプロセッサに実行させてもよい。
(ハードウェア構成)
上記のサーバ100または操作端末200は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクドライブ、ディスプレイユニット、キーボード、およびマウスなどから構成されるコンピュータシステムにより構成されても良い。RAMまたはハードディスクドライブには、プログラムが記憶されている。マイクロプロセッサが、プログラムに従って動作することにより、サーバ100または操作端末200は、その機能を達成する。ここでプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
上記のサーバ100または操作端末200は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクドライブ、ディスプレイユニット、キーボード、およびマウスなどから構成されるコンピュータシステムにより構成されても良い。RAMまたはハードディスクドライブには、プログラムが記憶されている。マイクロプロセッサが、プログラムに従って動作することにより、サーバ100または操作端末200は、その機能を達成する。ここでプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
さらに、上記のサーバ100または操作端末200を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されても良い。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
さらにまた、上記のサーバ100または操作端末200を構成する構成要素の一部または全部は、コンピュータに脱着可能なICカードまたは単体のモジュールから構成されても良い。ICカードまたはモジュールは、マイクロプロセッサ、ROM、およびRAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含んでも良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有してもよい。
また、本開示は、上記のサーバ100または操作端末200により実行される制御方法または情報提供方法であるとしても良い。また、これらの方法は、コンピュータがプログラムを実行することで実現されてもよいし、プログラムからなるデジタル信号で実現されてもよい。
さらに、本開示は、プログラムまたはデジタル信号をコンピュータ読み取り可能な非一時的な記録媒体で構成されてもよい。記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(登録商標) Disc)、半導体メモリなどである。また、プログラムは、非一時的な記録媒体に記録されている上記デジタル信号で構成されてもよい。
また、本開示は、上記プログラムまたはデジタル信号を、電気通信回線、無線若しくは有線通信回線、インターネットを代表とするネットワーク、またはデータ放送などを経由して伝送することで構成されてもよい。
また、本開示は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、上記メモリは、プログラムを記憶しており、マイクロプロセッサは、そのプログラムに従って動作するとしても良い。
また、プログラムもしくはデジタル信号を上記非一時的な記録媒体に記録して移送することにより、または、プログラムもしくはデジタル信号を、上記ネットワークなどを経由して移送することにより、独立した他のコンピュータシステムにより実施されてもよい。
(その他)
本開示の実施の形態の変形例は下記に示すようなものであってもよい。
本開示の実施の形態の変形例は下記に示すようなものであってもよい。
コンピュータが実行する方法であって、
(a)ユーザが指定した第1酸味度合いを含む情報と1または複数の材料を示す情報に基づいて、第1温度を含む情報を決定し、これにより、調理器は前記第1酸味度合いを有する料理を生成するために、第1条件で第1時刻から前記1つまたは複数の材料の調理を開始し、前記第1条件は、前記調理器は前記1つまたは複数の材料を前記第1温度で調理することを含み、
(b)第2時刻にカメラで撮影された、前記第1時刻から前記第2時刻まで前記第1条件で調理された前記1または複数の材料の第1画像に基づいて、前記第1時刻から前記第2時刻まで前記第1条件で調理された前記1または複数の材料の第2酸味度合いを決定し、
(c)第3時刻にカメラで撮影された、前記第1時刻から前記第3時刻まで前記第1条件で調理された前記1または複数の材料の第2画像に基づいて、前記第1時刻から前記第3時刻まで前記第1条件で調理された前記1または複数の材料の第3酸味度合いを決定し、
(d)前記第1酸味度合い、前記第2酸味度合い、前記第3酸味度合いに基づいて、第2温度を含む情報を決定し、これにより、前記調理器は前記第1酸味度合いを有する前記料理を生成するために、前記第1時刻から第4時刻まで調理された前記1つまたは複数の材料を第5時刻から第2条件で調理し、
前記第2条件は、前記調理器は前記第1時刻から前記第4時刻まで調理された前記1つまたは複数の材料を第2温度で調理することを含み、前記第5時刻は、前記第4時刻より遅いまたは前記第4時刻と同じ、
前記第4時刻は、前記第2時刻及び前記第3時刻より遅い、
前記第2時刻及び前記第3時刻は前記第1時刻より遅い、
方法。
(a)ユーザが指定した第1酸味度合いを含む情報と1または複数の材料を示す情報に基づいて、第1温度を含む情報を決定し、これにより、調理器は前記第1酸味度合いを有する料理を生成するために、第1条件で第1時刻から前記1つまたは複数の材料の調理を開始し、前記第1条件は、前記調理器は前記1つまたは複数の材料を前記第1温度で調理することを含み、
(b)第2時刻にカメラで撮影された、前記第1時刻から前記第2時刻まで前記第1条件で調理された前記1または複数の材料の第1画像に基づいて、前記第1時刻から前記第2時刻まで前記第1条件で調理された前記1または複数の材料の第2酸味度合いを決定し、
(c)第3時刻にカメラで撮影された、前記第1時刻から前記第3時刻まで前記第1条件で調理された前記1または複数の材料の第2画像に基づいて、前記第1時刻から前記第3時刻まで前記第1条件で調理された前記1または複数の材料の第3酸味度合いを決定し、
(d)前記第1酸味度合い、前記第2酸味度合い、前記第3酸味度合いに基づいて、第2温度を含む情報を決定し、これにより、前記調理器は前記第1酸味度合いを有する前記料理を生成するために、前記第1時刻から第4時刻まで調理された前記1つまたは複数の材料を第5時刻から第2条件で調理し、
前記第2条件は、前記調理器は前記第1時刻から前記第4時刻まで調理された前記1つまたは複数の材料を第2温度で調理することを含み、前記第5時刻は、前記第4時刻より遅いまたは前記第4時刻と同じ、
前記第4時刻は、前記第2時刻及び前記第3時刻より遅い、
前記第2時刻及び前記第3時刻は前記第1時刻より遅い、
方法。
上記(a)は、例えば、第1学習モデルとその関連記載にサポートされている。
上記(b)(c)は、例えば、第2学習モデルとその関連記載にサポートされている。
上記(d)は、例えば、第3学習モデルとその関連記載にサポートされている。
上記(d)は、例えば、第3学習モデルとその関連記載にサポートされている。
本開示は、料理の官能度合を適切に制御することができるという効果を奏し、調理に関する制御または情報提供を行うシステムまたは装置などに有用である。
100 サーバ
103 サーバ制御部
104 サーバ記憶部
105 サーバ通信部
110 第1記憶部
111 料理リスト情報
112 レシピ情報
113 基本調理パラメータ情報
114 基本官能情報
120 第2記憶部
121 調理状態情報
121a 画像データ
121b 化学分析データ
121c 重量データ
130 第3記憶部
131 官能情報
131a 目標官能情報
131b 第1官能情報
131c 第2官能情報
131d 第3官能情報
140 第4記憶部
141 初期調理パラメータ情報
142 修正調理パラメータ情報
150 モデル格納部
150a 学習モデルセット
151 第1学習モデル
152 第2学習モデル
153 第3学習モデル
154 第4学習モデル
200 操作端末
201 入力部
202 表示部
203 端末制御部
204 端末記憶部
205 端末通信部
300 調理器
303 調理制御部
304 調理記憶部
305 調理通信部
310 調理状態取得部
311 重量測定部
312 撮像部
313 化学分析部
320 調理部
321 圧力調整部
322 温度調整部
323 時間調整部
1000 情報処理システム
1031 入力取得部
1032 パラメータ取得部
1033 官能情報取得部
1034 パラメータ修正部
1035 処理部
1037 パラメータ出力部
103 サーバ制御部
104 サーバ記憶部
105 サーバ通信部
110 第1記憶部
111 料理リスト情報
112 レシピ情報
113 基本調理パラメータ情報
114 基本官能情報
120 第2記憶部
121 調理状態情報
121a 画像データ
121b 化学分析データ
121c 重量データ
130 第3記憶部
131 官能情報
131a 目標官能情報
131b 第1官能情報
131c 第2官能情報
131d 第3官能情報
140 第4記憶部
141 初期調理パラメータ情報
142 修正調理パラメータ情報
150 モデル格納部
150a 学習モデルセット
151 第1学習モデル
152 第2学習モデル
153 第3学習モデル
154 第4学習モデル
200 操作端末
201 入力部
202 表示部
203 端末制御部
204 端末記憶部
205 端末通信部
300 調理器
303 調理制御部
304 調理記憶部
305 調理通信部
310 調理状態取得部
311 重量測定部
312 撮像部
313 化学分析部
320 調理部
321 圧力調整部
322 温度調整部
323 時間調整部
1000 情報処理システム
1031 入力取得部
1032 パラメータ取得部
1033 官能情報取得部
1034 パラメータ修正部
1035 処理部
1037 パラメータ出力部
Claims (14)
- 被調理物を調理する調理器を制御するためにコンピュータが実行する制御方法であって、
前記被調理物の調理によって得られる料理の官能に関する1つ以上の数値に対する目標を示す目標官能情報を取得し、
取得された前記目標官能情報に基づいて、前記調理器による調理に用いられる1以上の調理パラメータを含む調理パラメータ情報を取得し、
前記調理器による調理が行われているときの、前記被調理物の前記官能に関する1つ以上の数値を示す調理中官能情報を取得し、
前記目標官能情報および前記調理中官能情報に基づいて、前記調理パラメータ情報を、1以上の修正調理パラメータを含む修正調理パラメータ情報に変更し、
前記修正調理パラメータ情報を含む制御信号を出力する、
制御方法。 - 前記調理中官能情報の取得では、
前記調理器による調理開始から第1時間経過時点における前記調理中官能情報を、第1官能情報として取得し、
前記調理器による調理開始から前記第1時間経過後の第2時間経過時点における前記調理中官能情報を、第2官能情報として取得し、
前記調理パラメータ情報の変更では、
前記第1官能情報と前記第2官能情報との差分と、前記目標官能情報とに基づいて、前記調理パラメータ情報を前記修正調理パラメータ情報に変更する、
請求項1に記載の制御方法。 - 前記制御方法では、さらに、
前記調理器による前記修正調理パラメータ情報にしたがった調理によって得られる前記料理の前記官能に関する1つ以上の数値を示す第3官能情報を取得する、
請求項1に記載の制御方法。 - 前記調理パラメータ情報の変更では、
前記目標官能情報および前記調理中官能情報に基づいて、前記修正調理パラメータ情報の複数の候補を取得し、
前記複数の候補から、前記調理パラメータ情報との差分が閾値以下である候補、または、前記調理パラメータ情報に最も近い候補を、前記修正調理パラメータ情報として選択する、
請求項1に記載の制御方法。 - 前記第3官能情報の取得では、
少なくとも前記修正調理パラメータ情報を学習モデルに入力することによって、前記第3官能情報を取得し、
前記学習モデルは、少なくとも、前記調理器による調理中に変更された1以上の調理パラメータの入力に対して、前記1以上の調理パラメータにしたがった前記調理器による調理によって得られる前記料理の前記官能に関する1つ以上の数値が出力されるように機械学習されている、
請求項3に記載の制御方法。 - 前記調理中官能情報の取得では、
前記調理器による調理が行われているときの、前記被調理物の画像、前記被調理物の重量、および前記被調理物に含まれる化学成分の分量の少なくとも1つを学習モデルに入力することによって、前記調理中官能情報を取得する、
請求項1に記載の制御方法。 - 前記学習モデルは、
前記調理器で調理されている1以上の食材の画像、前記1以上の食材の重量、および前記1以上の食材に含まれる化学成分の分量の少なくとも1つの入力に対して、前記1以上の食材の前記官能に関する1つ以上の数値が出力されるように機械学習されている、
請求項6に記載の制御方法。 - 前記1以上の調理パラメータは、前記調理器による調理に用いられる温度を示すパラメータと、前記調理器による調理に用いられる時間を示すパラメータとを含む、
請求項1~7の何れか1項に記載の制御方法。 - 前記1以上の調理パラメータは、さらに、前記調理器による調理に用いられる圧力を示すパラメータを含む、
請求項8に記載の制御方法。 - 調理器による被調理物の調理に関する情報をコンピュータが提供する情報提供方法であって、
ユーザによる操作に応じて、前記被調理物の調理によって得られる料理の官能に関する1つ以上の数値に対する目標を示す目標官能情報を受け付け、
前記目標官能情報と、前記調理器による前記被調理物に対する調理が行われているときの、前記被調理物の前記官能に関する1つ以上の数値を示す調理中官能情報とに基づいて導出される、前記料理の前記官能に関する最終官能情報を出力する、
情報提供方法。 - 被調理物を調理する調理器を制御する制御システムであって、
前記被調理物の調理によって得られる料理の官能に関する1つ以上の数値に対する目標を示す目標官能情報を取得する入力取得部と、
取得された前記目標官能情報に基づいて、前記調理器による調理に用いられる1以上の調理パラメータを含む調理パラメータ情報を取得するパラメータ取得部と、
前記調理器による調理が行われているときの、前記被調理物の前記官能に関する1つ以上の数値を示す調理中官能情報を取得する官能情報取得部と、
前記目標官能情報および前記調理中官能情報に基づいて、前記調理パラメータ情報を、1以上の修正調理パラメータを含む修正調理パラメータ情報に修正するパラメータ修正部と、
前記修正調理パラメータ情報を含む制御信号を前記調理器に出力するパラメータ出力部とを備える、
制御システム。 - 調理器による被調理物の調理に関する情報を提供する情報提供システムであって、
ユーザによる操作に応じて、前記被調理物の調理によって得られる料理の官能に関する1つ以上の数値に対する目標を示す目標官能情報を受け付ける入力部と、
前記目標官能情報と、前記調理器による前記被調理物に対する調理が行われているときの、前記被調理物の前記官能に関する1つ以上の数値を示す調理中官能情報とに基づいて導出される、前記料理の前記官能に関する最終官能情報を出力する出力部とを備える、
情報提供システム。 - 被調理物を調理する調理器を制御するためのプログラムであって、
前記被調理物の調理によって得られる料理の官能に関する1つ以上の数値に対する目標を示す目標官能情報を取得し、
取得された前記目標官能情報に基づいて、前記調理器による調理に用いられる1以上の調理パラメータを含む調理パラメータ情報を取得し、
前記調理器による調理が行われているときの、前記被調理物の前記官能に関する1つ以上の数値を示す調理中官能情報を取得し、
前記目標官能情報および前記調理中官能情報に基づいて、前記調理パラメータ情報を、1以上の修正調理パラメータを含む修正調理パラメータ情報に変更し、
前記修正調理パラメータ情報を含む制御信号を出力することを、
コンピュータに実行させる、
プログラム。 - 調理器による被調理物の調理に関する情報を提供するためのプログラムであって、
ユーザによる操作に応じて、前記被調理物の調理によって得られる料理の官能に関する1つ以上の数値に対する目標を示す目標官能情報を受け付け、
前記目標官能情報と、前記調理器による前記被調理物に対する調理が行われているときの、前記被調理物の前記官能に関する1つ以上の数値を示す調理中官能情報とに基づいて導出される、前記料理の前記官能に関する最終官能情報を出力することを、
コンピュータに実行させる、
プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022169117 | 2022-10-21 | ||
JP2022-169117 | 2022-10-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024084964A1 true WO2024084964A1 (ja) | 2024-04-25 |
Family
ID=90737312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2023/036101 WO2024084964A1 (ja) | 2022-10-21 | 2023-10-03 | 制御方法、情報提供方法、制御システム、情報提供システム、およびプログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024084964A1 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008165294A (ja) * | 2006-12-27 | 2008-07-17 | Kenko-Plus Inc | 情報処理システム、情報処理装置、ユーザ端末、情報処理方法、及びプログラム |
JP2009059231A (ja) * | 2007-08-31 | 2009-03-19 | Fujitsu Ltd | 導出装置及びコンピュータプログラム |
JP2018059739A (ja) * | 2016-10-03 | 2018-04-12 | 大阪瓦斯株式会社 | ポリフェノール抽出量評価システム |
WO2018167850A1 (ja) * | 2017-03-14 | 2018-09-20 | 三菱電機株式会社 | 加熱調理器 |
JP2020135417A (ja) * | 2019-02-20 | 2020-08-31 | Kddi株式会社 | 食材又は調味料の使用量を推定する情報装置、プログラム及び方法 |
JP2020184409A (ja) * | 2019-04-26 | 2020-11-12 | 株式会社プロデュース・オン・デマンド | 調理装置及び調理システム |
US10909979B1 (en) * | 2017-11-21 | 2021-02-02 | Ewig Industries Macao Commercial Offshore Limited | Voice controlled remote thermometer |
JP2021034223A (ja) * | 2019-08-23 | 2021-03-01 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
-
2023
- 2023-10-03 WO PCT/JP2023/036101 patent/WO2024084964A1/ja unknown
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008165294A (ja) * | 2006-12-27 | 2008-07-17 | Kenko-Plus Inc | 情報処理システム、情報処理装置、ユーザ端末、情報処理方法、及びプログラム |
JP2009059231A (ja) * | 2007-08-31 | 2009-03-19 | Fujitsu Ltd | 導出装置及びコンピュータプログラム |
JP2018059739A (ja) * | 2016-10-03 | 2018-04-12 | 大阪瓦斯株式会社 | ポリフェノール抽出量評価システム |
WO2018167850A1 (ja) * | 2017-03-14 | 2018-09-20 | 三菱電機株式会社 | 加熱調理器 |
US10909979B1 (en) * | 2017-11-21 | 2021-02-02 | Ewig Industries Macao Commercial Offshore Limited | Voice controlled remote thermometer |
JP2020135417A (ja) * | 2019-02-20 | 2020-08-31 | Kddi株式会社 | 食材又は調味料の使用量を推定する情報装置、プログラム及び方法 |
JP2020184409A (ja) * | 2019-04-26 | 2020-11-12 | 株式会社プロデュース・オン・デマンド | 調理装置及び調理システム |
JP2021034223A (ja) * | 2019-08-23 | 2021-03-01 | パナソニックIpマネジメント株式会社 | 加熱調理器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102227927B1 (ko) | 조리기구의 제어방법, 조리기구의 제어장치, 조리기구와 제어기기 | |
KR20180018548A (ko) | 레시피 시스템 | |
JP6577365B2 (ja) | 栄養素量算出装置およびそれを備えた冷蔵庫 | |
JP2015206585A (ja) | レシピ情報処理装置、調理装置、およびレシピ情報処理方法 | |
KR102052409B1 (ko) | 조리기기 기반 레시피 저작 및 공유를 위한 서비스 시스템 | |
CN110545699B (zh) | 具有预测模型的烹饪方法 | |
US20200344086A1 (en) | Method for Food Management, Kitchen Appliance and Food Preparation System | |
CN109991368B (zh) | 基于电子舌的酱油滋味评价方法、装置、介质和计算设备 | |
WO2014199584A1 (ja) | 調理スキル評価方法、調理スキル評価システム及び調理スキル評価システムを制御する制御プログラム | |
KR20190043830A (ko) | 조리기기 기반 레시피 저작 시스템 및 방법 | |
JPWO2005109246A1 (ja) | 感覚データベース | |
CN101449218A (zh) | 用于确定由烹调器具制备的食品的种类和量的方法和设备 | |
JP4836764B2 (ja) | 米の炊飯情報提供システム | |
WO2024084964A1 (ja) | 制御方法、情報提供方法、制御システム、情報提供システム、およびプログラム | |
WO2024084963A1 (ja) | 制御方法、情報提供方法、制御システム、情報提供システム、およびプログラム | |
WO2017194774A1 (en) | Digestive profiling system | |
JP7171970B1 (ja) | 判定装置、学習装置、判定システム、判定方法、学習方法、及び、プログラム | |
JP2006139694A (ja) | レシピカスタマイズ支援システム及び方法 | |
EP3595409A1 (en) | Method for operating a cooking appliance | |
CN115762743A (zh) | 一种家居服务系统、方法、装置以及计算机设备 | |
US11854026B2 (en) | System and methods for measuring values of perception variables | |
CN111603050A (zh) | 一种炒菜机控制方法、装置、存储介质及炒菜机 | |
WO2024084947A1 (ja) | 制御システム、制御方法、制御プログラム、情報提供システム、情報提供方法、及び情報提供プログラム | |
KR102611452B1 (ko) | 인공지능(ai) 기반 비대면 qsc 점검 솔루션 시스템 | |
KR20220036036A (ko) | 스마트 레시피 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23879611 Country of ref document: EP Kind code of ref document: A1 |