WO2022202410A1 - 判定装置、学習装置、判定システム、判定方法、学習方法、及び、プログラム - Google Patents

判定装置、学習装置、判定システム、判定方法、学習方法、及び、プログラム Download PDF

Info

Publication number
WO2022202410A1
WO2022202410A1 PCT/JP2022/010963 JP2022010963W WO2022202410A1 WO 2022202410 A1 WO2022202410 A1 WO 2022202410A1 JP 2022010963 W JP2022010963 W JP 2022010963W WO 2022202410 A1 WO2022202410 A1 WO 2022202410A1
Authority
WO
WIPO (PCT)
Prior art keywords
oil
cooking
edible oil
information
determination device
Prior art date
Application number
PCT/JP2022/010963
Other languages
English (en)
French (fr)
Inventor
賢也 伊藤
豪 鈴木
賀美 井上
涼平 渡邊
郁人 ▲高▼嵜
健一 柿本
Original Assignee
株式会社Ｊ－オイルミルズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊ－オイルミルズ filed Critical 株式会社Ｊ－オイルミルズ
Priority to US18/281,738 priority Critical patent/US20240159659A1/en
Priority to CA3213613A priority patent/CA3213613A1/en
Priority to JP2022526817A priority patent/JP7171970B1/ja
Publication of WO2022202410A1 publication Critical patent/WO2022202410A1/ja
Priority to JP2022175584A priority patent/JP2023022010A/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A23—FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23D—EDIBLE OILS OR FATS, e.g. MARGARINES, SHORTENINGS, COOKING OILS
    • A23D9/00—Other edible oils or fats, e.g. shortenings, cooking oils
    • A23D9/06—Preservation of finished products
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J37/00—Baking; Roasting; Grilling; Frying
    • A47J37/12—Deep fat fryers, e.g. for frying fish or chips
    • A47J37/1266—Control devices, e.g. to control temperature, level or quality of the frying liquid
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N11/00—Investigating flow properties of materials, e.g. viscosity, plasticity; Analysing materials by determining flow properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02—Food
    • G01N33/03—Edible oils or edible fats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning

Definitions

  • the present invention relates to a determination device, a learning device, a determination system, a determination method, a learning method, and a program.
  • Cooking oil may be used for a long period of time when frying foods and the like. Cooking uses edible oil at a temperature of about 130°C to 180°C. The edible oil deteriorates when it is oxidized by oxygen or the like in the atmosphere. Thus, when deterioration occurs, for example, aldehydes, ketones, polymer compounds, and the like are generated. Such ingredients adversely affect taste and the like.
  • a sensor measures the electrical properties of the edible oil.
  • a technique of measuring such characteristics with a sensor and protecting the sensor with a coating is known (see Patent Document 1, for example).
  • the cooking environment hereinafter referred to as the "cooking environment”
  • the cooking environment for the fried food is not prepared.
  • the conventional technology has problems in efficiently determining the cooking environment and obtaining information for adjusting the cooking environment.
  • the purpose of the present invention is to determine the cooking environment in advance based on the state of edible oil, and to efficiently acquire information for adjusting the cooking environment to provide delicious fried food.
  • a judgment device for judging the cooking environment of edible oil comprises: an imaging unit that acquires an image of the edible oil; a first input unit for inputting first information, which is information of fried food to be put into the edible oil and cooked; a first identifying unit that analyzes the image to identify the state of the edible oil; A second identification unit that identifies a cooking environment in which the fried food is cooked based on the first information and the state.
  • the present invention it is possible to determine the cooking environment in advance based on the state of the cooking oil, and efficiently acquire information for adjusting the cooking environment to provide delicious fried food.
  • FIG. It is a figure which shows the structural example of the kitchen 1.
  • FIG. It is a figure which shows the hardware structural example of an information processing apparatus.
  • 4 is a diagram showing an example of a scale 24;
  • FIG. It is a figure which shows the example of an entire process.
  • 1 is a diagram showing an example of an information system 200;
  • FIG. It is a figure which shows an example of a network structure.
  • FIG. 10 is a diagram showing an example in which a fly basket 3 is provided;
  • FIG. 10 is a diagram showing a second example without the fly basket 3;
  • FIG. 11 shows a second example with a fly basket 3;
  • FIG. 10 is a diagram showing the example of the process which presumes the height of the surface of edible oil.
  • FIG. 10 is a diagram showing an example of a boundary;
  • FIG. 10 is a diagram showing an example of detection of a boundary;
  • fried foods include fried chicken, croquettes, French fries, fried chicken, tempura, pork cutlets, and the like.
  • FIG. 1 is a diagram showing a configuration example of the kitchen 1.
  • An example of the edible oil is hereinafter referred to as "frying oil Y”.
  • the kitchen 1 is, for example, inside a store such as a convenience store or a supermarket.
  • the kitchen 1 is provided with facilities for cooking the fried food X.
  • the facility is an electric fryer (Fryer, hereinafter simply referred to as "fryer 2").
  • the fryer 2 is, for example, equipment having an oil tank 21, a housing 22, and the like.
  • the oil tank 21 stores the frying oil Y. Also, the oil tank 21 is composed of, for example, a handle 30, a frying basket 3, and the like.
  • the housing 22 accommodates the oil tank 21 .
  • the housing 22 also has a switch 22A or the like on its side, which serves as a setting operation unit for setting the temperature of the frying oil Y or the contents of cooking for each type of fried food X.
  • the cook When cooking, the cook first puts the fried food X into the fry basket 3. Next, the cook dips the fried food X into the frying oil Y and hooks the handle 30 to the upper end of the housing 22 . At the same time, or before or after, the cook presses the switch 22A according to the type of fried food X.
  • the fryer 2 notifies the cook of the completion of frying when a predetermined frying time has elapsed according to the switch 22A. At the same time, the fryer 2 raises the frying basket 3 from the oil tank 21 . In this way, the fried food X is lifted from the state of being immersed in the frying oil.
  • the notification method is, for example, a method of outputting a buzzer sound from a speaker, or a method of displaying on the monitor 41 installed on the wall 10A.
  • the elapse of frying time is notified by light, sound, or a combination thereof.
  • the cook pulls up the fry basket 3 and takes out the fried food X.
  • the fly basket 3 may be pulled up by a driving mechanism or the like.
  • the kitchen 1 is not limited to the configuration using the utensils shown in the figure.
  • the fryer 2 is a cooking utensil capable of cooking, the type, arrangement, etc. may be other than those shown in the drawings.
  • An imaging device for imaging the frying oil Y is installed in the kitchen 1.
  • the imaging device is a video camera 42 .
  • the video camera 42 is attached to the ceiling 10B or the like.
  • the video camera 42 continuously takes images of the surface of the frying oil Y and generates images. In addition, it is desirable that the image be a moving image. Further, the conditions of the video camera 42, such as the angle of view and focus, are adjusted.
  • the video camera 42 may be located at a position other than the ceiling 10B. That is, the video camera 42 may be attached to the wall 10A or the like as long as the frying oil Y can be photographed.
  • the image capturing device does not necessarily have to capture images in the form of moving images. That is, for example, the imaging device may be a still camera, a tablet, or the like that captures still images. When a still camera or the like is used, an imaging device that can intermittently capture images in time series may be used.
  • the imaging device may be a camera or the like included in a mobile device such as a tablet or a smartphone.
  • the determination device 5 is configured to be connected to the monitor 41, the video camera 42, the flyer 2, and the like. Note that the determination device 5 does not always have to be connected to the video camera 42 or the like, and may be configured to separately acquire images captured by the video camera 42 from those once stored in a storage medium, and execute identification and the like. may
  • the video camera 42 may be installed at a position other than the one shown.
  • the installation position of the video camera 42 is, for example, a position where the scale 24 can be imaged.
  • FIG. 2 is a diagram illustrating a hardware configuration example of an information processing apparatus.
  • the determination device 5 is an information processing device having the following hardware resources.
  • the determination device 5 has a Central Processing Unit (hereinafter referred to as "CPU 500A”), a Random Access Memory (hereinafter referred to as “RAM 500B”), and the like. Furthermore, the determination device 5 includes a Read Only Memory (hereinafter referred to as "ROM 500C”), a hard disk drive (hereinafter referred to as “HDD 500D”), an interface (hereinafter referred to as "I/F 500E”), etc. have a Central Processing Unit (hereinafter referred to as "CPU 500A”), a Random Access Memory (hereinafter referred to as "RAM 500B”), and the like. Furthermore, the determination device 5 includes a Read Only Memory (hereinafter referred to as "ROM 500C”), a hard disk drive (hereinafter referred to as "HDD 500D”), an interface (hereinafter referred to as "I/F 500E”), etc. have a Central Processing Unit (hereinafter referred to as "CPU 500A”), a Random Access Memory (hereinafter
  • the CPU 500A is an example of an arithmetic device and a control device.
  • the RAM 500B is an example of a main storage device.
  • the ROM 500C and HDD 500D are examples of auxiliary storage devices.
  • the I/F 500E connects an input device or an output device. Specifically, the I/F 500E connects an external device such as the monitor 41 or the video camera 42 by wire or wirelessly, and inputs/outputs data.
  • the determination device 5 is not limited to the hardware configuration shown above.
  • the determination device 5 may further include an arithmetic device, a control device, a storage device, an input device, an output device, or an auxiliary device.
  • the information processing device may have an auxiliary device such as a Graphics Processing Unit (GPU) externally or internally.
  • GPU Graphics Processing Unit
  • the determination device 5 may be a plurality of devices.
  • the determination device 5 specifies the state of cooking oil (hereinafter sometimes simply referred to as “state”) on the scale 24 . Specifically, first, the video camera 42 captures an image so that the scale 24 is reflected. Then, the determination device 5 acquires an image including the scale 24 from the video camera 42 .
  • the scale 24 is written on the wall surface of the oil tank 21.
  • the scale 24 indicates where the surface of the frying oil Y is positioned in the height direction. Therefore, when the scale 24 is imaged together with the frying oil Y, the surface height of the frying oil Y becomes clear.
  • the determination device 5 can convert it into the amount of oil based on the height. Therefore, the scale 24 may be located at any position as long as the height or the like can be determined.
  • the scale 24 may be configured as follows.
  • FIG. 3 is a diagram showing an example of the scale 24.
  • the scale 24 may be a line indicating the correct amount, as shown. When such a scale 24 is used, it is analyzed how far the mesh, which is the lower surface of the flyer 2, is with respect to the scale 24 in the image.
  • the scale 24 may be, for example, the "appropriate oil amount line” described in "https://www.tanico.co.jp/category/maint/vol003/".
  • the status may be other than the amount of oil. That is, states other than the amount of oil may be analyzed based on the image.
  • the state may be the amount of oil, the difference from the optimum amount of edible oil (for example, the amount of oil that can provide the most delicious fried food determined by experiments, etc.), the temperature of edible oil, or a combination thereof.
  • the state may be specified using something other than an image.
  • sensors other than video camera 42 may be used to identify conditions.
  • the sensors may include flow meters, weight scales, stereo cameras, light field cameras, and the like.
  • the sensor is a device or the like capable of measuring distance, measuring weight, or measuring the amount of fluid.
  • the senor may be a microphone, a thermometer, or an odor sensor.
  • the determination device 5 may acquire measurement results from these sensors. In this way, by combining the analysis result of the image and the measurement result other than the image, the determination device 5 can accurately identify the state such as the amount of oil.
  • FIG. 4 is a diagram illustrating an example of overall processing.
  • the determination device 5 executes each process in the order of "pre-processing” and "execution process".
  • Pre-processing is processing that is executed in advance in order to prepare for execution processing rather than execution processing.
  • the pre-processing is a process of making preparations such as learning a learning model.
  • the execution process is a process using the trained model prepared in the pre-processing.
  • the execution process may be a process using a table or the like.
  • the pre-processing is a process of preparing to input a table (also referred to as a lookup table (LUT), etc.) or the like.
  • the execution process is a process using the table input in the pre-processing.
  • the determination device 5 does not have to execute the preliminary processing and the execution processing in a continuous order as illustrated in the figure. Therefore, it is not essential to continue the period of preparation by preliminary processing and the subsequent period of execution processing.
  • the learned model may be diverted, and the determination device 5 may start from the execution process, omitting the preprocessing.
  • the learning model and the trained model may be configured to perform transfer learning, fine tuning, or the like. That is, the determination device 5 often has a different execution environment for each device. Therefore, the basic configuration of AI is learned by another information processing device. Thereafter, each determination device 5 may be further trained, set, or the like in order to be further optimized for each execution environment.
  • step S0401 the determination device 5 prepares. Further, the content of the pre-processing differs depending on whether the configuration uses AI or the configuration uses a table.
  • the determination device 5 makes preparations such as learning a learning model.
  • the determination device 5 makes preparations such as inputting the table. The details of the preparation will be described later.
  • execution processing example After the preprocessing is executed, that is, after the AI or the table is prepared, the determination device 5 performs execution processing, for example, in the following procedure.
  • step S0402 the determination device 5 acquires an image of the cooking oil.
  • the images may be images captured by a plurality of frames or by a plurality of devices.
  • images a plurality of images or moving images will be simply referred to as "images”.
  • the image be in color. That is, the image is preferably in a data format such as RGB or YCrCb. If color is used, analysis or recognition can be performed with high accuracy using color or the like.
  • step S0403 the determination device 5 inputs the first information.
  • the first information is information about fried food that is put into cooking oil and cooked. Specifically, the first information is information indicating a type of fried food, an input amount of fried food, or a combination thereof. Therefore, the first information is input in the form of a name for distinguishing the types of fried foods, or a format specifying the number of fried foods to be put in the oil tank 21 for cooking, or the like.
  • step S0404 the determination device 5 analyzes the image and identifies the state. That is, the determination device 5 analyzes the image acquired in step S0402.
  • step S0405 the determination device 5 determines the cooking environment.
  • step S0406 the determination device 5 outputs based on the cooking environment and the like.
  • step S0405 in the overall processing described above differ depending on whether the configuration uses AI or uses a table. Each configuration will be described separately below.
  • FIG. 5 is a diagram showing an example of overall processing of a configuration using AI.
  • the preprocessing is processing for learning the learning model A1.
  • the execution process is a process of judging the cooking environment or the like using the learned model A2, which is a learning model that has completed learning to some extent by preprocessing or the like.
  • Pre-processing is, for example, a process of learning a learning model using learning data D11. That is, the pre-processing is a process of making the learning model A1 learn by "supervised” learning using the learning data D11 to generate the trained model A2.
  • the learning data D11 is, for example, data obtained by combining data such as the oil amount D111, the first information D112, and the cooking temperature D113.
  • the amount of oil D111 is the amount of edible oil. Also, the oil amount D111 is an analysis result or the like obtained by analyzing the image acquired in step S0402.
  • the oil amount D111 is preferably obtained by analyzing the image. That is, it is desirable to input the oil amount D111 in a format obtained by analyzing an image based on the scale 24 or the like.
  • the determination device 5 can acquire information other than the oil amount D111 by analyzing the image. Therefore, when an image is input, the determination device 5 may be able to identify and learn the state that affects the cooking environment.
  • the first information D112 is information indicating the type of fried food to be cooked under the conditions indicated by the amount of oil D111, the amount of input, or a combination thereof.
  • the first information D112 is input as text data or the like, or is input by analyzing an image and specifying the type of fried food by image recognition.
  • the cooking temperature D113 is an example of the cooking environment. That is, it is information indicating the result of the cooking temperature D113 when cooking is performed under the conditions indicated by the amount of oil D111 and the first information D112. Therefore, the cooking temperature D113 is information indicating in what kind of cooking environment the fried food is to be cooked, and is information that becomes "correct data" in the configuration of "supervised” learning.
  • the cooking environment is not limited to the cooking temperature D113.
  • the cooking environment may be the temperature at which fried food can be cooked, the amount of temperature drop when fried food is introduced, the degree of deterioration of cooking oil, or a combination thereof.
  • the cooking environment is information indicating in what kind of environment the fried food is cooked using the current cooking oil.
  • the cooking environment may be determined, for example, in the form of how much it deviates from the optimum cooking temperature.
  • the cooking environment is determined in the form of, for example, the optimum cooking temperature cannot be maintained, that is, the extent to which the frying oil is not the optimum cooking environment under the current usage of cooking oil. good too.
  • the determination device 5 can learn the relationship between the state and the combination of the first information and the cooking environment. By using the trained model A2 generated by such learning, the determination device 5 can execute the following processing.
  • the execution process inputs the input data D12 and outputs the estimated result of the cooking temperature (hereinafter simply referred to as "estimated result D13").
  • the determination device 5 inputs the input data D12 including the state such as the oil amount and the first information in the same format as the pre-processing.
  • the execution processing differs in that the resulting cooking environment is unknown with respect to the state such as the amount of oil and the first information.
  • the oil amount input in the execution process will be referred to as "unknown oil amount D121”.
  • the first information input in the execution process is called “unknown first information D122”.
  • the input data D12 is a combination of the unknown oil amount D121 and the unknown first information D122.
  • the determination device 5 inputs the input data D12 to the learned model A2 (steps S0403 and S0404 in FIG. 4).
  • the determination device 5 outputs an estimation result D13. That is, if cooking is performed under the conditions indicated by the input data D12, the cooking environment is estimated (step S0405 in FIG. 4).
  • the determination device 5 can estimate the cooking environment and the like based on the learning.
  • FIG. 6 is a diagram showing an example of overall processing of a configuration using a table.
  • the pre-processing is the processing of generating the table D22.
  • the execution process is a process of judging the cooking environment and the like using the table D22 generated in the pre-processing.
  • the preprocessing is, for example, a process of putting together the experimental data D21 into a table format.
  • the table D22 may not be a two-dimensional table as illustrated. That is, the data format of the table D22 does not matter as long as the cooking temperature D113 corresponding to the oil amount D111 and the first information D112 can be uniquely identified.
  • the format of the table D22 shown in the figure will be described below as an example.
  • the experimental data D21 is, for example, data obtained by combining data such as the oil amount D111, the first information D112, and the cooking temperature D113. Note that the oil amount D111, the first information D112, and the cooking temperature D113 are the same as those in FIG. 5, for example.
  • the table D22 is data that associates the oil amount D111, the first information D112, and the cooking temperature D113. Note that the table D22 may include information other than those shown.
  • the determination device 5 can associate the combination of the state and the first information with the cooking environment. By using such a table D22, the determination device 5 can execute the following processing.
  • the determination device 5 inputs the input data D12 including the state such as the oil amount and the first information (steps S0403 and S0404 in FIG. 4), similar to the configuration using AI. .
  • the input data D12 is a combination of the unknown oil amount D121 and the unknown first information D122 will be described as in the configuration using AI.
  • the determination device 5 when the determination device 5 inputs a combination of the state and the first information from the input data D12, it extracts the corresponding cooking temperature from the table D22. Thus, the determination device 5 outputs the extraction result D23 in response to the input. That is, similar to the configuration using AI, when cooking is performed under the conditions indicated by the input data D12, the determination device 5 extracts from the table D22 the cooking environment in which the cooking is performed (step S0405).
  • the determination device 5 can perform high-speed processing because it searches for the cooking temperature corresponding to the conditions that are input on the table D22.
  • the determination device 5 may estimate the cooking environment or the like by linear interpolation or the like. That is, in the case of conditions not entered in the table D22, the determination device 5 may calculate the cooking environment by, for example, averaging similar conditions in the table D22.
  • “oil amount is 200 g” and “oil amount is 250 g” are input to table D22, and "oil amount is 225 g" (that is, unknown) is executed.
  • the determination device 5 may calculate an intermediate value between "oil amount is 200 g" and "oil amount is 250 g".
  • the determination device 5 can handle conditions that are not entered in the table D22.
  • the determination device 5 preferably specifies the amount of expansion and performs correction based on the amount of expansion.
  • the amount of edible oil before correction that is, the amount of cooking oil obtained as a result of image analysis is referred to as a "first oil amount”.
  • the amount of edible oil after correcting the first amount of oil by the expansion rate is referred to as the "second amount of oil”.
  • the expansion rate can be specified, for example, based on the type of edible oil and temperature. That is, the determination device 5 can specify the expansion rate of the cooking oil to be determined by specifying the type of the cooking oil, the temperature, and the like.
  • the volume of cooking oil changes depending on the temperature. Moreover, the expansion rate differs for each type of edible oil. Therefore, if the expansion rate is considered and the amount of oil is corrected, the determination device 5 can accurately specify the amount of oil.
  • the determination device 5 identifies the type of edible oil by analyzing the image or inputting the name of the edible oil. Next, the determination device 5 identifies the temperature of the cooking oil by measurement or the like.
  • the determination device 5 inputs in advance data that associates the type of cooking oil, the temperature set, and the coefficient of expansion.
  • the determination device 5 inputs in advance a calculation formula or the like for calculating the expansion coefficient.
  • the determination device 5 identifies the first oil amount and the expansion rate by analyzing the image or the like. Next, the determination device 5 corrects the first oil amount to identify the second oil amount. Specifically, the second oil amount is calculated by the following formula (1).
  • 2nd oil amount 1st oil amount x temperature difference x expansion coefficient (1)
  • the "temperature difference” is a value that indicates how many degrees of difference there is from the reference temperature of the current edible oil.
  • the "expansion coefficient” is a value determined in advance by setting the type of cooking oil and the temperature. In this way, the determination device 5 multiplies the first oil amount by the temperature difference and the expansion coefficient, and performs correction based on the expansion coefficient.
  • the correction is not limited to the calculation based on the formula (1) above, and any calculation method or the like can be used as long as the amount of oil before expansion can be specified by eliminating the influence of expansion due to temperature.
  • the expansion rate may be calculated using specific gravity or the like.
  • the determination device 5 can accurately identify the cooking environment and the like.
  • step S0406 in FIG. 4 the determination device may further output the deliciousness identification result. That is, the judging device specifies the deliciousness when cooking in the cooking environment judged in step S0405.
  • the deliciousness is the result of a comprehensive evaluation of the oiliness, smell, texture, and flavor of the fried food. For example, deliciousness is evaluated by sensory evaluation or the like.
  • the cooking environment has a strong correlation with deliciousness. Therefore, if the cooking environment can be assumed, the determination device can specify how delicious the fried food will be in the assumed cooking environment. That is, deep-fried food can often be made more palatable when cooked at the optimum cooking temperature.
  • An example in which the cooking temperature is set as the cooking environment will be described below.
  • FIG. 7 is a diagram showing an example of specifying deliciousness. For example, a case where the overall processing shown in FIG. 4 is performed will be described.
  • the determination device can prepare the learned model A2 or the table D22. After such preparations are completed, the determination device performs execution processing.
  • step S0402 the determination device acquires the image IMG.
  • step S0403 the determination device inputs the unknown first information D122.
  • step S0404 the determination device inputs the unknown oil amount D121 based on the analysis result of the image IMG.
  • the determination device determines the cooking environment in step S0405.
  • the cooking environment is the cooking temperature, the temperature at which fried food X can be cooked, the amount of temperature drop when fried food X is added, the degree of deterioration of cooking oil, or a combination of these.
  • the determination device can grasp at what temperature the fried food X is cooked.
  • the cooking temperature has a strong correlation with the taste of the type of fried food X and the like. Specifically, deep-fried foods often cannot be delicious unless they are cooked at the optimum temperature.
  • the cooking environment such as cooking temperature can often limit the temperature at which cooking can be done, depending on the amount of oil and the object to be cooked. Therefore, there is a strong correlation between the amount of oil, the type of fried food, and the like, and the cooking environment. Therefore, the determination device can estimate the deliciousness based on the cooking temperature or the like.
  • the determination device may take into consideration preferences, as illustrated. That is, the determination device may estimate whether the taste matches the input preference.
  • the taste may differ depending on each person's taste. For example, when deliciousness includes oiliness, some people like high oiliness and others dislike high oiliness. Preference indicates the optimal values of attributes that make up such palatability.
  • preferences when preferences are entered, it is desirable that attributes that are objects of preferences be entered in the correct answer data or the table in order to correspond to preferences in pre-processing. Specifically, when the desired oiliness is input in the execution process, it is desirable to input the correct answer data or the result of the oiliness into the table.
  • the determination device can determine the cooking environment, it may be possible to determine whether or not the cooking will be to your liking. In such a case, if the determination device grasps the relationship between the cooking environment and the target attribute of preference, it is not necessary to input the target attribute of preference to the correct answer data.
  • the judgment device can estimate the deliciousness according to each person. Further, in step S0406, the determination device may output the taste of the fried food under the input conditions using numerical values, qualitative expressions, or the like.
  • 2nd Embodiment differs from 1st Embodiment in the point which considers an oil supply, a waste oil, etc.
  • FIG. 1st Embodiment differs from 1st Embodiment in the point which considers an oil supply, a waste oil, etc.
  • FIG. 8 is a diagram showing an example of the second embodiment. Compared with FIG. 7, the second embodiment differs in that the oil amount is adjusted in step S0801.
  • the unknown oil amount D121 changes as the oil amount increases or decreases.
  • the determination device determines the cooking environment, taste, and the like.
  • the input/output relationship is as follows.
  • FIG. 9 is a diagram showing an example of the input/output relationship in the second embodiment.
  • the unknown oil amount D121 may be generated by adjusting multiple patterns.
  • the pattern in which the oil amount is not increased or decreased in other words, the pattern in which the current state is maintained without any adjustment is referred to as the "current state.”
  • “Pattern 1" and “Pattern 2" are examples of making adjustments by adding oil, that is, cooking oil.
  • “Pattern 1” is a pattern for adjusting the "current state” by adding "+200g” of cooking oil.
  • “Pattern 2” is a pattern for adjusting the "current state” by adding "+250 g” of cooking oil.
  • the pattern may be other than the above three. That is, there may be patterns in which parameters other than the amount of oil are different. Specifically, the patterns may be set such that the first information is different. An example in which only the amount of oil is changed for each pattern will be described below.
  • the determination device determines the cooking environment for each pattern. Therefore, the determination device can output deliciousness for each cooking environment, that is, for each pattern.
  • the evaluation of deliciousness is indicated by “ ⁇ ”, “ ⁇ ”, and “ ⁇ ” in descending order of evaluation.
  • the deliciousness may be expressed numerically or in words.
  • the deliciousness may have attributes, and may be in a format that indicates the evaluation result for each attribute and the evaluation result that integrates a plurality of attributes.
  • the determination device outputs a message 50 or the like indicating the optimum pattern (in this example, "Pattern 2", which is the deliciousness of "o").
  • the message 50 is output to a monitor or the like.
  • the format of the message 50 may be any format.
  • the determination device may control the adjuster 51 and the like so as to realize the optimum pattern.
  • regulator 51 is a pump or the like. Therefore, when the determination device outputs a signal instructing the operation of the pump or the like to the regulator 51 or the like to control it, the oil amount can be adjusted by the operation of the pump or the like.
  • the determination device may be configured to control related equipment such as the connected adjuster 51 so as to realize the optimum pattern.
  • the determination device can adjust the cooking environment based on the result of determining the cooking environment in advance.
  • the determination device may generate an optimal pattern. That is, the determination device may extract an adjustment amount or the like that makes the current taste higher than the current state.
  • the determination device outputs the additional amount of additional oil that optimizes the cooking environment or deliciousness, the amount of waste oil, etc., based on the results of specifying the cooking environment or deliciousness.
  • second information information indicating the amount of added cooking oil, the amount of waste oil, or a combination of these.
  • the determination device may consider adjustments other than the second information, that is, other than the oil amount. For example, the determination device may adjust the timing of adding additional oil (hereinafter referred to as “first timing”) or the timing of discarding waste oil (hereinafter referred to as “second timing").
  • first timing additional oil
  • second timing the timing of discarding waste oil
  • the timing of adding or discarding cooking oil may affect the preparation of the cooking environment. Therefore, the determination device may estimate which of the first timing and the second timing is the cooking environment in which more delicious fried food can be provided.
  • the determination device may control the adjuster 51 or the like to adjust the cooking oil at the optimum first timing and second timing.
  • the determination device may provide information regarding adjustments, etc. in the information system.
  • FIG. 10 is a diagram showing an example of the information system 200.
  • the information system 200 is constructed by connecting the determination devices 5 installed in each of the stores S1 to S3 via a communication line or the like.
  • the store S2 (in this example, the store S2 is an izakaya) notifies the general headquarters H of the notification information.
  • the general headquarters H analyzes the number of times or frequency of receiving the notification information.
  • the general headquarters H analyzes the store S1 (store S1 is a tempura restaurant) and the store S3 (store S3 is a pork cutlet restaurant).
  • the General Headquarters H will propose or provide guidance on whether the cooking oil is being used appropriately, whether it is being replaced as appropriate, and whether there is any waste.
  • the general headquarters H may also manage the factory where the fryer 2 is installed. Also, the general headquarters H may exist in a store or a factory and manage the fryer 2 and the like in the facility.
  • the notification information is notified to, for example, the edible oil manufacturer P and the distributor Q. Then, the manufacturer P draws up a manufacturing plan or a sales plan based on the reported information. In addition, distributor Q orders edible oil and purchases edible oil from manufacturer P based on the notification information. Then, the distributor Q delivers the edible oil or the like to the stores S1 to S3.
  • the notification information is notified to collection company Z (collection company Z and manufacturer P may be the same company, etc.). Then, upon receiving the notification information, the collecting company Z collects the waste oil W. Specifically, when the recovery agent Z receives the notification information a predetermined number of times, the recovery agent Z visits the store S2 and recovers the waste oil W from the oil tank 21 of the fryer 2 .
  • the notification information may also be notified to cleaning contractors.
  • the cleaning operator visits the store S2 and cleans the inside of the oil tank 21 of the fryer 2 or the vicinity thereof.
  • the notification information is used as described above, it is possible to quickly perform operations from supply to waste oil and cleaning at stores S1 to S3. Further, automating the exchange of cooking oil and the like can further reduce the burden on the user (for example, a store clerk). Specifically, when notification information such as that the degree of deterioration exceeds a threshold value is output, the cooking oil in use is replaced with new cooking oil or the like.
  • the determination device 5 when additional oil or waste oil is generated in the adjustment, the determination device 5 sends the amount of edible oil to the general headquarters H, the recovery company Z, the manufacturer P, etc. The time when additional oil or waste oil is generated may be notified. In this way, if the information system 200 can automate ordering, collection, delivery, and procedures for additional oil or waste oil, the user's workload can be reduced.
  • AI is realized by, for example, the following network.
  • FIG. 11 is a diagram showing an example network structure.
  • a learning model and a trained model are structures of network 300 as follows.
  • the network 300 has, for example, an input layer L1, an intermediate layer L2 (also referred to as a "hidden layer”), an output layer L3, and the like.
  • the input layer L1 is a layer for inputting data.
  • the intermediate layer L2 converts the data input in the input layer L1 based on weights, biases, and the like.
  • the results processed in the intermediate layer L2 are transmitted to the output layer L3.
  • the output layer L3 is a layer that outputs inference results and the like.
  • the network 300 is not limited to the illustrated network structure.
  • AI may be realized by other machine learning.
  • the degree of deterioration is, for example, the acid value of the edible oil, the viscosity of the edible oil, the viscosity increase rate of the edible oil, the color tone of the edible oil, the anisidine value of the edible oil, the amount of polar compounds in the edible oil, the carbonyl value of the edible oil, and the edible oil.
  • the acid value (acid value, sometimes referred to as "AV") of edible oil is, for example, a value measured by a method according to the Standard Fat Analysis Test Method 2.3.1-2013.
  • the viscosity increase rate of the edible oil is based on, for example, the viscosity before the edible oil is replaced and the new oil is used to fry the food for the first time (that is, the viscosity at the start of use), etc., and the ratio of the amount of viscosity increase to the standard. It is a value calculated by The viscosity is measured with a viscometer or the like.
  • the viscometer is an E-type viscometer (TVE-25H, manufactured by Toki Sangyo Co., Ltd.).
  • the color tone of edible oil (sometimes referred to as “color” or “hue”) is, for example, a value measured by a method according to the Standard Fat Analysis Test Method 2.2.1.1-2013 (e.g., yellow component value and the red component value, the value is calculated by yellow component value+10 ⁇ red component value).
  • the anisidine value of edible oil is a value measured by a method according to the Standard Fat Analysis Test Method 2.5.3-2013.
  • the amount of polar compounds in edible oil is a value measured by a method according to the Standard Fat Analysis Test Method 2.5.5-2013.
  • the amount of polar compounds in edible oil is a value measured by a polar compound measuring device (devices such as those manufactured by Testo Co., Ltd.).
  • the carbonyl value of an edible oil is, for example, a value measured by a method according to Standard Fat Analysis Test Method 2.5.4.2-2013.
  • the smoke point of edible oil is a value measured by a method that conforms to the Standard Fat Analysis Test Method 2.2.11.1-2013. Smoke is generated by combustion of lipids contained in edible oil or decomposition products thereof.
  • the tocopherol (sometimes referred to as "vitamin E") content of edible oil is the amount of tocopherol contained in the edible oil.
  • tocopherol is a value measured by a method according to a high performance liquid chromatography (HPLC) method or the like.
  • the iodine value of edible oil indicates, for example, the number of grams of iodine that can be added to 100 grams of oil.
  • the iodine value of the edible oil is, for example, a value measured by a method according to Standard Fat Analysis Test Method 2.3.41-2013.
  • the refractive index of edible oil is, for example, a value measured by a method according to the Standard Fat Analysis Test Method 2.2.3-2013.
  • Volatile components such as the amount of volatile components of edible oil, the volatile component composition of edible oil, the amount of volatile components of fried food fried in edible oil, and the volatile component composition of fried food are obtained from fried food or edible oil It is determined by volatile components (mainly odorous components) and the like. In addition, the amount or composition of volatile components changes as the edible oil deteriorates. For example, volatile components are measured with a gas chromatograph-mass spectrometer (GC-MS), an odor sensor, or the like.
  • GC-MS gas chromatograph-mass spectrometer
  • Flavors such as the flavor of edible oil and the flavor of fried foods are values measured by sensory evaluation (for example, a method of actually eating and evaluating by people) or by a taste sensor or the like.
  • FIG. 12 is a diagram illustrating a functional configuration example.
  • the determination device 5 has a functional configuration including an imaging unit 5F1, a first input unit 5F2, a first specifying unit 5F3, a second specifying unit 5F4, and the like.
  • the determination device 5 preferably has a functional configuration further including a second input section 5F5, an output section 5F6, an adjustment section 5F7, and the like.
  • the illustrated functional configuration will be described below as an example.
  • the imaging unit 5F1 performs an imaging procedure for acquiring an image of the cooking oil.
  • the imaging unit 5F1 is implemented by the video camera 42, the I/F 500E, and the like.
  • the first input unit 5F2 performs the first input procedure of inputting the first information.
  • the first input section 5F2 is realized by an I/F 500E or the like.
  • the first identification unit 5F3 analyzes the image and performs the first identification procedure of identifying the state.
  • the first specifying unit 5F3 is realized by the CPU 500A or the like.
  • the second specifying unit 5F4 performs a second specifying procedure for specifying the cooking environment in which the fried food is cooked based on the first information and the state.
  • the second specifying unit 5F4 is realized by the CPU 500A or the like.
  • the second input unit 5F5 performs a second input procedure of inputting second information indicating the additional amount of additional oil, the amount of waste oil, or a combination thereof.
  • the second input section 5F5 is realized by an I/F 500E or the like.
  • the output unit 5F6 outputs the additional amount of additional oil that optimizes the cooking environment and deliciousness, the amount of waste oil, the first timing, the second timing, or any of these based on the cooking environment or the result of specifying the deliciousness. Perform the output procedure to output the combination.
  • the output unit 5F6 is realized by an I/F 500E or the like.
  • the adjustment unit 5F7 performs an adjustment procedure for adding, discarding, or both of the cooking oil based on the output result from the output unit 5F6.
  • the adjuster 5F7 is realized by the adjuster 51 or the like.
  • the determination system 7 having the determination device 5 and the learning device 6 has, for example, the following functional configuration.
  • a case where the learning device 6 has the same hardware configuration as the determination device 5 will be taken as an example below.
  • the determination device 5 and the learning device 6 may have different hardware configurations.
  • the learning device 6 for example, similarly to the determination device 5, has a functional configuration including an imaging unit 5F1, a first input unit 5F2, a first specifying unit 5F3, and the like. However, as long as the learning device 6 can input the state and the first information, the configuration of the input and the format of the data do not matter.
  • functional configurations similar to those of the determination device 5 are denoted by the same reference numerals, and descriptions thereof are omitted.
  • the cooking environment input unit 5F8 performs a cooking environment input procedure for inputting the cooking environment in which fried foods are cooked.
  • the cooking environment input unit 5F8 is realized by an I/F 500E or the like.
  • the generation unit 5F9 performs a generation procedure for learning the learning model A1 and generating a trained model A2. Alternatively, the generation unit 5F9 performs a generation procedure for generating the table D22.
  • the generation unit 5F9 is realized by the CPU 500A or the like.
  • the learned model A2 generated by the learning device 6 or the table D22 is distributed from the learning device 6 to the determination device 5 or the like via a network or the like.
  • the learning device 6 By preprocessing, the learning device 6 generates a learned model A2 or a table D22. With such a learned model A2 or table D22, the determination device 5 can determine the cooking environment in advance based on the state of the cooking oil by executing processing. If such determination, that is, information such as what kind of cooking environment it will be or the deviation from the optimal cooking environment is known before cooking, it will be easier to prepare the cooking environment to provide delicious fried food. becomes easier.
  • the user can efficiently acquire information such as how to prepare the cooking environment, compared to the case of adjusting the amount of oil, etc. by trial and error.
  • the determination device 5 may generate and utilize thermography data.
  • FIG. 13 is a diagram showing an example of thermography data.
  • the thermography data shown in the figure is an example of data generated by measuring the temperature of edible oil in a setting where the edible oil is heated to 180°C using "FLIR (registered trademark) Systems FLIR E4" as a measuring device. be.
  • Thermography data is data that shows the temperature distribution of cooking oil in color.
  • thermography data is generated by measuring the infrared rays emitted by cooking oil and plotting the temperature at each measurement point with color pixels.
  • the illustrated example is an example of thermography data in which temperatures are color-coded in the range of 20°C to 190°C.
  • the coefficient of expansion is a value that varies with temperature.
  • temperature is not always uniformly distributed in edible oils. That is, edible oil may have different temperatures depending on the location. Even if the temperature is biased in this way, if there is thermography data, the determination device 5 can grasp the temperature for each position, and even if there is temperature bias, etc., the expansion rate can be specified with high accuracy. .
  • the temperature may be measured, for example, for each area set in advance as follows (hereinafter referred to as "area").
  • FIG. 14 is a diagram showing an example of areas.
  • the figure shows an example in which the entire area for temperature measurement is set so as to be divided into six areas in FIG. 13 .
  • the division method is not limited to the illustrated example. That is, the areas do not have to be even, and may be divided into areas other than six.
  • the area does not have to be the entire area.
  • the area is desirably set by extracting an area where there is no heating wire and there is cooking oil out of the entire area. In other words, it is desirable to set the area so as to avoid areas where there are heating wires. If there is a heating wire, it may be measured higher depending on the temperature of the heating wire. Therefore, if the area is set by excluding the high-temperature part such as the heating wire, the temperature can be measured with high accuracy.
  • the scale 24 can be determined from the image, it is desirable to set the area by extracting the area including the scale 24 . That is, the area is preferably set with respect to the area where the scale 24 can be seen.
  • the temperature measurement range it is desirable to perform the measurement excluding the measurement result of the object other than edible oil.
  • the determination device 5 also specifies the expansion rate and the like for each area. For example, the determination device 5 statistically processes a plurality of measurement results indicated by the thermography data for each area (for example, averaging the measurement results belonging to the area) to identify the temperature of each area.
  • the temperature may be measured by installing a thermometer for each area.
  • the determination device 5 further include a temperature measurement unit. Then, the determination device 5 specifies the expansion coefficient for each measurement result indicating the temperature distribution of the cooking oil.
  • the determination device 5 can consider the temperature distribution, it can accurately identify the expansion coefficient.
  • the determination device 5 preferably considers the fly basket 3 and the like as follows. For example, when there is no fly basket 3, the thermography data are as shown in FIG. On the other hand, when the fly basket 3 is present, the thermographic data are as follows.
  • FIG. 15 is a diagram showing an example in which the fly basket 3 is present. Compared with FIG. 13, it differs in that there is a fly basket 3. FIG. On the other hand, both Figs. 13 and 15 are settings for heating the edible oil to 177°C.
  • the temperature measurement result tends to be low even under the same heating conditions as in the case without the fry basket 3 as shown in FIG. Specifically, when the fry basket 3 is present, the temperature distribution has many low temperature portions due to the temperature of the fry basket 3 . As a result, similar to the example shown in FIG. 13, even if the thermography data is used to identify the temperature of the cooking oil based on the position, the temperature is identified as a low value. Such a tendency is the same even if conditions such as a fryer are changed.
  • FIG. 16 is a diagram showing a second example without the fly basket 3.
  • FIG. 17 is a diagram showing a second example with a fly basket 3.
  • FIG. 17 is a diagram showing a second example with a fly basket 3.
  • FIG. 13 and 15 have a fryer capacity of 3 liters
  • Figs. 16 and 17 have a fryer capacity of 7 liters.
  • 13 and 15 are for the heating condition of 177° C.
  • FIGS. 16 and 17 are for the heating condition of 180° C.
  • FIG. 13 and 15 are for the heating condition of 177° C.
  • FIGS. 16 and 17 differ in the presence or absence of the fly basket 3.
  • the fly basket 3 recognizes the shape or the like based on the image or thermography data, and the determination device 5 grasps the presence or absence.
  • the presence or absence of the fry basket 3 may be grasped by the weight or by the user's operation.
  • the determination device 5 may correct the temperature measurement result. That is, the determination device 5 may grasp the temperature that is lowered by the fry basket 3 in advance, and when determining that there is the fry basket 3, correct the temperature for the amount that is lowered, and specify the expansion rate and the like. .
  • the temperature may be measured with high accuracy, for example, when the surface of the cooking oil is visible.
  • the determination device 5 corrects the temperature measurement result based on the thermography data. may be performed.
  • the determination device 5 may use the temperature difference due to the fry basket 3 to estimate the height of the surface of the cooking oil.
  • the determination device 5 is equipped with a measurement device for measuring temperature on the fryer side, in addition to the measurement device for generating thermography data.
  • the measuring device that measures the temperature on the fryer side will be referred to as the "first measuring device”
  • the measuring device that measures the temperature for thermography data will be referred to as the "second measuring device”.
  • first measurement result the measurement result of the first measuring device
  • second measurement result the measurement result of the second measuring device
  • the scale 24 shown in FIG. 3 may be difficult to see from the video camera 42 shown in FIG.
  • the determination device 5 estimates the height of the surface of the cooking oil based on the temperature difference between the first measurement result and the second measurement result.
  • Thermography data often measures low temperatures when the amount of cooking oil is small. Therefore, when the amount of edible oil is small, the temperature difference between the first measurement result and the second measurement result tends to increase. Therefore, the height of the surface of the cooking oil can be estimated from the temperature difference between the first measurement result and the second measurement result.
  • the determination device 5 further includes a first temperature measuring unit that measures the temperature of the cooking oil in the oil tank that stores the cooking oil, and a second temperature measuring unit that measures the temperature of the cooking oil from the surface of the cooking oil. Prepare. Then, the determination device 5 specifies the temperature difference between the first measurement result, which is the result of measurement by the first temperature measurement unit, and the second measurement result, which is the result of measurement by the second measurement result.
  • the determination device 5 further includes a determination unit that determines whether cooking utensils such as the fry basket 3 are present.
  • the determination device 5 estimates the height of the surface of the cooking oil based on the temperature difference between the first measurement result and the second measurement result. By estimating the height of the surface of the edible oil in this manner, the determination device 5 can accurately estimate the height of the surface of the edible oil.
  • Thermographic data may be used to estimate the surface height of edible oils.
  • FIG. 18 is a diagram showing an example of processing for estimating the height of the surface of edible oil. For example, the process as shown is performed before the process of identifying the surface height of the edible oil, ie, the amount of oil.
  • step S1801 the determination device 5 determines whether or not the scale can be seen.
  • Whether or not the scale can be seen is determined, for example, by the presence or absence of the fry basket 3. Specifically, for example, as shown in FIG. 17, when it can be determined that there is a fly basket 3, it is determined that the scale cannot be seen (NO in step S1801).
  • the determination device 5 may determine whether or not the scale is visible based on factors other than the presence or absence of the fly basket 3. For example, the scale 24 may be difficult to see due to malfunction of the camera 42, polymerized material, fried scum, or the like. Therefore, the determination device 5 may determine that the scale cannot be seen when the scale 24 cannot be recognized as a result of image recognition of the scale 24 in the image (NO in step S1801).
  • the determination of whether or not the scale can be seen may be made based on the estimation results. Specifically, the determination device 5 may estimate whether or not there is a line where the temperature changes abruptly, and determine whether or not the scale can be seen, as follows.
  • the determination device 5 may determine that the scale is visible (YES in step S1801). That is, when it can be determined that there is a line where the temperature changes rapidly, the determination device 5 may directly identify the position of the oil level.
  • FIG. 19 is a diagram showing an example of boundaries.
  • boundary 55 is a line where the temperature changes abruptly.
  • FIG. 20 is a diagram showing an example of boundary detection.
  • the figure shows an example of the result of measuring the temperature near the boundary 55 for each pixel.
  • the determination device 5 determines a pixel for which a relatively high temperature is measured (hereinafter referred to as a "high temperature pixel 551”) and a pixel for which a low temperature is measured compared to the high temperature pixel 551 (hereinafter referred to as a "low temperature pixel 552"). ) is determined to exist.
  • the temperature of the high-temperature pixel 551 is "160° C.” or higher.
  • the cold pixel 552 is below "160 degrees Celsius”.
  • the determination device 5 determines that the temperature has changed abruptly beyond the threshold.
  • the determination device 5 recognizes such a portion as the boundary 55 .
  • the threshold for judging the boundary 55 is a preset value.
  • the determination device 5 determines that the scale can be seen (YES in step S1801).
  • step S1801 when determining that the scale can be seen (YES in step S1801), the determination device 5 proceeds to step S1802. On the other hand, when determining that the scale cannot be seen (NO in step S1801), the determination device 5 proceeds to step S1803.
  • step S1802 the determination device 5 uses the scale to specify the height of the surface of the cooking oil.
  • step S1803 the determination device 5 identifies the height of the surface of the edible oil using the thermography data. That is, the determination device 5 estimates the height of the surface of the cooking oil based on the temperature difference between the first measurement result and the second measurement result.
  • the determination device 5 can accurately identify the surface height of the edible oil.
  • the determination device 5 uses the scale when the scale can be recognized from the image, or when it can be determined that the scale can be seen, such as when there is a line where the temperature changes rapidly.
  • the height is specified (step S1802). Note that the determination device 5 may use thermography data to specify the height of the surface of the edible oil using the scale.
  • the determination device 5 determines that the scale is difficult to see, it identifies the height of the surface of the cooking oil using thermography data (step S1803).
  • the amount of edible oil may be specified by multiple treatments.
  • the determination device 5 may specify the height of the surface of the edible oil using thermography data even when the scale is visible. Then, when performing a plurality of processes, the determination device 5 may perform statistical processing such as averaging the results of a plurality of processes to finally specify the amount of cooking oil.
  • Modification Some or all of the parameters may be obtained from data other than the image, input by the user, or the like.
  • the expiration date for example, for fried foods, the expiration date, weight, temperature, humidity, size, arrangement of fried foods in cooking, thickness, ratio of batter, or a combination of these may be considered.
  • the determination device may estimate the degree of deterioration of the cooking oil.
  • the estimation result may be in the form of the tendency of deterioration, whether it is time to replace the cooking oil, or the result of estimating the time to replace the cooking oil.
  • the estimation result is displayed on the monitor in a format such as "The current degree of deterioration is XX%.”
  • the monitor indicates the current timing in percentage form with respect to the future timing when the degree of deterioration is "100%”.
  • the monitor may display a determination result such as, for example, "Please replace the frying oil.”
  • the monitor displays, for example, "The remaining number of fried foods is 0", "Next time, the number of fried foods that can be cooked is 0 ⁇ is ⁇ , or ⁇ is ⁇ .” That is, the monitor may display the type of fried food and the number of fried foods that can be cooked before the replacement time is reached, based on the determination result of the determination device.
  • the determination device performs both pre-processing for the learning model and execution processing using the trained model.
  • the preprocessing and the execution processing may not be performed by the same information processing device.
  • the pre-processing and the execution processing may not be consistently executed by one information processing apparatus. That is, each process, data storage, and the like may be performed by an information system or the like composed of a plurality of information processing apparatuses.
  • determination device or the like may perform additional learning after the execution process or before the execution process.
  • the embodiment may be a combination of the above embodiments.
  • a process for reducing overfitting such as dropout (also referred to as “overfitting” or “overfitting”) may be performed.
  • preprocessing such as dimensionality reduction and normalization may be performed.
  • a learning model and a trained model may have a CNN network structure or the like.
  • the network structure may have a configuration such as RNN (Recurrent Neural Network) or LSTM (Long Short-Term Memory). That is, AI may be a network structure or the like other than deep learning.
  • the learning model and the trained model may be configured with hyperparameters. That is, the learning model and the learned model may be partially configured by the user. Furthermore, the AI may specify the feature amount to be learned, or the user may set some or all of the feature amounts to be learned.
  • the learning model and the trained model may use other machine learning.
  • the learning model and the trained model may be subjected to preprocessing such as normalization by an unsupervised model.
  • the learning may be reinforcement learning or the like.
  • preprocessing may be performed by expanding one piece of experimental data or the like into a plurality of pieces of learning data. By increasing the amount of learning data in this way, the learning of the learning model can be further advanced.
  • program including firmware and programs equivalent thereto, hereinafter simply referred to as "program" that executes the determination method, the learning method, or the processing equivalent to the above-exemplified processing.
  • the present invention may be implemented by a program or the like written in a programming language or the like so as to issue a command to a computer and obtain a predetermined result.
  • the program may have a configuration in which part of the processing is executed by hardware such as an integrated circuit (IC) or an arithmetic unit such as a GPU.
  • the program causes the computer to execute the above-described processes by cooperating with the arithmetic device, control device, storage device, etc. of the computer. That is, the program is loaded into the main storage device or the like, issues instructions to the arithmetic unit to perform arithmetic operation, and operates the computer.
  • the program may be provided via a computer-readable recording medium or an electric communication line such as a network.
  • the present invention may be implemented in a system composed of multiple devices. That is, a multi-computer information processing system may perform the processes described above redundantly, in parallel, distributed, or in a combination thereof. Therefore, the present invention may be realized by devices with hardware configurations other than those shown above, and systems other than those shown above.
  • the present invention has been described above.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described.
  • part of the configuration of this embodiment can be replaced with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of this embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Food Science & Technology (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Medicinal Chemistry (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Oil, Petroleum & Natural Gas (AREA)
  • Polymers & Plastics (AREA)
  • Frying-Pans Or Fryers (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

食用油の状態に基づき、調理環境を事前に判定し、美味しい揚げ物を提供するのに調理環境を整えるための情報取得を効率的に行う。　食用油の調理環境を判定する判定装置は、食用油を撮像した画像を取得する撮像部と、前記食用油へ投入して調理する揚げ物の情報である第１情報を入力する第１入力部と、前記画像を解析して、前記食用油の状態を特定する第１特定部と、前記第１情報と、前記状態とに基づき、前記揚げ物が調理される調理環境を特定する第２特定部とを備える。

Description

判定装置、学習装置、判定システム、判定方法、学習方法、及び、プログラム
　本発明は、判定装置、学習装置、判定システム、判定方法、学習方法、及び、プログラムに関する。
　揚げ物の品質を保つためには、揚げ物の調理（以下、単に「調理」という。）において、食用油の品質を適切に管理することが望ましい。
　具体的には、例えば、食用油、又は、脂肪の状態を計測する装置が知られている。食品等を揚げる場合には、食用油は、長期にわたって使用される場合がある。また、調理は、１３０℃乃至１８０℃程度の温度で食用油を使用する。そして、大気中の酸素等により酸化等が起こると、食用油は劣化する。このように、劣化が起きると、例えば、アルデヒド、ケトン、及び、高分子化合物等が生じる。このような成分は、味わい等に悪影響を及ぼす。そこで、センサにより、食用油の電気特性が測定される。このような特性をセンサで測定し、かつ、センサをコーティングにより保護する技術が知られている（例えば、特許文献１を参照）。
特表２０１０－５３４８４１号公報
　従来の技術は、揚げ物を投入する場合において、調理を行う環境（以下「調理環境」という。）がどのようになるかを事前に判定できない場合が多い。そのため、投入する揚げ物に対し、調理環境が整っていないことで、揚げ物の美味しさを損なう場合がある。そのためには、最適な調理環境との乖離があるか否か、又は、どの程度の使用によって揚げ油が最適な調理環境ではなくなるか等といった揚げ物の投入後の調理環境を事前に判定するのが望ましい。しかし、従来の技術では、調理環境の判定、及び、調理環境を整えるための情報取得を効率的に行うには課題がある。
　本発明は、食用油の状態に基づき、調理環境を事前に判定し、美味しい揚げ物を提供するのに調理環境を整えるための情報取得を効率的に行うことを目的とする。
　上記の目的を達成するために、食用油の調理環境を判定する判定装置は、
　食用油を撮像した画像を取得する撮像部と、
　前記食用油へ投入して調理する揚げ物の情報である第１情報を入力する第１入力部と、
　前記画像を解析して、前記食用油の状態を特定する第１特定部と、
　前記第１情報と、前記状態とに基づき、前記揚げ物が調理される調理環境を特定する第２特定部とを備える。
　本発明によれば、食用油の状態に基づき、調理環境を事前に判定し、美味しい揚げ物を提供するのに調理環境を整えるための情報取得を効率的に行うことができる。
調理場１の構成例を示す図である。 情報処理装置のハードウェア構成例を示す図である。 目盛２４の例を示す図である。 全体処理例を示す図である。 ＡＩを用いる構成の全体処理例を示す図である。 テーブルを用いる構成の全体処理例を示す図である。 美味しさを特定する例を示す図である。 第２実施形態の例を示す図である。 第２実施形態における入出力関係の例を示す図である。 情報システム２００の例を示す図である。 ネットワーク構造例を示す図である。 機能構成例を示す図である。 サーモグラフィデータの例を示す図である。 エリアの例を示す図である。 フライバスケット３が有る場合の例を示す図である。 フライバスケット３が無い第２例を示す図である。 フライバスケット３が有る第２例を示す図である。 食用油の表面の高さを推定する処理の例を示す図である。 境目の例を示す図である。 境目の検出例を示す図である。
　以下、食用油を用いて調理する対象を「揚げ物」という。例えば、揚げ物は、フライドチキン、コロッケ、フライドポテト、唐揚げ、天ぷら、又は、トンカツ等である。
　［第１実施形態］
　（調理場１の構成例）
　まず、調理が行われる環境として想定される調理場１の一構成例について、図１を参照して説明する。
　図１は、調理場１の構成例を示す図である。以下、食用油の例を「揚げ油Ｙ」とする。
　調理場１は、例えば、コンビニエンスストア、又は、スーパーマーケット等の店舗内である。そして、調理場１には、揚げ物Ｘを調理する設備が設けられる。例えば、設備は、電気式のフライヤー（Ｆｒｙｅｒ、以下単に「フライヤー２」とする。）等である。
　フライヤー２は、例えば、油槽２１、及び、ハウジング２２等を有する設備である。
　油槽２１は、揚げ油Ｙを貯留する。また、油槽２１は、例えば、取っ手３０、及び、フライバスケット３等で構成する。
　ハウジング２２は、油槽２１を収容する。また、ハウジング２２は、揚げ物Ｘの種類別に、揚げ油Ｙの温度、又は、調理の内容等を設定する設定操作部となる、スイッチ２２Ａ等を側面に有する。
　調理を行う際には、まず、調理者は、揚げ物Ｘをフライバスケット３内に投入する。次に、調理者は、揚げ物Ｘを揚げ油Ｙに漬け、かつ、取っ手３０をハウジング２２の上端部に引っ掛ける。そして、同時、又は、前後して、調理者は、揚げ物Ｘの種類に応じて、スイッチ２２Ａを押下する。
　続いて、フライヤー２は、スイッチ２２Ａに応じて所定の揚げ時間が経過すると、調理者に揚げ上がりを報知する。また、同時に、フライヤー２は、フライバスケット３を油槽２１から上昇させる。このようにして、揚げ物Ｘは、揚げ油に漬かった状態から上げられる。
　なお、報知の方法は、例えば、スピーカでブザー音を出力する、又は、壁１０Ａに設置するモニタ４１に表示する方法等である。このように、揚げ時間の経過は、光、音、又は、これらの組み合わせで報知される。
　調理者は、揚げ物Ｘが揚げ上がると、フライバスケット３を引き上げ、揚げ物Ｘを取り出す。なお、フライバスケット３の引き上げは、駆動機構等で行う構成でもよい。
　また、調理場１は、図示するような器具を用いる構成に限られない。例えば、フライヤー２は、調理が可能な調理器具であれば、種類、及び、配置等は図示する以外であってもよい。
　調理場１は、揚げ油Ｙを撮像する撮像装置が設置される。例えば、撮像装置は、ビデオカメラ４２である。具体的には、ビデオカメラ４２は、天井１０Ｂ等に取り付ける。
　ビデオカメラ４２は、揚げ油Ｙの表面等を連続的に撮像し、画像を生成する。なお、画像は、動画が望ましい。さらに、ビデオカメラ４２は、画角、及び、焦点等の条件が調整される。
　なお、ビデオカメラ４２は、天井１０Ｂ以外の位置でもよい。すなわち、ビデオカメラ４２は、揚げ油Ｙが撮影できれば、壁１０Ａ等に取り付けられてもよい。
　また、撮像装置は、必ずしも動画の形式で撮像しなくともよい。すなわち、例えば、撮像装置は、静止画を撮影するスチルカメラ又はタブレット等であってもよい。そして、スチルカメラ等を用いる場合には、撮像装置は、画像を時系列に沿って断続的に撮像できるものを用いればよい。
　さらに、撮像装置は、複数でもよい。また、撮像装置は、タブレット又はスマートフォンといったモバイル機器等が有するカメラ等でもよい。
　例えば、判定装置５は、モニタ４１、ビデオカメラ４２、及び、フライヤー２等に接続する構成である。なお、判定装置５は、常時、ビデオカメラ４２等に接続していなくともよく、ビデオカメラ４２が撮影した画像を記憶媒体に一旦格納したものから別途取得し、特定等を実行できるように構成してもよい。
　また、ビデオカメラ４２は、図示する位置以外に設置されてもよい。具体的には、ビデオカメラ４２の設置位置は、目盛２４が撮像できる位置等である。
　（情報処理装置のハードウェア構成例）
　図２は、情報処理装置のハードウェア構成例を示す図である。例えば、判定装置５は、以下のようなハードウェア資源を有する情報処理装置である。
　判定装置５は、Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ（以下、「ＣＰＵ５００Ａ」とする。）、及び、Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ（以下、「ＲＡＭ５００Ｂ」とする。）等を有する。さらに、判定装置５は、Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ（以下、「ＲＯＭ５００Ｃ」とする。）、ハードディスクドライブ（以下、「ＨＤＤ５００Ｄ」とする。）、及び、インタフェース（以下、「Ｉ／Ｆ５００Ｅ」とする。）等を有する。
　ＣＰＵ５００Ａは、演算装置、及び、制御装置の例である。
　ＲＡＭ５００Ｂは、主記憶装置の例である。
　ＲＯＭ５００Ｃ、及び、ＨＤＤ５００Ｄは、補助記憶装置の例である。
　Ｉ／Ｆ５００Ｅは、入力装置、又は、出力装置等を接続する。具体的には、Ｉ／Ｆ５００Ｅは、モニタ４１、又は、ビデオカメラ４２等の外部装置を有線、又は、無線で接続し、データを入出力する。
　なお、判定装置５は、上記に示すハードウェア構成に限られない。例えば、判定装置５は、演算装置、制御装置、記憶装置、入力装置、出力装置、又は、補助装置を更に有してもよい。具体的には、情報処理装置は、外部、又は、内部にＧｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ（ＧＰＵ）等の補助装置があってもよい。
　さらに、判定装置５は、複数の装置であってもよい。
　（状態の特定例）
　例えば、判定装置５は、目盛２４で食用油の状態（以下単に「状態」という場合がある。）を特定する。具体的には、まず、ビデオカメラ４２は、目盛２４が映り込むように画像を撮像する。そして、判定装置５は、目盛２４が写る画像をビデオカメラ４２から取得する。
　目盛２４は、油槽２１の壁面に記載される。そして、目盛２４は、揚げ油Ｙの表面が高さ方向においてどこに位置するかを示す。したがって、目盛２４が揚げ油Ｙと一緒に撮像されると、揚げ油Ｙは、表面の高さが判明する。次に、単位高さあたりの油量が一定であれば、高さが判明すると、判定装置５は、高さに基づき油量に換算できる。したがって、目盛２４は、高さ等が判明できるような位置であれば、どの位置にあってもよい。
　また、目盛２４は、以下のような構成でもよい。
　図３は、目盛２４の例を示す図である。例えば、目盛２４は、図示するように、適正な量を示す線であってもよい。このような目盛２４を用いる場合には、画像において、フライヤー２の下面となる網が目盛２４に対してどの距離にいるかが解析される。
　より具体的には、目盛２４は、例えば、「ｈｔｔｐｓ：／／ｗｗｗ．ｔａｎｉｃｏ．ｃｏ．ｊｐ／ｃａｔｅｇｏｒｙ／ｍａｉｎｔ／ｖｏｌ００３／」に記載される「適正油量ライン」等でもよい。
　なお、状態は、油量以外があってもよい。すなわち、画像に基づいて、油量以外の状態が解析されてもよい。例えば、状態は、油量、食用油の最適量（例えば、実験等で定まる最も美味しい揚げ物が提供できる油量等である。）に対する差分、食用油の温度、又は、これらの組み合わせ等でもよい。
　状態は、画像以外を用いて特定されてもよい。例えば、状態を特定するため、ビデオカメラ４２以外のセンサが用いられてもよい。具体的には、センサは、流量計、重量計、ステレオカメラ、及び、ライトフィールドカメラ等があってもよい。このように、センサは、測距、重量の計測、又は、流体物の量の計測等ができる装置等である。
　他にも、センサは、マイク、温度計、又は、臭いセンサ等があってもよい。
　判定装置５は、これらのセンサによる計測結果を取得してもよい。このように、画像の解析結果、及び、画像以外の計測結果を組み合わせると、判定装置５は、油量等の状態を精度良く特定できる。
　（全体処理例）
　図４は、全体処理例を示す図である。例えば、判定装置５は、図示するように、「事前処理」、及び、「実行処理」の順に各処理を実行する。
　事前処理は、実行処理より、実行処理の準備を行うため、事前に実行される処理である。具体的には、事前処理は、人工知能（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＡＩ）、以下「ＡＩ」という。）を用いる構成では、学習モデルを学習させる等の準備を行う処理である。そして、実行処理は、事前処理で準備する学習済みモデルを用いる処理である。
　一方で、実行処理は、テーブル等を用いる処理でもよい。このように、テーブルを用いる構成では、事前処理は、テーブル（ルックアップテーブル（Ｌｏｏｋ　Ｕｐ　Ｔａｂｌｅ、ＬＵＴ）等ともいう。）等を入力する準備を行う処理である。そして、実行処理は、事前処理で入力されたテーブルを用いる処理である。
　なお、判定装置５は、事前処理、及び、実行処理を図に例示するような連続する順序で実行しなくともよい。したがって、事前処理によって準備を行う期間と、その後、実行処理を行う期間を連続させることは必須ではない。
　したがって、ＡＩを用いる場合には、学習済みモデルを一旦作成した後に、別の機会として学習済みモデルを用いる実行処理を行うようにしてもよい。
　また、学習済みモデルが一度生成された後であれば、学習済みモデルを転用し、判定装置５は、事前処理を省略して、実行処理から開始してもよい。
　また、学習モデル、及び、学習済みモデルは、転移学習（Ｔｒａｎｓｆｅｒ　Ｌｅａｒｎｉｎｇ）、又は、ファインチューニング（Ｆｉｎｅ　ｔｕｎｉｎｇ）等を行う構成でもよい。すなわち、判定装置５は、装置ごとに異なる実行環境となる場合が多い。そこで、ＡＩの基本構成は、別の情報処理装置で学習する。その後、各々の判定装置５は、更に各々の実行環境に最適化するため、更に学習、又は、設定等がされてもよい。
　（事前処理例）
　ステップＳ０４０１では、判定装置５は、準備を行う。また、事前処理は、ＡＩを用いる構成であるか、又は、テーブルを用いる構成であるかにより処理の内容が異なる。
　ＡＩを用いる構成では、判定装置５は、学習モデルを学習する等の準備を行う。一方で、テーブルを用いる構成では、判定装置５は、テーブルを入力する等の準備を行う。なお、準備の詳細は後述する。
　（実行処理例）
　事前処理が実行された後、すなわち、ＡＩ又はテーブルが準備された後、判定装置５は、例えば、以下のような手順で実行処理を行う。
　ステップＳ０４０２では、判定装置５は、食用油を撮像した画像を取得する。なお、画像は、複数のフレーム、又は、複数の装置で撮像した画像を用いてもよい。以下、複数の画像、又は、動画等も単に「画像」という。
　また、画像は、カラーが望ましい。すなわち、画像は、ＲＧＢ、又は、ＹＣｒＣｂ等のデータ形式であるのが望ましい。カラーを用いると、色等を用いて精度良く分析、又は、認識等ができる。
　ステップＳ０４０３では、判定装置５は、第１情報を入力する。
　第１情報は、食用油へ投入して調理する揚げ物に関する情報である。具体的には、第１情報は、揚げ物の種類、揚げ物の投入量、又は、これらの組み合わせを示す情報である。したがって、第１情報は、揚げ物の種類を区別するための名称、又は、調理で油槽２１に入れる揚げ物の個数等を指定する形式等で入力される。
　ステップＳ０４０４では、判定装置５は、画像を解析して状態を特定する。すなわち、判定装置５は、ステップＳ０４０２で取得する画像を解析する。
　ステップＳ０４０５では、判定装置５は、調理環境を判定する。
　ステップＳ０４０６では、判定装置５は、調理環境等に基づく出力を行う。
　以上のような全体処理におけるステップＳ０４０５までの処理は、ＡＩを用いる構成であるか、又は、テーブルを用いる構成かによって処理内容が異なる。以下、構成ごとに分けて説明する。
　（ＡＩを用いる構成の全体処理例）
　図５は、ＡＩを用いる構成の全体処理例を示す図である。図示するように、ＡＩを用いる構成では、事前処理は、学習モデルＡ１を学習する処理である。そして、実行処理は、事前処理等によって、ある程度の学習が完了した学習モデルである、学習済みモデルＡ２を用いて調理環境等を判定する処理である。
　事前処理は、例えば、学習データＤ１１を用いて、学習モデルを学習させる処理である。すなわち、事前処理は、学習データＤ１１を用いる「教師あり」の学習により、学習モデルＡ１を学習させて、学習済みモデルＡ２を生成する処理である。
　学習データＤ１１は、例えば、油量Ｄ１１１、第１情報Ｄ１１２、及び、調理温度Ｄ１１３等のデータを組み合わせたデータである。
　油量Ｄ１１１は、食用油の量等である。また、油量Ｄ１１１は、ステップＳ０４０２で取得する画像を解析して得られる解析結果等である。
　なお、油量Ｄ１１１は、画像を解析して得られるのが望ましい。すなわち、油量Ｄ１１１は、目盛２４等に基づいて画像を解析して得られる形式で入力されるのが望ましい。
　画像は、油量Ｄ１１１以外の情報も取得できる場合が多い。したがって、判定装置５は、画像を解析すると、油量Ｄ１１１以外の情報も取得できる。ゆえに、画像を入力すると、判定装置５は、調理環境に影響がある状態を特定、及び、学習できる場合がある。
　また、画像で入力する形式であると、撮像装置を設置して食用油を撮像し続ける体制で学習データが確保できるため、テキストデータ等で入力する形式等と比較して、学習データの用意が簡略化できる。
　第１情報Ｄ１１２は、油量Ｄ１１１が示す状態の条件下で調理の対象となる揚げ物の種類、投入量、又は、これらの組み合わせ等を示す情報である。例えば、第１情報Ｄ１１２は、テキストデータ等で入力する、又は、画像を解析して揚げ物の種類等を画像認識で特定して入力する。
　調理温度Ｄ１１３は、調理環境の例である。すなわち、油量Ｄ１１１、及び、第１情報Ｄ１１２が示す条件下で調理を行うと、どのような調理温度Ｄ１１３となったかの結果を示す情報である。したがって、調理温度Ｄ１１３は、揚げ物をどのような調理環境で調理することになるかを示す情報であって、「教師あり」の学習を行う構成において、「正解データ」となる情報である。
　なお、調理環境は、調理温度Ｄ１１３に限られない。例えば、調理環境は、揚げ物を調理できる温度、揚げ物を投入すると低下する温度の低下量、食用油の劣化度、又は、これらの組み合わせ等でもよい。このように、調理環境は、現状の食用油を用いると、どのような環境で揚げ物が調理されるかを示す情報である。また、調理環境は、例えば、最適な調理温度に対して、どの程度乖離してしまうかといった形式で判定されてもよい。又は、調理環境は、例えば、最適とする調理温度が保てなくなる、すなわち、現状の食用油の使用の仕方では、どの程度の使用によって揚げ油が最適な調理環境ではなくなるかといった形式で判定されてもよい。
　以上のような学習データＤ１１を用いて、学習モデルＡ１を学習させると、判定装置５は、状態、及び、第１情報の組み合わせと、調理環境との関係を学習できる。そして、このような学習によって生成する学習済みモデルＡ２を用いると、判定装置５は、以下のような実行処理ができる。
　実行処理は、入力データＤ１２を入力して、調理温度等の推定結果（以下単に「推定結果Ｄ１３」という。）を出力する。
　例えば、実行処理では、判定装置５は、事前処理と同様の形式で、油量等の状態、及び、第１情報を含む入力データＤ１２を入力する。なお、事前処理と比較すると、実行処理では、油量等の状態、及び、第１情報に対して、結果となる調理環境が未知である点が異なる。
　以下、実行処理で入力する油量を「未知油量Ｄ１２１」という。同様に、実行処理で入力する第１情報を「未知第１情報Ｄ１２２」という。
　入力データＤ１２は、未知油量Ｄ１２１、及び、未知第１情報Ｄ１２２の組み合わせ等である。そして、判定装置５は、入力データＤ１２を学習済みモデルＡ２に入力する（図４におけるステップＳ０４０３、及び、ステップＳ０４０４）。このような入力に対し、判定装置５は、推定結果Ｄ１３を出力する。すなわち、入力データＤ１２が示す条件下で調理を行うと、どのような調理環境で調理がされるかを推定する（図４におけるステップＳ０４０５）。
　このように、ＡＩを用いる構成であると、学習データＤ１１で入力される条件と異なる条件が入力されても、判定装置５は、学習に基づき、調理環境等を推定できる。
　（テーブルを用いる構成の全体処理例）
　図６は、テーブルを用いる構成の全体処理例を示す図である。図示するように、テーブルを用いる構成では、事前処理は、テーブルＤ２２を生成する処理である。そして、実行処理は、事前処理で生成したテーブルＤ２２を用いて調理環境等を判定する処理である。
　事前処理は、例えば、実験データＤ２１をまとめてテーブル形式にする処理である。なお、テーブルＤ２２は、図示するように２次元の表でなくともよい。すなわち、テーブルＤ２２は、油量Ｄ１１１、及び、第１情報Ｄ１１２に対して、対応する調理温度Ｄ１１３が一義的に特定できれば、データ形式等を問わない。以下、図示するようなテーブルＤ２２の形式を例に説明する。
　実験データＤ２１は、例えば、油量Ｄ１１１、第１情報Ｄ１１２、及び、調理温度Ｄ１１３等のデータを組み合わせたデータである。なお、油量Ｄ１１１、第１情報Ｄ１１２、及び、調理温度Ｄ１１３は、例えば、図５と同様である。
　テーブルＤ２２は、油量Ｄ１１１、及び、第１情報Ｄ１１２と、調理温度Ｄ１１３とを対応付けするデータである。なお、テーブルＤ２２には、図示する以外の情報が含まれてもよい。
　以上のようなテーブルＤ２２を用いると、判定装置５は、状態、及び、第１情報の組み合わせと、調理環境とを対応付けできる。そして、このようなテーブルＤ２２を用いると、判定装置５は、以下のような実行処理ができる。
　例えば、実行処理では、判定装置５は、ＡＩを用いる構成と同様に、油量等の状態、及び、第１情報を含む入力データＤ１２を入力する（図４におけるステップＳ０４０３、及び、ステップＳ０４０４）。
　ＡＩを用いる構成と同様に、テーブルを用いる構成でも、事前処理と比較すると、実行処理では、油量等の状態、及び、第１情報が未知である点が異なる。
　以下、ＡＩを用いる構成と同様に、入力データＤ１２は、未知油量Ｄ１２１、及び、未知第１情報Ｄ１２２の組み合わせ等である例で説明する。
　ＡＩを用いる構成と同様に、判定装置５は、入力データＤ１２により、状態、及び、第１情報の組み合わせを入力すると、テーブルＤ２２において、対応する調理温度を抽出する。このように、入力に対し、判定装置５は、抽出結果Ｄ２３を出力する。すなわち、ＡＩを用いる構成と同様に、入力データＤ１２が示す条件下で調理を行うと、判定装置５は、どのような調理環境で調理がされるかをテーブルＤ２２から抽出する（図４におけるステップＳ０４０５）。
　このように、テーブルを用いる構成であると、テーブルＤ２２上で入力される条件と対応する調理温度を検索するため、判定装置５は、高速に処理できる。
　なお、判定装置５は、線形補間等により、調理環境等を推定してもよい。すなわち、テーブルＤ２２に入力されていない条件等の場合には、判定装置５は、テーブルＤ２２において類似する条件を平均する等によって調理環境を計算してもよい。
　例えば、図示するように、「油量が２００ｇ」、及び、「油量が２５０ｇ」がテーブルＤ２２に入力され、かつ、「油量が２２５ｇ」（すなわち、未知の場合である。）を実行処理の対象とする場合には、判定装置５は、「油量が２００ｇ」、及び、「油量が２５０ｇ」の中間となる値等を計算してもよい。
　このような補間を行うと、テーブルＤ２２に入力されていない条件であっても、判定装置５は、対応できる。
　（膨張量の特定、及び、膨張量に基づく補正の例）
　判定装置５は、膨張量の特定、及び、膨張量に基づく補正を行うのが望ましい。以下、補正を行う前、すなわち、画像の解析結果で得られる食用油の量を「第１油量」という。一方で、第１油量を膨張率で補正した後の食用油の量を「第２油量」という。
　膨張率は、例えば、食用油の種類、及び、温度に基づいて特定できる。すなわち、判定装置５は、判定の対象とする食用油について、食用油の種類、及び、温度等を特定すると膨張率を特定できる。
　食用油は、温度により、体積が変化する。また、膨張率は、食用油の種類ごとに異なる。したがって、膨張率を考慮し、油量を補正すると、判定装置５は、精度良く油量を特定できる。
　例えば、判定装置５は、食用油の種類を画像の解析、又は、食用油の名称を入力する等により特定する。次に、判定装置５は、食用油の温度を計測等により特定する。
　また、判定装置５は、食用油の種類、及び、温度のセットと、膨張率とを対応付けしたデータ等を事前に入力する。又は、判定装置５は、膨張率を計算する計算式等を事前に入力する。
　以上のようにして、判定装置５は、画像を解析する等によって第１油量を特定し、かつ、膨張率を特定する。次に、判定装置５は、第１油量を補正して第２油量を特定する。具体的には、第２油量は、下記（１）式の計算で求まる。
　第２油量　＝　第１油量　×　温度差　×　膨張率　　（１）
　上記（１）式において、「温度差」は、現在の食用油が基準とする温度に対して、何℃差があるかを示す値である。また、上記（１）式において、「膨張率」は、食用油の種類、及び、温度のセットで事前に定まる値である。このように、判定装置５は、第１油量に、温度差、及び、膨張率を乗じる計算を行って、膨張率に基づく補正を行う。
　なお、補正は、上記（１）式による計算に限られず、温度による膨張の影響を排除して膨張する前の油量を特定できるのであれば、計算方法等を問わない。例えば、膨張率は、比重等で計算されてもよい。
　上記（１）式等で定まる第２油量を含む状態、及び、第１情報を用いると、判定装置５は、調理環境等を精度良く特定できる。
　（美味しさを特定する例）
　図４におけるステップＳ０４０６では、判定装置は、美味しさの特定結果を更に出力してもよい。すなわち、判定装置は、ステップＳ０４０５で判定する調理環境で調理した場合の美味しさを特定する。
　美味しさは、揚げ物の油っぽさ、におい、食感、及び、風味の総合的に評価した結果等である。例えば、美味しさは、官能評価等で評価される。
　調理環境は、美味しさと相関関係が強い。したがって、調理環境を想定できると、判定装置は、想定する調理環境で揚げ物がどの程度の美味しさとなるかが特定できる。すなわち、揚げ物は、最適な調理温度で調理されると、美味しさを高くできる場合が多い。以下、調理環境を調理温度とする例で説明する。
　図７は、美味しさを特定する例を示す図である。例えば、図４に示す全体処理を行う場合を例に説明する。
　ステップＳ０４０１によって、事前処理が行われると、判定装置は、学習済みモデルＡ２、又は、テーブルＤ２２を準備できる。このような準備ができた後、判定装置は、実行処理を行う。
　ステップＳ０４０２によって、判定装置は、画像ＩＭＧを取得する。
　ステップＳ０４０３によって、判定装置は、未知第１情報Ｄ１２２を入力する。
　ステップＳ０４０４によって、判定装置は、画像ＩＭＧの解析結果に基づき、未知油量Ｄ１２１を入力する。
　このように入力データＤ１２が入力されると、ステップＳ０４０５によって、判定装置は、調理環境を判定する。
　調理環境は、調理温度、揚げ物Ｘを調理できる温度、揚げ物Ｘを投入すると低下する温度の低下量、食用油の劣化度、又は、これらの組み合わせ等である。例えば、調理温度が判定すると、判定装置は、どのような温度で揚げ物Ｘが調理されるかが把握できる。そして、調理温度は、揚げ物Ｘの種類等でどのような美味しさとなるかと相関関係が強い。具体的には、最適な温度で調理がされないと、揚げ物は美味しくできない場合が多い。
　一方で、調理温度等の調理環境は、油量、及び、調理の対象によって、調理が可能な温度等に制限ができる場合が多い。したがって、油量、及び、揚げ物の種類等と、調理環境とは、相関関係が強くなる。ゆえに、判定装置は、調理温度等に基づいて、美味しさを推定できる。
　なお、判定装置は、図示するように、好みを考慮してもよい。すなわち、判定装置は、入力する好みに合う美味しさとなるか等を推定してもよい。
　美味しさは、各人の好みによって異なる場合がある。例えば、美味しさに油っぽさを含む場合において、油っぽさが高いのを好む人もいれば、油っぽさが高いのを嫌う人もいる。好みは、このような美味しさを構成する属性の最適値を示す。
　なお、好みを入力する場合には、事前処理では、好みに対応するため、正解データ、又は、テーブルには、好みの対象となる属性が入力されるのが望ましい。具体的には、実行処理において好みで油っぽさを入力する場合には、正解データ、又は、テーブルには、油っぽさの結果が入力されるのが望ましい。
　ただし、属性は、種類によって、調理環境と相関が強い項目がある。すなわち、判定装置は、調理環境が判定できれば、好みに合う調理となるか否か等が判断できる場合もある。このような場合には、判定装置は、調理環境と好みの対象となる属性との関係を把握すれば、正解データに好みの対象となる属性を入力しなくともよい。
　このように、好みを考慮できると、判定装置は、各人に合わせて美味しさを推定できる。また、ステップＳ０４０６によって、判定装置は、入力された条件では、どのような美味しさとなる揚げ物になるかを数値、又は、定性的な表現等で出力してもよい。
　［第２実施形態］
　第２実施形態は、差し油、及び、廃油等を考慮する点が第１実施形態と異なる。
　図８は、第２実施形態の例を示す図である。図７と比較すると、第２実施形態は、ステップＳ０８０１によって、油量を調整する点が異なる。
　第２実施形態は、ステップＳ０４０４で特定する油量に対して、食用油の追加、廃棄、又は、両方を行う。このように調整が行われると、油量の増減により、未知油量Ｄ１２１が変化する。このような変化を考慮して、判定装置は、調理環境、及び、美味しさ等を判定する。例えば、第２実施形態は、入出力関係が以下のようになる。
　図９は、第２実施形態における入出力関係の例を示す図である。例えば、未知油量Ｄ１２１は、複数のパターンが調整によって生成されてもよい。
　以下、油量を増減させない、すなわち、調整がなく、現状の状態を維持するパターンを「現状」という。一方で、「パターン１」及び「パターン２」は、差し油、すなわち、食用油を追加する調整を行う例である。
　具体的には、「パターン１」は、「現状」に対して「＋２００ｇ」の食用油を追加する調整を行うパターンである。さらに、「パターン２」は、「現状」に対して「＋２５０ｇ」の食用油を追加する調整を行うパターンである。
　なお、パターンは、上記の３つ以外であってもよい。すなわち、油量以外のパラメータが異なるパターンがあってもよい。具体的には、パターンは、第１情報が異なるように設定されてもよい。以下、油量のみをパターンごとに変える場合を例に説明する。
　「現状」、「パターン１」、及び、「パターン２」・・・のように複数のパターンを入力すると、判定装置は、パターンごとに調理環境を判定する。したがって、判定装置は、調理環境ごと、すなわち、パターンごとに美味しさを出力できる。
　以下、美味しさの評価を評価が高い順に「〇」、「△」、「×」と示す。なお、美味しさは、数値又は言葉で表現されてもよい。また、美味しさは、属性があってもよく、属性ごとの評価結果、及び、複数の属性を総合した評価結果を示す形式でもよい。
　美味しさは、最も美味しさが高くなるパターン等を出力するのが望ましい。例えば、判定装置は、最適なパターン（この例では、「〇」の美味しさである「パターン２」である。）を示すメッセージ５０等を出力する。例えば、メッセージ５０は、モニタ等へ出力する。なお、メッセージ５０の形式等は、どのような形式でもよい。
　このように、最も美味しさが最適となるパターンが出力されると、ユーザは、美味しい揚げ物を提供するのにどのような操作をしたらよいかが把握できる。
　また、判定装置は、最適なパターンを実現するように調整器５１等を制御してもよい。例えば、調整器５１は、ポンプ等である。したがって、判定装置は、調整器５１等に対して、ポンプを稼働させる等を命令する信号を出力して制御すると、ポンプ等の稼働により油量を調整することができる。
　このように、判定装置は、最適なパターンを実現するように、接続する調整器５１等の関連機器を制御する構成でもよい。このような構成であると、判定装置は、調理環境を事前に判定した結果に基づいて、調理環境を整えることができる。
　他にも、判定装置は、最適なパターンを生成してもよい。すなわち、判定装置は、現状に対して、現状より美味しさが高くできるような調整量等を抽出してもよい。
　このように、判定装置は、調理環境、又は、美味しさの特定結果に基づき、調理環境、又は、美味しさが最適となる追加油の追加量、及び、廃油の廃油量等を出力する。
　以下、食用油の追加量、廃油量、又は、これらの組み合わせを示す情報を「第２情報」という。
　このような出力があると、ユーザは、美味しい揚げ物を提供するのにどのような操作をしたらよいかが把握できる。
　また、判定装置は、第２情報以外、すなわち、油量以外の調整を考慮してもよい。例えば、判定装置は、追加油を追加するタイミング（以下「第１タイミング」という。）、又は、廃油を廃棄するタイミング（以下「第２タイミング」という。）等も調整してもよい。
　調理において、調理環境を整えるのには、食用油を追加、又は、廃油するタイミングが影響する場合がある。したがって、第１タイミング、及び、第２タイミングがどのタイミングであると、判定装置は、より美味しい揚げ物を提供できる調理環境になるかを推定してもよい。
　このように、第１タイミング、及び、第２タイミング等も最適化する出力があると、ユーザは、美味しい揚げ物を提供するのにどのような操作をしたらよいかが把握できる。
　又は、判定装置は、調整器５１等を制御して、最適な第１タイミング、及び、第２タイミングで食用油を調整してもよい。
　また、以下のように、判定装置は、情報システムにおいて、調整等に関する情報を提供してもよい。
　図１０は、情報システム２００の例を示す図である。例えば、情報システム２００は、店舗Ｓ１乃至店舗Ｓ３ごとに設置する判定装置５を通信回線等で接続して構築する。
　例えば、店舗Ｓ２（この例では、店舗Ｓ２は、居酒屋とする。）は、統括本部Ｈに報知情報を通知する。この場合には、統括本部Ｈは、報知情報を受信した回数、又は、頻度等を分析する。同様に、統括本部Ｈは、店舗Ｓ１（店舗Ｓ１は、天ぷら屋とする。）、及び、店舗Ｓ３（店舗Ｓ３は、とんかつ屋とする。）も分析する。
　このように分析した結果に基づき、統括本部Ｈは、食用油の使用方法が適切か、適宜交換しているか、及び、無駄がないか等を提案、又は、指導する。
　なお、統括本部Ｈは、フライヤー２が設置された工場等も管理してよい。また、統括本部Ｈは、店舗、又は、工場内に存在し、施設内のフライヤー２等を管理してもよい。
　報知情報は、例えば、食用油の製造業者Ｐ、及び、販売業者Ｑ等に通知される。そして、製造業者Ｐは、報知情報に基づき、製造計画、又は、販売計画を立案する。また、販売業者Ｑは、報知情報に基づき、食用油を発注、及び、製造業者Ｐから食用油を仕入れる等を行う。そして、販売業者Ｑは、店舗Ｓ１乃至店舗Ｓ３等へ食用油等を配送する。
　さらに、報知情報は、回収業者Ｚ（なお、回収業者Ｚ、及び、製造業者Ｐは同一の業者等でもよい。）に通知される。そして、報知情報を受けると、回収業者Ｚは、廃油Ｗを回収する。具体的には、回収業者Ｚは、所定回数の報知情報を受信すると、店舗Ｓ２を訪問してフライヤー２の油槽２１から廃油Ｗを回収する。
　さらに、報知情報は、清掃作業業者等にも通知されてよい。そして、報知情報を受けると、清掃作業業者は、店舗Ｓ２を訪問して、フライヤー２の油槽２１の内部、又は、その付近等を清掃する。
　例えば、以上のように報知情報を用いると、店舗Ｓ１乃至店舗Ｓ３において、供給から廃油、清掃までが迅速にできる。また、食用油の交換等を自動化すると、ユーザ（例えば、店員等である）の負担がより軽減できる。具体的には、劣化度が閾値を超えた等の報知情報が出力されると、使用中の食用油は、新しい食用油等に交換される。
　このようなサプライチェーンにおいて、判定装置５は、調整において、追加油、又は、廃油が発生する場合には、統括本部Ｈ、回収業者Ｚ、及び、製造業者Ｐ等へ食用油の量、及び、追加油、又は、廃油が発生する時期等を報知してもよい。このように、追加油、又は、廃油等についての発注、回収、納品、及び、手続等が情報システム２００によって自動化できると、ユーザは、作業負荷が軽減できる。
　（ネットワーク構成例）
　ＡＩは、例えば、以下のようなネットワークで実現する。
　図１１は、ネットワーク構造例を示す図である。例えば、学習モデル、及び、学習済みモデルは、以下のようなネットワーク３００の構造である。
　ネットワーク３００は、例えば、入力層Ｌ１、中間層Ｌ２（「隠れ層」等ともいう。）、及び、出力層Ｌ３等を有する構成である。
　入力層Ｌ１は、データを入力する層である。
　中間層Ｌ２は、入力層Ｌ１で入力するデータを重み、及び、バイアス等に基づいて変換する。このように中間層Ｌ２で処理された結果が出力層Ｌ３へ伝えられる。
　出力層Ｌ３は、推測結果等を出力する層である。
　そして、学習により、重みの係数、及び、等が最適化される。なお、ネットワーク３００は、図示するネットワーク構造に限られない。つまり、ＡＩは、他の機械学習によって実現されてもよい。
　（劣化度について）
　劣化度は、例えば、食用油の酸価、食用油の粘度、食用油の粘度上昇率、食用油の色調、食用油のアニシジン価、食用油の極性化合物量、食用油のカルボニル価、食用油の発煙点、食用油のトコフェロール含量、食用油のヨウ素価、食用油の屈折率、食用油の揮発性成分量、食用油の揮発性成分組成、食用油の風味、食用油で揚げた揚げ物の揮発性成分量、揚げ物の揮発性成分組成、揚げ物の風味、又は、これらの組み合わせ等でもよい。
　食用油の酸価（Ａｃｉｄ　Ｖａｌｕｅ、「ＡＶ」という場合もある。）は、例えば、基準油脂分析試験法２．３．１－２０１３に準じる方法で測定する値である。
　食用油の粘度上昇率は、例えば、食用油を交換し、新しい揚げ油で揚げ物を初めて揚げる前の粘度（すなわち、使用開始時の粘度である。）等を基準とし、基準に対する粘度上昇量の比率で算出される値である。なお、粘度は、粘度計等で計測される。例えば、粘度計は、Ｅ型粘度計（ＴＶＥ－２５Ｈ・東機産業社製）等である。
　食用油の色調（「色」又は「色相」等という場合もある。）は、例えば、基準油脂分析試験法２．２．１．１－２０１３に準じる方法で測定する値（例えば、黄色成分値と赤色成分値を用いて、黄色成分値＋１０×赤色成分値で計算する値等である。）である。
　食用油のアニシジン価は、基準油脂分析試験法２．５．３－２０１３に準じる方法で測定する値である。
　食用油の極性化合物量は、基準油脂分析試験法２．５．５－２０１３に準じる方法で測定する値である。例えば、食用油の極性化合物量は、極性化合物測定装置（株式会社テストー製等の装置等をいう。）で測定する値である。
　食用油のカルボニル価は、例えば、基準油脂分析試験法２．５．４．２－２０１３等に準じる方法で測定する値である。
　食用油の発煙点は、基準油脂分析試験法２．２．１１．１－２０１３等に準じる方法で測定する値である。煙は、食用油に含まれる脂質、又は、その分解物等の燃焼により生じる。
　食用油のトコフェロール（Ｔｏｃｏｐｈｅｒｏｌ）（「ビタミンＥ」等という場合もある。）含量は、食用油に含まれるトコフェロールの成分量等である。例えば、トコフェロールは、高速液体クロマトグラフ（ＨＰＬＣ）法等に準じる方法で測定する値である。
　食用油のヨウ素価は、例えば、油脂１００グラムに付加できるヨウ素のグラム数を示す。そして、食用油のヨウ素価は、例えば、基準油脂分析試験法２．３．４１－２０１３等に準じる方法で測定する値である。
　食用油の屈折率は、例えば、基準油脂分析試験法２．２．３－２０１３等に準じる方法で測定する値である。
　食用油の揮発性成分量、食用油の揮発性成分組成、食用油で揚げた揚げ物の揮発性成分量、及び、揚げ物の揮発性成分組成等の揮発性成分は、揚げ物、又は、食用油から揮発する成分（主に、臭い成分である。）等で定まる。また、揮発性成分は、食用油が劣化すると、成分量、又は、組成等が変化する。例えば、揮発性成分は、ガスクロマトグラフ－質量分析計（ＧＣ－ＭＳ）、又は、においセンサ等で測定される。
　食用油の風味、及び、揚げ物の風味等の風味は、官能評価（例えば、実際に人が食べて評価する方法等である。）、又は、味覚センサ等で測定する値である。
　（機能構成例）
　図１２は、機能構成例を示す図である。例えば、判定装置５は、撮像部５Ｆ１、第１入力部５Ｆ２、第１特定部５Ｆ３、及び、第２特定部５Ｆ４等を備える機能構成である。なお、図示するように、判定装置５は、第２入力部５Ｆ５、出力部５Ｆ６、及び、調整部５Ｆ７等を更に備える機能構成であるのが望ましい。以下、図示する機能構成を例に説明する。
　撮像部５Ｆ１は、食用油を撮像した画像を取得する撮像手順を行う。例えば、撮像部５Ｆ１は、ビデオカメラ４２、及び、Ｉ／Ｆ５００Ｅ等で実現する。
　第１入力部５Ｆ２は、第１情報を入力する第１入力手順を行う。例えば、第１入力部５Ｆ２は、Ｉ／Ｆ５００Ｅ等で実現する。
　第１特定部５Ｆ３は、画像を解析して、状態を特定する第１特定手順を行う。例えば、第１特定部５Ｆ３は、ＣＰＵ５００Ａ等で実現する。
　第２特定部５Ｆ４は、第１情報と、状態とに基づき、揚げ物が調理される調理環境を特定する第２特定手順を行う。例えば、第２特定部５Ｆ４は、ＣＰＵ５００Ａ等で実現する。
　第２入力部５Ｆ５は、追加油の追加量、廃油の廃油量、又は、これらの組み合わせを示す第２情報を入力する第２入力手順を行う。例えば、第２入力部５Ｆ５は、Ｉ／Ｆ５００Ｅ等で実現する。
　出力部５Ｆ６は、調理環境、又は、美味しさの特定結果に基づき、調理環境、美味しさが最適となる追加油の追加量、廃油の廃油量、第１タイミング、第２タイミング、又は、これらの組み合わせを出力する出力手順を行う。例えば、出力部５Ｆ６は、Ｉ／Ｆ５００Ｅ等で実現する。
　調整部５Ｆ７は、出力部５Ｆ６による出力結果に基づき、食用油の追加、廃棄、又は、両方を行う調整手順を行う。例えば、調整部５Ｆ７は、調整器５１等で実現する。
　また、判定装置５、及び、学習装置６を有する判定システム７は、例えば、以下のような機能構成である。以下、学習装置６が判定装置５と同様のハードウェア構成である場合を例にする。ただし、判定装置５、及び、学習装置６は異なるハードウェア構成でもよい。
　学習装置６は、例えば、判定装置５と同様に、撮像部５Ｆ１、第１入力部５Ｆ２、及び、第１特定部５Ｆ３等を備える機能構成である。ただし、学習装置６は、状態、及び、第１情報が入力できるのであれば、入力の構成、及び、データの形式は問わない。以下、判定装置５と同様の機能構成は、同一の符号を付して説明を省略する。
　調理環境入力部５Ｆ８は、揚げ物が調理される調理環境を入力する調理環境入力手順を行う。例えば、調理環境入力部５Ｆ８は、Ｉ／Ｆ５００Ｅ等で実現する。
　生成部５Ｆ９は、学習モデルＡ１を学習させて学習済みモデルＡ２を生成する生成手順を行う。又は、生成部５Ｆ９は、テーブルＤ２２を生成する生成手順を行う。例えば、生成部５Ｆ９は、ＣＰＵ５００Ａ等で実現する。
　判定システム７では、学習装置６が生成する学習済みモデルＡ２、又は、テーブルＤ２２が、学習装置６からネットワーク等を介して、判定装置５等へ配信される。
　事前処理により、学習装置６が学習済みモデルＡ２、又は、テーブルＤ２２を生成する。このような学習済みモデルＡ２、又は、テーブルＤ２２があると、判定装置５は、実行処理により、食用油の状態に基づき、調理環境を事前に判定できる。このような判定、すなわち、どのような調理環境となるか、又は、最適な調理環境との乖離部分等の情報が調理を行う前に分かると、美味しい揚げ物を提供するのに調理環境を整えるのが容易になる。
　また、油量の調整等を試行錯誤する場合等と比較して、ユーザは、どのように調理環境を整えればよいか等の情報取得を効率的に行うことができる。
　このような判定結果に基づいて、最適な調理環境との乖離を少なくする等のように、調理環境を整えることで、美味しい揚げ物を提供することができる。
　［第３実施形態］
　判定装置５は、サーモグラフィ（ｔｈｅｒｍｏｇｒａｐｈｙ）データを生成して利用してもよい。
　図１３は、サーモグラフィデータの例を示す図である。図示するサーモグラフィデータは、「ＦＬＩＲ（登録商標）　Ｓｙｓｔｅｍｓ社製　ＦＬＩＲ　Ｅ４」を計測装置として使用し、食用油を１８０℃に加熱する設定において、食用油の温度を計測して生成したデータの例である。
　サーモグラフィデータは、食用油の温度分布を色で示すデータである。例えば、サーモグラフィデータは、食用油が発する赤外線を計測して、計測点ごとの温度を色の画素をプロットして生成される。図示する例は、温度を２０℃乃至１９０℃の範囲で色分けして示すサーモグラフィデータの例である。
　このように、食用油を加熱している状態において、温度の分布が分かると、膨張率を精度良く特定できる。膨張率は、温度によって異なる値である。一方で、温度は、食用油において分布が均一とは限らない。すなわち、食用油は、位置によって温度が異なる場合がある。このように温度に偏りがある場合等であっても、サーモグラフィデータがあると、判定装置５は、位置ごとに温度を把握でき、温度の偏り等があっても、膨張率を精度良く特定できる。
　なお、温度は、例えば、以下のように事前に設定する領域（以下「エリア」という。）ごとに計測されてもよい。
　図１４は、エリアの例を示す図である。図は、図１３において温度を計測する全領域を６つのエリアに区切るように設定する例を示す。なお、区切り方は、図示する例に限られない。つまり、エリアは、均等でなくともよいし、６つ以外に区切られてもよい。
　エリアは、全領域でなくともよい。例えば、エリアは、全領域のうち、電熱線がなく、かつ、食用油がある領域を抽出して設定するのが望ましい。すなわち、エリアは、電熱線がある所を避けるように設定されるのが望ましい。電熱線があると、電熱線の温度により、高く計測される場合がある。したがって、エリアは、電熱線等の高温部を除外して設定されると、温度が精度良く計測できる。
　また、目盛２４が画像で判断できる場合には、エリアは、目盛２４を含む領域を抽出して設定するのが望ましい。すなわち、エリアは、目盛２４が見える領域に対して設定されるのが望ましい。
　また、温度の計測は、食用油がある領域だけを抽出して行うが望ましい。すなわち、温度計測を行う範囲に、食用油以外の物体がある場合には、食用油以外の物体を計測した計測結果を除外して、計測を行うのが望ましい。
　この例では、６つのエリアが別々に計測される。したがって、判定装置５は、膨張率の特定等もエリアごとに行う。例えば、判定装置５は、サーモグラフィデータが示す複数の計測結果をエリアごとに統計処理（例えば、エリアに属する計測結果を平均する等である。）して、エリアごとの温度を特定する。
　なお、このようにエリアごとに温度を計測する場合には、エリアごとに温度計を設置する等の構成で温度が計測されてもよい。
　このように、判定装置５は、温度計測部を更に備えるのが望ましい。そして、判定装置５は、食用油の温度の分布を示す計測結果ごとに、膨張率を特定する。
　以上のように、判定装置５は、温度の分布を考慮できると、精度良く膨張率を特定できる。
　［第４実施形態］
　判定装置５は、以下のように、フライバスケット３等を考慮するのが望ましい。例えば、フライバスケット３が無い場合には、サーモグラフィデータは、図１３のようになる。一方で、フライバスケット３が有る場合には、サーモグラフィデータは、以下のようになる。
　図１５は、フライバスケット３が有る場合の例を示す図である。図１３と比較すると、フライバスケット３が有る点が異なる。一方で、図１３と図１５は、どちらも食用油を１７７℃に加熱する設定である。
　図１５に示すように、フライバスケット３が有ると、図１３のようにフライバスケット３が無い場合と同じ加熱条件であっても、温度の計測結果が低くなりやすい。具体的には、フライバスケット３が有ると、フライバスケット３の温度によって、温度分布中に温度の低い部分が多くなる。その結果、図１３に示す例と同様に、サーモグラフィデータを利用して、食用油の位置による温度を特定しようとしても、その温度が低い値で特定されることになる。このような傾向は、フライヤー等の条件が変わっても同様である。
　図１６は、フライバスケット３が無い第２例を示す図である。
　図１７は、フライバスケット３が有る第２例を示す図である。
　図１３、及び、図１５は、フライヤーの容量が３リットルであるのに対し、図１６、及び、図１７は、フライヤーの容量が７リットルである。また、図１３、及び、図１５は、１７７℃の加熱条件に対し、図１６、及び、図１７は、１８０℃の加熱条件である。
　一方で、図１６、及び、図１７は、フライバスケット３の有無が異なる。
　図１６、及び、図１７の場合でも、フライバスケット３の有無により温度差が生じる。
　例えば、フライバスケット３は、画像、又は、サーモグラフィデータに基づいて形状等を認識する等の処理により、判定装置５は、有無を把握する。なお、フライバスケット３の有無は、重さ、又は、ユーザによる操作等で把握されてもよい。
　判定装置５は、フライバスケット３が有ると判断する場合には、温度の計測結果を補正してもよい。すなわち、判定装置５は、フライバスケット３によって低下する温度を事前に把握し、フライバスケット３が有ると判断する場合には低下した分の温度を補正して、膨張率等を特定してもよい。
　ただし、フライバスケット３が有ると判断する場合であっても、例えば、食用油の表面が見える場合等には、温度が精度良く計測できる場合がある。
　例えば、食用油の表面が見えない場合、又は、フライヤー側で温度を計測する計測装置による計測結果と乖離がある場合等に、判定装置５は、サーモグラフィデータに基づいて、温度の計測結果の補正を行うとしてもよい。
　また、判定装置５は、フライバスケット３による温度差を利用して、食用油の表面の高さを推定してもよい。
　まず、判定装置５は、サーモグラフィデータを生成するための計測装置とは別にフライヤー側に温度を計測する計測装置を備える。以下、フライヤー側で温度を計測する計測装置を「第１計測装置」とし、サーモグラフィデータ用に温度を計測する計測装置を「第２計測装置」という。
　第１計測装置による計測結果（以下「第１計測結果」という。）と、第２計測装置による計測結果（以下「第２計測結果」という。）とは、フライバスケット３等により、温度差が生じる場合がある。
　また、フライバスケット３があると、図３に示す目盛２４は、フライバスケット３により、図１に示すようなビデオカメラ４２からは見にくい場合がある。
　そこで、判定装置５は、第１計測結果、及び、第２計測結果の温度差に基づいて、食用油の表面の高さを推定する。
　サーモグラフィデータは、食用油が少量であると、低い温度を計測する場合が多い。そのため、食用油が少量であると、第１計測結果、及び、第２計測結果の温度差は、大きくなりやすい。ゆえに、第１計測結果、及び、第２計測結果の温度差により、食用油の表面の高さが推定できる。
　このように、判定装置５は、食用油を貯留する油槽において食用油の温度を計測する第１温度計測部と、食用油の表面から食用油の温度を計測する第２温度計測部とを更に備える。そして、判定装置５は、第１温度計測部による計測結果である第１計測結果と、第２計測結果による計測結果である第２計測結果との温度差を特定する。
　さらに、判定装置５は、フライバスケット３等といった調理器具の有無を判断する判断部を更に備える。
　次に、判定装置５は、調理器具が有ると判断すると、第１計測結果、及び、第２計測結果の温度差に基づいて、食用油の表面の高さを推定する。このように食用油の表面の高さを推定すると、判定装置５は、食用油の表面の高さを精度良く推定できる。
　なお、１度の温度差があると、食用油の表面の高さがどの程度であるかの情報は、例えば、事前に実験して、判定装置５に入力される。
　［第５実施形態］
　サーモグラフィデータは、食用油の表面の高さを推定するのに用いてもよい。
　図１８は、食用油の表面の高さを推定する処理の例を示す図である。例えば、図示するような処理は、食用油の表面の高さを特定する、すなわち、油量を特定する処理の前等に実行される。
　ステップＳ１８０１では、判定装置５は、目盛が見えるか否かを判断する。
　目盛が見えるか否かは、例えば、フライバスケット３の有無等で判断する。具体的には、例えば、図１７に示すように、フライバスケット３が有ると判断できる場合には、目盛が見えないと判断する（ステップＳ１８０１でＮＯ）。
　一方で、図１６に示すように、フライバスケット３が無いと判断できる場合には、目盛が見えると判断する（ステップＳ１８０１でＹＥＳ）。
　なお、判定装置５は、目盛が見えるか否かをフライバスケット３の有無以外で判断してもよい。例えば、カメラ４２の不調、重合物、又は、揚げカス等により、目盛２４が分かりにくい場合がある。したがって、判定装置５は、画像に対して、目盛２４を画像認識した結果、目盛２４が認識できなかった場合等を目盛が見えないと判断してもよい（ステップＳ１８０１でＮＯ）。
　また、目盛が見えるか否かの判断は、推定結果に基づいて判断されてもよい。具体的には、判定装置５は、以下のように、温度が急激に変化するラインがあるか否かを推定し、目盛が見えるか否かを判断してもよい。
　例えば、以下のように、温度が急激に変化するラインがあると判断できる場合には、判定装置５は、目盛が見えると判断してもよい（ステップＳ１８０１でＹＥＳ）。すなわち、温度が急激に変化するラインがあると判断できる場合には、判定装置５は、直接油面の位置を特定してもよい。
　図１９は、境目の例を示す図である。例えば、境目５５は、温度が急激に変化するラインである。
　図２０は、境目の検出例を示す図である。図は、境目５５付近の温度を１ピクセルごとに計測した結果の例である。この例では、判定装置５は、比較的高温が計測された画素（以下「高温画素５５１」という。）と、高温画素５５１と比較して低温が計測された画素（以下「低温画素５５２」という。）を分けるラインがあると判断する。
　また、この例では、高温画素５５１は、「１６０℃」以上である。一方で、低温画素５５２は、「１６０℃」未満である。
　高温画素５５１、及び、低温画素５５２が隣接する箇所では、判定装置５は、閾値以上に温度が急激に変化していると判断する。このような箇所を判定装置５は、境目５５と認識する。なお、境目５５を判断するための閾値は、事前に設定される値である。
　以上のように境目５５があると判断すると、判定装置５は、目盛が見えると判断する（ステップＳ１８０１でＹＥＳ）。
　次に、目盛が見えると判断すると（ステップＳ１８０１でＹＥＳ）、判定装置５は、ステップＳ１８０２に進む。一方で、目盛が見えないと判断すると（ステップＳ１８０１でＮＯ）、判定装置５は、ステップＳ１８０３に進む。
　ステップＳ１８０２では、判定装置５は、目盛を用いて食用油の表面の高さを特定する。
　ステップＳ１８０３では、判定装置５は、サーモグラフィデータを用いて食用油の表面の高さを特定する。すなわち、判定装置５は、第１計測結果、及び、第２計測結果の温度差に基づいて、食用油の表面の高さを推定する。
　このように、目盛が見えるか否かに基づき、食用油の表面の高さを特定する処理を切り替えると、判定装置５は、精度良く食用油の表面の高さを特定できる。
　以上のように、判定装置５は、画像から目盛を認識できる、又は、温度が急激に変化するラインがある場合等といった目盛が見えると判断できる場合には、目盛を用いて食用油の表面の高さを特定する（ステップＳ１８０２）。なお、目盛を用いて食用油の表面の高さを特定するのに、判定装置５は、サーモグラフィデータを用いてもよい。
　一方で、判定装置５は、目盛が見えにくいと判断できる場合には、サーモグラフィデータを用いて食用油の表面の高さを特定する（ステップＳ１８０３）。
　ただし、食用油の量は、複数の処理で特定されてもよい。例えば、判定装置５は、目盛が見える場合等であっても、サーモグラフィデータを用いて食用油の表面の高さを特定してもよい。そして、複数の処理を行う場合には、判定装置５は、複数の処理結果を平均等の統計処理をして、最終的に食用油の量を特定してもよい。
　（変形例）
　パラメータの一部、又は、全部は、画像以外のデータ、又は、ユーザによる入力等で取得されてもよい。
　なお、判定等は、例えば、揚げ物について、賞味期限、揚げ物の重量、温度、湿度、大きさ、調理における揚げ物の配置、厚み、衣の率、又は、これらの組み合わせ等が考慮されてもよい。
　また、判定装置は、食用油の劣化度を推定してもよい。
　例えば、推測結果は、劣化度の傾向、又は、食用油の交換時期であるか否か、食用油の交換時期をした推測した結果等の形式でもよい。
　例えば、推測結果は、モニタに、「現在の劣化度は〇〇％です。」等のような形式で表示される。すなわち、モニタは、交換時期を劣化度が「１００％」となる将来の時期に対し、現在の時期を百分率形式で示す。一方で、劣化度が交換時期に既に達している場合には、モニタには、例えば「揚げ油を交換して下さい。」等と判定結果が表示されてもよい。
　次に、揚げ物の種類、及び、種類別の個数が入力、又は、推定された場合には、モニタは、例えば「残りの揚げ個数は〇個です。」、「次回、調理が可能なのは、〇〇が〇個、又は、●●が●個です。」、又は、「今、差し油すると、あと〇日使用できます。」等を表示する。すなわち、モニタは、判定装置による判定結果に基づき、交換時期に達するまでに調理可能な内容を揚げ物の種類、及び、個数等の形式で表示してもよい。
　画像を解析して、「気泡の数」、「気泡の大きさ」、「特定の大きさの気泡が存在する領域の面積が全体面積に占める割合に相当する面積率」、「特定の気泡が生じてから消滅するまでの時間（消滅速度）」、又は、これらの組み合わせ等が算出されてもよい。
　また、これらの算出結果、画像、又は、これらを総合して、「酸価」、「色調」、「粘度上昇率」、「気泡の流れ度合い」、「調理対象物の画像内における輪郭の見えやすさ」、揚げ油の種類、揚げ物の種類、揚げ物の数量又は、これらの組み合わせ等が特定されてもよい。
　（その他の実施形態）
　上記の例では、判定装置は、学習モデルに対する事前処理、及び、学習済みモデルを用いて実行処理の両方を行う。ただし、事前処理、及び、実行処理は、同じの情報処理装置が行わなくともよい。また、事前処理、及び、実行処理も、１つの情報処理装置で一貫して実行しなくともよい。すなわち、各処理、及び、データの記憶等は、複数の情報処理装置で構成する情報システム等で行ってもよい。
　なお、判定装置等は、実行処理の後、又は、実行処理の前に追加して学習を更に行ってもよい。
　実施形態は、上記の実施形態を組み合わせたものでもよい。
　実施形態では、ドロップアウト等といった過学習（「過剰適合」又は「過適合」等ともいう。）（ｏｖｅｒｆｉｔｔｉｎｇ）を軽減化させる処理が行われてもよい。ほかにも、次元削減、及び、正規化等の前処理が行われてもよい。
　学習モデル、及び、学習済みモデルは、ＣＮＮのネットワーク構造等があってもよい。他にも、例えば、ネットワーク構造は、ＲＮＮ（再帰型ニューラルネットワーク、Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）又はＬＳＴＭ（Ｌｏｎｇ　Ｓｈｏｒｔ－Ｔｅｒｍ　Ｍｅｍｏｒｙ）等の構成を有してもよい。すなわち、ＡＩは、ディープラーニング以外のネットワーク構造等であってもよい。
　また、学習モデル、及び、学習済みモデルは、ハイパーパラメータを有する構成であってもよい。すなわち、学習モデル、及び、学習済みモデルは、一部の設定をユーザが行う構成でもよい。さらに、ＡＩは、学習対象とする特徴量を特定してもよいし、ユーザが学習対象とする一部又は全部の特徴量を設定してもよい。
　また、学習モデル、及び、学習済みモデルは、他の機械学習を利用してもよい。例えば、学習モデル、及び、学習済みモデルは、教師なしのモデルにより、正規化等を前処理で行ってもよい。さらに、学習は、強化学習等であってもよい。
　学習では、データの拡張等が行われてもよい。すなわち、学習モデルの学習に用いる学習データを増やすため、１つの実験データ等を拡張させて、複数の学習データにする前処理が行われてもよい。このようにして、学習データを増やせると、より学習モデルの学習を進めることができる。
　本発明は、上記に例示する判定方法、学習方法、又は、上記に示す処理と等価な処理を実行するプログラム（ファームウェア、及び、プログラムに準ずるものを含む。以下単に「プログラム」という。）で実現されてもよい。
　すなわち、本発明は、コンピュータに対して指令を行って所定の結果が得られるように、プログラミング言語等で記載されたプログラム等で実現されてもよい。なお、プログラムは、処理の一部をＩｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ（集積回路、ＩＣ）等のハードウェア又はＧＰＵ等の演算装置等で実行する構成であってもよい。
　プログラムは、コンピュータが有する演算装置、制御装置、及び、記憶装置等を協働させて上記に示す処理等をコンピュータに実行させる。すなわち、プログラムは、主記憶装置等にロードされて、演算装置に命令を発して演算を行わせてコンピュータを動作させる。
　また、プログラムは、コンピュータが読み込み可能な記録媒体、又は、ネットワーク等の電気通信回線を介して提供されてもよい。
　本発明は、複数の装置で構成されるシステムで実現されてもよい。すなわち、複数のコンピュータによる情報処理システムは、上記に示す処理を冗長、並列、分散、又は、これらの組み合わせとなるように実行してもよい。したがって、本発明は、上記に示すハードウェア構成以外の装置、及び、上記に示す装置以外のシステムで実現されてもよい。
　以上、本発明の実施形態について説明した。なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、本実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、本実施形態の構成に他の実施形態の構成を加えることも可能である。またさらに、本実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
５　　　　　：判定装置
５Ｆ１　　　：撮像部
５Ｆ２　　　：第１入力部
５Ｆ３　　　：第１特定部
５Ｆ４　　　：第２特定部
５Ｆ５　　　：第２入力部
５Ｆ６　　　：出力部
５Ｆ７　　　：調整部
５Ｆ８　　　：調理環境入力部
５Ｆ９　　　：生成部
６　　　　　：学習装置
７　　　　　：判定システム
２４　　　　：目盛
４１　　　　：モニタ
４２　　　　：ビデオカメラ
５１　　　　：調整器
２００　　　：情報システム
３００　　　：ネットワーク
Ａ１　　　　：学習モデル
Ａ２　　　　：学習済みモデル
Ｄ１１　　　：学習データ
Ｄ１１１　　：油量
Ｄ１１２　　：第１情報
Ｄ１１３　　：調理温度
Ｄ１２　　　：入力データ
Ｄ１２１　　：未知油量
Ｄ１２２　　：未知第１情報
Ｄ１３　　　：推定結果
Ｄ２２　　　：テーブル
ＩＭＧ　　　：画像
Ｌ１　　　　：入力層
Ｌ２　　　　：中間層
Ｌ３　　　　：出力層
Ｗ　　　　　：廃油
Ｘ　　　　　：揚げ物
Ｙ　　　　　：揚げ油
Ｚ　　　　　：回収業者
　

Claims (17)

  1. 　食用油の調理環境を判定する判定装置であって、
    　前記食用油を撮像した画像を取得する撮像部と、
    　前記食用油へ投入して調理する揚げ物の情報である第１情報を入力する第１入力部と、
    　前記画像を解析して、前記食用油の状態を特定する第１特定部と、
    　前記第１情報と、前記状態とに基づき、前記揚げ物が調理される前記調理環境を特定する第２特定部とを備える判定装置。
  2. 　前記食用油に追加する追加油の追加量、前記食用油のうち廃棄する廃油の廃油量、又は、これらの組み合わせを示す第２情報を入力する第２入力部を更に備える請求項１に記載の判定装置。
  3. 　前記調理環境は、
    　前記揚げ物を調理できる温度、前記揚げ物を投入すると低下する温度の低下量、前記食用油の劣化度、又は、これらの組み合わせである請求項１又は２に記載の判定装置。
  4. 　前記食用油の劣化度は、
    　前記食用油の酸価、前記食用油の粘度、前記食用油の粘度上昇率、前記食用油の色調、前記食用油のアニシジン価、前記食用油の極性化合物量、前記食用油のカルボニル価、前記食用油の発煙点、又は、前記食用油の揮発性成分量である請求項３に記載の判定装置。
  5. 　前記状態は、
    　前記食用油の量、前記食用油の最適量に対する差分、前記食用油の温度、又は、これらの組み合わせである請求項１乃至４のいずれか１項に記載の判定装置。
  6. 　前記第２特定部は、
    　前記第１情報、及び、前記状態の組み合わせを含む入力データと、前記調理環境との関係を示すテーブル、又は、
    　前記入力データ、及び、前記調理環境の関係を機械学習した学習済みモデルを用いて前記調理環境を特定する請求項１乃至５のいずれか１項に記載の判定装置。
  7. 　前記第１情報は、
    　前記揚げ物の種類、前記揚げ物の投入量、又は、これらの組み合わせを示す情報である請求項１乃至６のいずれか１項に記載の判定装置。
  8. 　前記第２特定部は、
    　前記調理環境で調理した場合の前記揚げ物の美味しさを更に特定し、
    　前記調理環境、又は、前記美味しさの特定結果に基づき、前記調理環境、前記美味しさが最適となる前記食用油に追加する追加油の追加量、前記食用油のうち廃棄する廃油の廃油量、前記追加油を追加する第１タイミング、前記廃油を廃棄する第２タイミング、又は、これらの組み合わせを出力する出力部を更に備える請求項１乃至７のいずれか１項に記載の判定装置。
  9. 　前記出力部による出力結果に基づき、
    　前記食用油の追加、廃棄、又は、両方を行う調整部を更に備える請求項８に記載の判定装置。
  10. 　前記状態は、
    　前記食用油の量を示す第１油量であって、
    　前記第１特定部は、
    　前記食用油の膨張率を特定し、
    　前記膨張率に基づいて、前記第１油量を補正して第２油量を特定し、
    　前記第２特定部は、
    　前記第１情報と、前記第２油量とに基づき、前記調理環境を特定する請求項１乃至９のいずれか１項に記載の判定装置。
  11. 　前記第２特定部は、
    　前記第１情報、及び、前記状態、並びに、前記調理環境の相関関係に基づき、前記調理環境を特定する請求項１乃至１０のいずれか１項に記載の判定装置。
  12. 　学習モデルを学習させて、食用油の調理環境を判定する学習済みモデルを生成する学習装置であって、
    　前記食用油を撮像した画像を取得する撮像部と、
    　前記食用油へ投入して調理する揚げ物の情報である第１情報を入力する第１入力部と、
    　前記画像を解析して、前記食用油の状態を特定する第１特定部と、
    　前記揚げ物が調理される前記調理環境を入力する調理環境入力部と、
    　前記第１情報、前記状態、及び、前記調理環境を入力して、前記学習モデルを学習させて前記学習済みモデルを生成する生成部とを備える学習装置。
  13. 　請求項１乃至１１のいずれか１項に記載の判定装置と、
    　請求項１２に記載の学習装置とを有する判定システム。
  14. 　食用油の調理環境を判定する判定方法であって、
    　前記食用油を撮像した画像を取得する撮像手順と、
    　前記食用油へ投入して調理する揚げ物の情報である第１情報を入力する第１入力手順と、
    　前記画像を解析して、前記食用油の状態を特定する第１特定手順と、
    　前記第１情報と、前記状態とに基づき、前記揚げ物が調理される前記調理環境を特定する第２特定手順とを備える判定方法。
  15. 　請求項１４に記載の判定方法をコンピュータに実行させるためのプログラム。
  16. 　学習モデルを学習させて、食用油の調理環境を判定する学習済みモデルを生成する学習方法であって、
    　前記食用油を撮像した画像を取得する撮像手順と、
    　前記食用油へ投入して調理する揚げ物の情報である第１情報を入力する第１入力手順と、
    　前記画像を解析して、前記食用油の状態を特定する第１特定手順と、
    　前記揚げ物が調理される前記調理環境を入力する調理環境入力手順と、
    　前記第１情報、前記状態、及び、前記調理環境を入力して、前記学習モデルを学習させて前記学習済みモデルを生成する生成手順とを備える学習方法。
  17. 　請求項１６に記載の学習方法をコンピュータに実行させるためのプログラム。
PCT/JP2022/010963 2021-03-25 2022-03-11 判定装置、学習装置、判定システム、判定方法、学習方法、及び、プログラム WO2022202410A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/281,738 US20240159659A1 (en) 2021-03-25 2022-03-11 Determination device, learning device, determination system, determination method, learning method, and program
CA3213613A CA3213613A1 (en) 2021-03-25 2022-03-11 Determination device, learning device, determination system, determination method, learning method, and program
JP2022526817A JP7171970B1 (ja) 2021-03-25 2022-03-11 判定装置、学習装置、判定システム、判定方法、学習方法、及び、プログラム
JP2022175584A JP2023022010A (ja) 2021-03-25 2022-11-01 判定装置、学習装置、判定システム、判定方法、学習方法、及び、プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021051744 2021-03-25
JP2021-051744 2021-03-25
JP2021084010 2021-05-18
JP2021-084010 2021-05-18

Publications (1)

Publication Number Publication Date
WO2022202410A1 true WO2022202410A1 (ja) 2022-09-29

Family

ID=83395726

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/010963 WO2022202410A1 (ja) 2021-03-25 2022-03-11 判定装置、学習装置、判定システム、判定方法、学習方法、及び、プログラム

Country Status (4)

Country Link
US (1) US20240159659A1 (ja)
JP (2) JP7171970B1 (ja)
CA (1) CA3213613A1 (ja)
WO (1) WO2022202410A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116804669A (zh) * 2023-06-16 2023-09-26 枣庄华宝牧业开发有限公司 一种肉制品加工用油炸监视系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024154473A1 (ja) * 2023-01-17 2024-07-25 株式会社Ｊ－オイルミルズ 油脂劣化予測装置、油脂劣化予測システム、および油脂劣化予測方法
JP7525757B1 (ja) 2023-03-07 2024-07-30 株式会社Ｊ－オイルミルズ 油脂管理装置、油脂管理システム、油脂管理方法、および油脂管理表示装置
WO2024185247A1 (ja) * 2023-03-07 2024-09-12 株式会社Ｊ－オイルミルズ 油脂管理装置、油脂管理システム、油脂管理方法、および油脂管理表示装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07333039A (ja) * 1994-06-14 1995-12-22 Hitachi Ltd 画像処理を用いた液面位置計測方法
JP2000005080A (ja) * 1998-06-17 2000-01-11 Chubu Corporation:Kk フライヤー及びそれに使用される油槽
JP2002081634A (ja) * 2000-06-29 2002-03-22 Mitsubishi Heavy Ind Ltd プラズマ式灰溶融炉及びその運転方法
JP2002188094A (ja) * 2000-12-21 2002-07-05 Tama Ogasawara 食油浄化方法、食油浄化剤、食油浄化器、食油浄化管理方法
JP2010519981A (ja) * 2007-03-01 2010-06-10 レストラン テクノロジー インコーポレイテッド 少量の油で揚げ調理をする装置および方法
WO2021200103A1 (ja) * 2020-03-31 2021-10-07 株式会社Ｊ－オイルミルズ 食用油の劣化度判定装置、食用油の劣化度判定システム、食用油の劣化度判定方法、食用油の劣化度判定プログラム、食用油の劣化度学習装置、食用油の劣化度判定に用いられる学習済モデル、及び食用油の交換システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07333039A (ja) * 1994-06-14 1995-12-22 Hitachi Ltd 画像処理を用いた液面位置計測方法
JP2000005080A (ja) * 1998-06-17 2000-01-11 Chubu Corporation:Kk フライヤー及びそれに使用される油槽
JP2002081634A (ja) * 2000-06-29 2002-03-22 Mitsubishi Heavy Ind Ltd プラズマ式灰溶融炉及びその運転方法
JP2002188094A (ja) * 2000-12-21 2002-07-05 Tama Ogasawara 食油浄化方法、食油浄化剤、食油浄化器、食油浄化管理方法
JP2010519981A (ja) * 2007-03-01 2010-06-10 レストラン テクノロジー インコーポレイテッド 少量の油で揚げ調理をする装置および方法
WO2021200103A1 (ja) * 2020-03-31 2021-10-07 株式会社Ｊ－オイルミルズ 食用油の劣化度判定装置、食用油の劣化度判定システム、食用油の劣化度判定方法、食用油の劣化度判定プログラム、食用油の劣化度学習装置、食用油の劣化度判定に用いられる学習済モデル、及び食用油の交換システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
OHTA SHIZUYUKI: "About "decrease" of frying oil", SCIENCE OF COOKERY, THE JAPAN SOCIETY OF COOKERY SCIENCE, JP, vol. 2, no. 3, 1 January 1969 (1969-01-01), JP , pages 147 - 155, XP055971030, ISSN: 0910-5360, DOI: 10.11402/cookeryscience1968.2.3_147 *
TAMURA SAKIE: "Science of Sodium Chloride Used in Cooking", NIPPON KAISUI GAKKAI-SHI - BULLETIN OF THE SOCIETY OF SEA WATERSCIENCE, JAPAN, NIPPON KAISUI GAKKAI, TOKYO, JP, vol. 48, no. 3, 1 January 1994 (1994-01-01), JP , pages 224 - 231, XP055971032, ISSN: 0369-4550, DOI: 10.11457/swsj1965.48.224 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116804669A (zh) * 2023-06-16 2023-09-26 枣庄华宝牧业开发有限公司 一种肉制品加工用油炸监视系统
CN116804669B (zh) * 2023-06-16 2024-04-02 枣庄华宝牧业开发有限公司 一种肉制品加工用油炸监视系统

Also Published As

Publication number Publication date
JPWO2022202410A1 (ja) 2022-09-29
CA3213613A1 (en) 2022-09-29
JP7171970B1 (ja) 2022-11-15
US20240159659A1 (en) 2024-05-16
JP2023022010A (ja) 2023-02-14

Similar Documents

Publication Publication Date Title
WO2022202410A1 (ja) 判定装置、学習装置、判定システム、判定方法、学習方法、及び、プログラム
US11506395B2 (en) Tailored food preparation with an oven
CN113194792B (zh) 训练烹饪器具、定位食物以及确定烹饪进度的系统和方法
JP6997362B1 (ja) 食用油の劣化度判定装置、食用油の劣化度判定システム、食用油の劣化度判定方法、食用油の劣化度判定プログラム、食用油の劣化度学習装置、食用油の劣化度判定に用いられる学習済モデル、及び食用油の交換システム
CN108665134A (zh) 用于监控食品制备的装置和方法
TWI841796B (zh) 油脂的劣化預測系統、劣化預測方法、油脂更換系統及油炸器系統
JP2023021124A (ja) 揚げ物廃棄時期管理装置、揚げ物廃棄時期管理システム、および揚げ物廃棄時期管理方法
WO2022113755A1 (ja) 食用油劣化度判定装置、食用油劣化度判定処理装置、食用油劣化度判定方法、およびフライヤー
WO2022202409A1 (ja) 判定装置、学習装置、判定システム、判定方法、学習方法、及び、プログラム
KR20190021047A (ko) 튀김방 서비스 시스템
JP6829347B1 (ja) フライ油劣化判定装置及びフライ油劣化判定方法
JP2023054824A (ja) 食品廃棄時期管理装置、食品廃棄時期管理システム、および食品廃棄時期管理方法
KR102445650B1 (ko) 튀김 식품 제조 장치 및 시스템
WO2023054100A1 (ja) 食用油の劣化度判定装置、食用油の劣化度判定システム、食用油の劣化度判定方法、食用油の劣化度学習装置、および食用油の劣化度判定に用いられる学習済モデル
WO2022163435A1 (ja) 学習装置、予測装置、学習方法、プログラム、及び、学習システム
TW202124956A (zh) 油炸油劣化判定裝置及油炸油劣化判定方法
KR102611452B1 (ko) 인공지능(ai) 기반 비대면 qsc 점검 솔루션 시스템
WO2024111554A1 (ja) 油脂劣化度検出装置、油脂劣化度検出システム、油脂劣化度検出方法、および油脂劣化度検出プログラム
CN111603050A (zh) 一种炒菜机控制方法、装置、存储介质及炒菜机
JP7266157B1 (ja) 食品廃棄時点管理制御装置、食品廃棄時点管理システム、および食品廃棄時点管理方法
WO2023106034A1 (ja) 食品販売促進制御装置、食品販売促進システム、および食品販売促進方法
WO2023106035A1 (ja) 食品廃棄時点管理制御装置、食品廃棄時点管理システム、および食品廃棄時点管理方法
WO2022065074A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN114831514A (zh) 智能预约烹饪方法及烹饪器材
KR20240014911A (ko) 능동적으로 조리 조건을 조절하는 프라잉 로봇 제어 시스템

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022526817

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22775202

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18281738

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 3213613

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22775202

Country of ref document: EP

Kind code of ref document: A1