WO2022163435A1 - 学習装置、予測装置、学習方法、プログラム、及び、学習システム - Google Patents

学習装置、予測装置、学習方法、プログラム、及び、学習システム Download PDF

Info

Publication number
WO2022163435A1
WO2022163435A1 PCT/JP2022/001589 JP2022001589W WO2022163435A1 WO 2022163435 A1 WO2022163435 A1 WO 2022163435A1 JP 2022001589 W JP2022001589 W JP 2022001589W WO 2022163435 A1 WO2022163435 A1 WO 2022163435A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
edible oil
sample
oil
learning device
Prior art date
Application number
PCT/JP2022/001589
Other languages
English (en)
French (fr)
Inventor
健一 柿本
涼平 渡邊
郁人 ▲高▼嵜
賀美 井上
Original Assignee
株式会社Ｊ－オイルミルズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊ－オイルミルズ filed Critical 株式会社Ｊ－オイルミルズ
Priority to JP2022578264A priority Critical patent/JPWO2022163435A1/ja
Priority to CA3208288A priority patent/CA3208288A1/en
Publication of WO2022163435A1 publication Critical patent/WO2022163435A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J37/00—Baking; Roasting; Grilling; Frying
    • A47J37/12—Deep fat fryers, e.g. for frying fish or chips
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02—Food
    • G01N33/03—Edible oils or edible fats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a learning device, a prediction device, a learning method, a program, and a learning system.
  • fried cooking In order to maintain the quality of fried food, it is desirable to appropriately manage the quality of cooking oil when cooking fried food (hereinafter referred to as "fried cooking”).
  • Edible oils are generally known to deteriorate with use. Therefore, conventionally, in order to objectively judge the replacement time of cooking oil, etc., the appearance, smell, color tone of cooking oil, or changes in these, or the cumulative time of using frying oil (also referred to as “cumulative period”).
  • progression degree sometimes referred to as “deterioration degree”
  • Patent Document 1 The method described in Patent Document 1 is performed, for example, at a store such as a convenience store or a supermarket that sells deep-fried food to customers that has been deep-fried using cooking utensils installed in the store.
  • a store such as a convenience store or a supermarket that sells deep-fried food to customers that has been deep-fried using cooking utensils installed in the store.
  • the degree of change in the illuminance and the like varies from store to store. Therefore, it is difficult to accurately predict the degree of progress using the method described in Patent Document 1 or the like.
  • an object of the present invention is to provide a learning device or the like that generates artificial intelligence (hereinafter referred to as "AI") that can predict the degree of progress.
  • AI artificial intelligence
  • the learning device an imaging unit that acquires an image of the edible oil; a state identifying unit that analyzes the image and identifies the state of the edible oil; A learning unit that causes a learning model to learn a correlation between the state and a degree of progress indicating the degree of deterioration of the cooking oil.
  • an AI that predicts progress can be generated. Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.
  • FIG. 10 is a diagram showing experimental results of “foaming intensity” in the first period;
  • FIG. 4 is a diagram showing the correlation between "foaming intensity” and acid value in the first period.
  • FIG. 10 is a diagram showing experimental results of “the number of bubbles” in the first period;
  • FIG. 10 is a diagram showing the correlation between the "number of bubbles” and the acid value in the first period;
  • FIG. 10 is a diagram showing experimental results of "bubble size” in the first period;
  • FIG. 4 is a diagram showing the correlation between "bubble size” and acid value in the first period;
  • FIG. 10 is a diagram showing experimental results of "speed at which bubbles disappear” in the first period;
  • FIG. 10 is a diagram showing the correlation between the "speed at which foam disappears” and the acid value in the first period;
  • FIG. 10 is a diagram showing experimental results of “foaming intensity” in the second period;
  • FIG. 10 is a diagram showing the correlation between "foaming intensity” and acid value in the second period. It is a figure which shows the experimental result of "the number of bubbles" in a 2nd period.
  • FIG. 10 is a diagram showing experimental results of "the number of bubbles" in a 2nd period.
  • FIG. 10 is a diagram showing the correlation between the "number of bubbles" and the acid value in the second period;
  • FIG. 10 is a diagram showing experimental results of "bubble size” in the second period;
  • FIG. 10 is a diagram showing the correlation between the "bubble size” and the acid number in the second period;
  • FIG. 10 is a diagram showing the experimental results of the “speed at which bubbles disappear” in the second period;
  • FIG. 10 is a diagram showing the correlation between the "speed at which foam disappears” and the acid value in the second period;
  • FIG. 10 is a diagram showing experimental results of “foaming intensity” in the third period;
  • FIG. 10 is a diagram showing the correlation between "foaming intensity” and acid value in the third period.
  • FIG. 10 is a diagram showing experimental results of “number of bubbles” in the third period;
  • FIG. 10 is a diagram showing the correlation between the "number of bubbles” and the acid value in the third period;
  • FIG. 10 is a diagram showing experimental results of "bubble size” in the third period;
  • FIG. 10 is a diagram showing the correlation between the "bubble size” and the acid number in the third period;
  • FIG. 10 is a diagram showing the experimental results of the “bubble disappearance speed” in the third period;
  • FIG. 10 is a diagram showing the correlation between the "speed at which foam disappears” and the acid value in the third period;
  • FIG. 10 is a diagram showing the experimental results of "foaming intensity” in the fourth period;
  • FIG. 10 is a diagram showing the correlation between "foaming intensity” and acid value in the fourth period; It is a figure which shows the experimental result of "the number of bubbles" in the 4th period.
  • FIG. 10 is a diagram showing the correlation between the "number of bubbles” and the acid value in the fourth period; It is a figure which shows the experimental result of the "bubble size” in the 4th period.
  • FIG. 10 is a diagram showing the correlation between the "bubble size” and the acid value in the fourth period;
  • FIG. 10 is a diagram showing experimental results of "speed at which bubbles disappear” in the fourth period; FIG.
  • FIG. 10 is a diagram showing the correlation between the "speed at which foam disappears" and the acid value in the fourth period; It is a figure which shows the functional structural example, such as a learning apparatus.
  • FIG. 4 is a diagram showing a usage example of the learning system 7 and the like; It is a figure which shows an example of a network structure. It is a figure which shows the fried food used as experiment object. It is a figure which shows the experimental result which measured the acid value after 10 hours. It is a figure which shows the experimental result by a color. It is a figure which shows the experimental result by an acid value.
  • fried foods include fried chicken, croquettes, French fries, fried chicken, tempura, pork cutlets, and the like.
  • FIG. 1 is a diagram showing a configuration example of the kitchen 1.
  • An example of the edible oil is hereinafter referred to as "frying oil Y”.
  • the kitchen 1 is, for example, inside a store such as a convenience store or a supermarket.
  • the kitchen 1 is provided with facilities for frying the fried food X. - ⁇ For example, the facility is an electric fryer (hereinafter simply referred to as "fryer 2").
  • the fryer 2 is, for example, equipment having an oil tank 21, a housing 22, and the like.
  • the oil tank 21 stores the frying oil Y. Also, the oil tank 21 is composed of, for example, a handle 30, a frying basket 3, and the like.
  • the housing 22 accommodates the oil tank 21 .
  • the housing 22 also has a switch 22A or the like on its side, which serves as a setting operation unit for setting the temperature of the frying oil Y or the details of frying for each type of fried food X.
  • the cook When frying, the cook first puts the fried food X into the frying basket 3 . Next, the cook dips the fried food X into the frying oil Y and hooks the handle 30 to the upper end of the housing 22 . At the same time, or before or after, the cook presses the switch 22A according to the type of fried food X.
  • the fryer 2 notifies the cook of the completion of frying when a predetermined frying time has elapsed according to the switch 22A. At the same time, the fryer 2 raises the frying basket 3 from the oil tank 21 . In this way, the fried food X is lifted from the state of being immersed in the frying oil.
  • the notification method is, for example, a method of outputting a buzzer sound from a speaker, or a method of displaying on the monitor 41 installed on the wall 10A.
  • the elapse of frying time is notified by light, sound, or a combination thereof.
  • the cook pulls up the fry basket 3 and takes out the fried food X.
  • the fly basket 3 may be pulled up by a driving mechanism or the like.
  • An imaging device for imaging the frying oil Y is installed in the kitchen 1.
  • the imaging device is a video camera 42 .
  • the video camera 42 is attached to the ceiling 10B or the like.
  • the video camera 42 continuously takes images of the surface of the frying oil Y and generates images. In addition, it is desirable that the image be a moving image. Further, the conditions of the video camera 42, such as the angle of view and focus, are adjusted.
  • the video camera 42 may be located at a position other than the ceiling 10B. That is, the video camera 42 may be attached to the wall 10A or the like as long as the frying oil Y can be photographed.
  • the image capturing device does not necessarily have to capture images in the form of moving images. That is, for example, the imaging device may be a still camera that takes still images, a tablet, or the like. When a still camera or the like is used, an imaging device that can intermittently capture images in time series may be used.
  • the imaging device may be a camera or the like included in a mobile device such as a tablet or a smartphone.
  • the learning device 5 is used by connecting to the monitor 41, the video camera 42, the flyer 2, and the like. Note that the learning device 5 does not always have to be connected to the video camera 42 or the like.
  • the learning device 5 may be configured to temporarily store images captured by the video camera 42 in a storage medium, acquire the images separately, and perform learning described later.
  • FIG. 2 is a diagram illustrating a hardware configuration example of an information processing apparatus.
  • the learning device 5 is an information processing device having the following hardware resources.
  • the learning device 5 has a Central Processing Unit (hereinafter referred to as "CPU 500A”), a Random Access Memory (hereinafter referred to as “RAM 500B”), and the like. Furthermore, the learning device 5 includes a Read Only Memory (hereinafter referred to as "ROM 500C”), a hard disk drive (hereinafter referred to as “HDD 500D”), an interface (hereinafter referred to as "I/F 500E”), etc. have a Central Processing Unit (hereinafter referred to as "CPU 500A”), a Random Access Memory (hereinafter referred to as "RAM 500B”), and the like. Furthermore, the learning device 5 includes a Read Only Memory (hereinafter referred to as "ROM 500C”), a hard disk drive (hereinafter referred to as "HDD 500D”), an interface (hereinafter referred to as "I/F 500E”), etc. have a Read Only Memory (hereinafter referred to as "ROM 500C”), a hard disk drive (hereinafter
  • the CPU 500A is an example of an arithmetic device and a control device.
  • the RAM 500B is an example of a main storage device.
  • the ROM 500C and HDD 500D are examples of auxiliary storage devices.
  • the I/F 500E connects an input device or an output device. Specifically, the I/F 500E connects an external device such as the monitor 41 or the video camera 42 by wire or wirelessly, and inputs/outputs data.
  • the learning device 5 is not limited to the hardware configuration shown above.
  • the learning device 5 may further include an arithmetic device, a control device, a storage device, an input device, an output device, or an auxiliary device.
  • the information processing device may have an auxiliary device such as a Graphics Processing Unit (GPU) externally or internally.
  • GPU Graphics Processing Unit
  • the learning device 5 may be a plurality of devices.
  • FIG. 3 is a diagram illustrating an example of overall processing.
  • the learning device 5 executes each process in the order of "learning process” and "execution process”.
  • the learning process is a process that is executed prior to the execution process. That is, the learning process is a process of learning a learning model.
  • the execution process is a process using the learned model after learning.
  • the learning device 5 does not have to execute the learning process and the execution process as continuous processes as illustrated in FIG. Therefore, the learning device 5 does not have to learn the learning model by the learning process and then continuously perform execution using the learned model.
  • the learning device 5 may create a trained model once, and then perform an execution process using the trained model on another occasion.
  • the trained model may be diverted and the learning device 5 may start from the execution process.
  • the learning device 5 continuously performs the learning process and the execution process will be described below. That is, the learning model and the trained model may be configured to perform transfer learning, fine tuning, or the like.
  • step S0301 the learning device 5 acquires an image by capturing an image of the cooking oil using an imaging device or the like. Specifically, the image is acquired in the form of a moving image or the like.
  • the image is captured at, for example, 15 frames per second (fps) or higher. That is, it is desirable that the image is captured with a time resolution that is at least as high as that of the naked eye.
  • the image may be a collection of still images or the like. If the time resolution is set to be high, air bubbles and the like can be grasped with high accuracy.
  • the image be in color. That is, the image is preferably in a data format such as RGB or YCrCb. If color is used, analysis or recognition can be performed with high accuracy using color or the like.
  • the imaging device is installed, for example, so as to image the surface of the cooking oil. Specifically, the imaging device captures an image from a position 40 centimeters or more away from the surface of the edible oil so as to look down on the surface of the edible oil. Note that the imaging device may be installed at a position other than the position 40 centimeters or more away from the surface of the cooking oil, based on optical conditions and the like.
  • imaging conditions may be conditions other than those shown above in consideration of the lighting environment, the size of the fryer, the type of cooking oil, or other external environments.
  • step S0302 the learning device 5 analyzes the image and identifies the state of the cooking oil.
  • the learning device 5 analyzes the image acquired in step S0301 (a plurality of frames may be used for the image; hereinafter, the plurality of images is also simply referred to as "image").
  • the learning device 5 can grasp, for example, the type of fried food, the number of fried food, or a combination thereof. Specifically, the learning device 5 can grasp various parameters of the object such as the type, shape, color, number, etc. of the object being imaged by image recognition processing such as pattern matching.
  • the learning device 5 acquires the type of edible oil by an operation of inputting the name of the edible oil in advance.
  • parameters may include, for example, the amount of edible oil or temperature.
  • the temperature is acquired by a temperature sensor such as a thermography camera.
  • the amount of edible oil is obtained by, for example, image analysis, a flow meter, or a weighing scale.
  • the state of the edible oil includes, for example, the generation rate of bubbles generated in the edible oil per predetermined time, the number of bubbles, the size of the bubbles, the disappearance speed of the bubbles, Alternatively, it is desirable to indicate by a combination of these.
  • the learning device 5 can grasp the following bubbles that occur on the surface of the cooking oil.
  • Fig. 4 is a diagram showing an example of air bubbles, etc. in the new edible oil.
  • Fig. 5 is a diagram showing an example of air bubbles in old cooking oil.
  • edible oil is imaged as shown in FIG. 4 or 5.
  • FIG. 4 is a diagram showing an example of a relatively new edible oil (hereinafter referred to as “edible oil Y1").
  • FIG. 5 is a diagram showing an example of an edible oil (hereinafter referred to as “edible oil Y2”) that is relatively deteriorated from the edible oil Y1 shown in FIG.
  • air bubbles When frying is performed, a plurality of air bubbles (sometimes referred to as “surface bubbles”, hereinafter simply referred to as “air bubbles”) are formed on the surface of the cooking oil. occurs.
  • bubbles include, for example, bubbles with a relatively large diameter (hereinafter referred to as “large bubbles ⁇ ”) and bubbles with relatively small diameters (hereinafter referred to as “fine bubbles ⁇ ").
  • large bubbles ⁇ bubbles with a relatively large diameter
  • fine bubbles ⁇ bubbles with relatively small diameters
  • classification of large bubbles ⁇ or fine bubbles ⁇ can be performed, for example, by inputting a reference value in advance and classifying target bubbles by whether or not the diameter is larger than the reference value.
  • the large bubble ⁇ is, for example, the bubble shown in both FIG. 4 and FIG.
  • fine bubbles ⁇ are the bubbles shown in FIG.
  • fine air bubbles ⁇ are sometimes referred to as "crab bubbles”.
  • the degree of progress may be based on how easily the outline of the fried food X can be seen.
  • the learning device 5 analyzes the image and detects the "difference” between the color of the cooking oil Y2 and the color of the area of the fried food X. Note that the learning device 5 detects a “difference” between the color of the cooking oil Y1 and the color of the region of the fried food X in the cooking oil Y1 based on the imaging result of the cooking oil Y1 in advance.
  • the learning device 5 may estimate the degree of progress by comparing the "color difference" based on the color of the cooking oil Y1 and the color of the cooking oil Y2.
  • the large bubble ⁇ is hereinafter referred to as the "first bubble”.
  • a small bubble ⁇ is called a "second bubble".
  • bubbles including the first bubble and the second bubble can be grasped by extracting a circle (ellipse or the like may be included) or the like in the image by image recognition processing.
  • the learning device 5 grasps a relatively small bubble as a second bubble based on the size of the first bubble.
  • first bubble and the second bubble are not limited to being classified according to the above criteria.
  • the first bubble and the second bubble may be classified according to whether they are larger than a preset reference value.
  • the learning device 5 may grasp the type of bubble based on a criterion other than the size.
  • the rate of bubble generation per predetermined time period can be taken as an example of an indicator of the intensity of foaming on the surface of cooking oil.
  • the generation rate of air bubbles generated per predetermined time is, for example, the generation of air bubbles at the same location on the surface of the frying oil Y, and then counting "one time” that the air bubbles burst after generation. calculated by Therefore, the generation rate of bubbles generated per predetermined time is calculated as "5 times", for example, if bubbles are generated and popped at the same location, but the bubbles are repeated five times.
  • the number of bubbles is, for example, a statistical value of the number of bubbles in images of several frames. Specifically, the number of bubbles is the average value of bubbles in 30 frames at 30 fps, that is, one second.
  • the size of a bubble is, for example, the diameter or circumference of the bubble. Note that the bubble size may be a statistical value or the like in images of several frames.
  • the disappearance speed of bubbles is the time from when a bubble is generated until it bursts.
  • the bubble disappearance speed may be a statistical value for a plurality of bubbles, a statistical value for a predetermined time period, or the like.
  • the state is realized by recognizing bubbles in the image through image recognition processing. That is, the learning device 5 can grasp the presence or absence of bubbles by, for example, recognizing circles or the like indicating bubbles by extracting edge components from the image. It should be noted that grasping of air bubbles and the like may be realized by other methods.
  • the state may be indicated by the rate of generation of bubbles per predetermined time, the number of bubbles, the size of bubbles, the rate of disappearance of bubbles, or a combination of these. That is, the condition may be a comprehensive evaluation result indicating the condition of the edible oil, or a qualitative evaluation.
  • condition may be evaluated by converting it into one piece of fried food. For example, if five fried foods are to be processed, first, the state, such as the generation rate of air bubbles generated in the cooking oil per predetermined period of time, is measured as a whole. The status is then calculated by dividing the total count by the number "5".
  • the state may be measured by converting the whole into one piece.
  • fried foods are not always uniform in size or weight per piece. Therefore, in the division for conversion per fried food, the calculation may be performed by dividing by a value other than the number of fried food (in this example, "5").
  • step S0303 the learning device 5 causes the learning model to learn the correlation.
  • the learning device 5 inputs the degree of progress for each state specified in step S0302. That is, the learning device 5 inputs the degree of progress as "correct data" in learning.
  • the degree of progress may be estimated from the image analysis, the usage time of cooking oil, or the like.
  • the degree of progress is, for example, the acid value of edible oil.
  • the degree of progress is determined by viscosity increase rate of edible oil, color of edible oil, anisidine value of edible oil, amount of polar compounds in edible oil, carbonyl value of edible oil, smoke point of edible oil, tocopherol content of edible oil, edible Iodine value of oil, refractive index of edible oil, amount of volatile components of edible oil, composition of volatile components of edible oil, flavor of edible oil, amount of volatile components of fried food fried in edible oil, composition of volatile components of fried food , fried food flavor, or a combination thereof.
  • the acid value (acid value, sometimes referred to as "AV") of edible oils is, for example, the value measured by the Standard Fats and Oils Analysis Test Method 2.3.1-2013.
  • the viscosity increase rate of the edible oil is based on, for example, the viscosity before the edible oil is replaced and the new oil is used to fry the food for the first time (that is, the viscosity at the start of use), etc., and the ratio of the amount of viscosity increase to the standard. It is a value calculated by The viscosity is measured with a viscometer or the like.
  • the viscometer is an E-type viscometer (TVE-25H, manufactured by Toki Sangyo Co., Ltd.).
  • the color of edible oil (sometimes referred to as “tone” or “hue”) is, for example, the value measured by the standard fat analysis test method 2.2.1.1-2013 (for example, yellow component value and red component value is a value calculated by yellow component value + 10 x red component value, etc.).
  • the anisidine value of edible oils is the value measured by the standard oil analysis test method 2.5.3-2013.
  • the amount of polar compounds in edible oil is the value measured in the standard oil analysis test method 2.5.5-2013.
  • the amount of polar compounds in edible oil is a value measured by a polar compound measuring device (devices such as those manufactured by Testo Co., Ltd.).
  • the carbonyl value of edible oil is, for example, the value measured by the standard oil analysis test method 2.5.4.2-2013.
  • the smoke point of edible oil is the value measured by the Standard Fat Analysis Test Method 2.2.11.1-2013. Smoke is generated by combustion of lipids contained in edible oil or decomposition products thereof.
  • the tocopherol (sometimes referred to as "vitamin E") content of edible oil is the amount of tocopherol contained in the edible oil.
  • tocopherol is a value measured by a high performance liquid chromatography (HPLC) method or the like.
  • the iodine value of edible oil indicates, for example, the number of grams of iodine that can be added to 100 grams of oil.
  • the iodine value of the edible oil is, for example, a value measured by the Standard Fat Analysis Test Method 2.3.41-2013.
  • the refractive index of edible oil is, for example, the value measured by the Standard Fat Analysis Test Method 2.2.3-2013.
  • Volatile components such as the amount of volatile components of edible oil, the volatile component composition of edible oil, the amount of volatile components of fried food fried in edible oil, and the volatile component composition of fried food are obtained from fried food or edible oil It is determined by volatile components (mainly odorous components) and the like. In addition, the amount or composition of volatile components changes as the edible oil deteriorates. For example, volatile components are measured with a gas chromatograph-mass spectrometer (GC-MS), an odor sensor, or the like.
  • GC-MS gas chromatograph-mass spectrometer
  • Flavors such as the flavor of edible oil and the flavor of fried food are values measured by sensory evaluation (for example, a method of actually eating and evaluating by people) or by a taste sensor or the like.
  • the degree of progress of the edible oil is not limited to a chemical index, and may be used, for example, from the viewpoint of deliciousness.
  • the learning device 5 can cause the learning model to learn the correlation between the state and the degree of progress. can. By repeating such a learning process, the learning model learns, and thereafter, in the execution process, a trained model for predicting the degree of progress is generated.
  • the prediction device is the learning device 5
  • the prediction device may be an information processing device other than the learning device 5 .
  • the learning device 5 and the like may additionally perform the learning process after the execution process. For example, when the learning process is additionally performed after the execution process, the learning device 5 or the like determines whether or not to additionally perform the learning process at the timing of step S0307 or the like.
  • the learning device 5 predicts the degree of progress by executing processing as follows.
  • step S0304 the learning device 5 acquires an image by imaging the edible oil using an imaging device or the like.
  • step S0304 is the same process as step S0301.
  • step S0305 the learning device 5 analyzes the image and identifies the state of the cooking oil.
  • step S0305 is the same process as step S0302. Therefore, in step S0305, learning device 5 acquires parameters used for prediction.
  • step S0306 the learning device 5 predicts the degree of progress. Specifically, the learning device 5 outputs the degree of progress of the cooking oil indicated by the image. Based on the degree of progress, the learning device 5 may output a tendency of the degree of progress, whether it is time to replace the cooking oil, or a format for predicting the time to replace the cooking oil.
  • step S0307 the learning device 5 determines whether or not to additionally perform learning processing. For example, as a result of executing the execution process, the learning device 5 additionally performs the learning process when it is determined that the accuracy needs to be improved more.
  • the timing for determining whether or not to perform additional learning processing may be other timing.
  • the timing for determining whether or not to additionally perform the learning process may be before performing the execution process, or after performing the execution process a plurality of times.
  • the additionally learning process may be performed by an information processing device other than the learning device 5 .
  • step S0307 when performing additional learning processing (YES in step S0307), the learning device 5 returns to step S0301, that is, performs additional learning processing. On the other hand, if the learning process is not additionally performed (NO in step S0307), learning device 5 terminates the overall process.
  • Edible oil used Rapeseed oil Temperature for frying: 180°C Cooking time for frying: 5 minutes
  • FIG. 6 is a diagram showing experimental results of "foaming intensity" in the first period.
  • the graph shows the evaluation results of "foaming intensity” for each sample by two evaluators.
  • the mean of the evaluation results of the two evaluators is indicated by a dotted line.
  • the horizontal axis indicates the type of sample.
  • the vertical axis indicates evaluation results. Note that the evaluation results are indicated by points from “1" to "5". The higher the score, the higher the “strength of foaming". The following description will be made in the same format.
  • FIG. 7 is a diagram showing the correlation between "foaming intensity" and acid value in the first period.
  • the results evaluated by the experimental results shown in FIG. 6 (hereinafter, average values are used as representative values) are plotted with dots.
  • the horizontal axis indicates the value of the representative value.
  • the vertical axis indicates acid value (AV).
  • the graph shows the results of simple regression analysis.
  • the correlation is indicated by the correlation coefficient of "R”. Therefore, the closer “R” is to "1", the stronger the correlation between the two variables.
  • FIG. 8 is a diagram showing experimental results of the "number of bubbles" in the first period. Compared with FIG. 6, the experiment shown in FIG. 8 has different evaluation items. Descriptions of the same points as in FIG. 6 will be omitted below.
  • FIG. 9 is a diagram showing the correlation between the "number of bubbles" and the acid value in the first period. Compared with FIG. 7, the experiment shown in FIG. 9 has different evaluation items. Hereinafter, description of the same points as in FIG. 7 will be omitted.
  • FIG. 10 is a diagram showing experimental results of "bubble size" in the first period. Compared with FIG. 6, the experiment shown in FIG. 10 has different evaluation items. Descriptions of the same points as in FIG. 6 will be omitted below.
  • FIG. 11 is a diagram showing the correlation between "bubble size" and acid value in the first period. Compared with FIG. 7, the experiment shown in FIG. 11 has different evaluation items. Hereinafter, description of the same points as in FIG. 7 will be omitted.
  • FIG. 12 is a diagram showing experimental results of "bubble disappearance speed" in the first period. Compared with FIG. 6, the experiment shown in FIG. 12 has different evaluation items. Descriptions of the same points as in FIG. 6 will be omitted below.
  • FIG. 13 is a diagram showing the correlation between "foam disappearance speed" and acid value in the first period. Compared with FIG. 7, the experiment shown in FIG. 13 has different evaluation items. Hereinafter, description of the same points as in FIG. 7 will be omitted.
  • FIG. 14 is a diagram showing experimental results of "foaming intensity" in the second period. Compared to FIG. 6, the experiments shown in FIG. 14 differ in duration. Descriptions of the same points as in FIG. 6 will be omitted below.
  • FIG. 15 is a diagram showing the correlation between "foaming intensity" and acid value in the second period. Compared to FIG. 7, the experiments shown in FIG. 15 differ in duration. Hereinafter, description of the same points as in FIG. 7 will be omitted.
  • FIG. 16 is a diagram showing experimental results of the "number of bubbles" in the second period. Compared with FIG. 14, the experiment shown in FIG. 16 has different evaluation items. Descriptions of the same points as in FIG. 14 will be omitted below.
  • FIG. 17 is a diagram showing the correlation between the "number of bubbles" and the acid value in the second period. Compared with FIG. 15, the experiment shown in FIG. 17 has different evaluation items. Hereinafter, description of the same points as in FIG. 15 will be omitted.
  • FIG. 18 is a diagram showing experimental results of "bubble size" in the second period. Compared with FIG. 14, the experiment shown in FIG. 18 has different evaluation items. Descriptions of the same points as in FIG. 14 will be omitted below.
  • FIG. 19 is a diagram showing the correlation between "bubble size" and acid value in the second period. Compared with FIG. 15, the experiment shown in FIG. 19 has different evaluation items. Hereinafter, description of the same points as in FIG. 15 will be omitted.
  • FIG. 20 is a diagram showing experimental results of "bubble disappearance speed" in the second period. Compared to FIG. 14, the experiment shown in FIG. 20 has different evaluation items. Descriptions of the same points as in FIG. 14 will be omitted below.
  • FIG. 21 is a diagram showing the correlation between the "foam disappearance speed" and the acid value in the second period. Compared with FIG. 15, the experiment shown in FIG. 21 has different evaluation items. Hereinafter, description of the same points as in FIG. 15 will be omitted.
  • FIG. 22 is a diagram showing experimental results of "foaming intensity" in the third period. Compared to FIG. 6, the experiments shown in FIG. 22 differ in duration. Descriptions of the same points as in FIG. 6 will be omitted below.
  • FIG. 23 is a diagram showing the correlation between "foaming intensity" and acid value in the third period. Compared to FIG. 7, the experiments shown in FIG. 23 differ in duration. Hereinafter, description of the same points as in FIG. 7 will be omitted.
  • FIG. 24 is a diagram showing experimental results of the "number of bubbles" in the third period. Compared to FIG. 22, the experiment shown in FIG. 24 has different evaluation items. Descriptions of the same points as in FIG. 22 will be omitted below.
  • FIG. 25 is a diagram showing the correlation between the "number of bubbles" and the acid value in the third period. Compared with FIG. 23, the experiment shown in FIG. 25 has different evaluation items. Descriptions of the same points as in FIG. 23 will be omitted below.
  • FIG. 26 is a diagram showing experimental results of "bubble size" in the third period. Compared to FIG. 22, the experiment shown in FIG. 26 has different evaluation items. Descriptions of the same points as in FIG. 22 will be omitted below.
  • FIG. 27 is a diagram showing the correlation between "bubble size" and acid number in the third period. Compared to FIG. 23, the experiment shown in FIG. 27 has different evaluation items. Descriptions of the same points as in FIG. 23 will be omitted below.
  • FIG. 28 is a diagram showing experimental results of "bubble disappearance speed" in the third period. Compared to FIG. 22, the experiment shown in FIG. 28 has different evaluation items. Description of the same points as in FIG. 22 will be omitted below.
  • FIG. 29 is a diagram showing the correlation between "foam disappearance speed" and acid value in the third period. Compared to FIG. 23, the experiment shown in FIG. 29 has different evaluation items. Descriptions of the same points as in FIG. 23 will be omitted below.
  • FIG. 30 is a diagram showing experimental results of "foaming intensity" in the fourth period. Compared to FIG. 6, the experiments shown in FIG. 30 differ in duration. Descriptions of the same points as in FIG. 6 will be omitted below.
  • FIG. 31 is a diagram showing the correlation between "foaming intensity" and acid value in the fourth period. Compared to FIG. 7, the experiments shown in FIG. 31 differ in duration. Hereinafter, description of the same points as in FIG. 7 will be omitted.
  • FIG. 32 is a diagram showing experimental results of "the number of bubbles" in the fourth period. Compared to FIG. 30, the experiment shown in FIG. 32 has different evaluation items. Hereinafter, description of the same points as in FIG. 30 will be omitted.
  • FIG. 33 is a diagram showing the correlation between the "number of bubbles" and the acid value in the fourth period. Compared with FIG. 31, the experiment shown in FIG. 33 has different evaluation items. Description of the same points as in FIG. 31 will be omitted below.
  • FIG. 34 is a diagram showing experimental results of "bubble size" in the fourth period. Compared with FIG. 30, the experiment shown in FIG. 34 has different evaluation items. Hereinafter, description of the same points as in FIG. 30 will be omitted.
  • FIG. 35 is a diagram showing the correlation between "bubble size" and acid number in the fourth period. Compared to FIG. 31, the experiment shown in FIG. 35 has different evaluation items. Description of the same points as in FIG. 31 will be omitted below.
  • FIG. 36 is a diagram showing experimental results of "bubble disappearance speed" in the fourth period. Compared to FIG. 30, the experiment shown in FIG. 36 has different evaluation items. Hereinafter, description of the same points as in FIG. 30 will be omitted.
  • FIG. 37 is a diagram showing the correlation between "foam disappearance speed" and acid value in the fourth period. Compared with FIG. 31, the experiment shown in FIG. 37 has different evaluation items. Description of the same points as in FIG. 31 will be omitted below.
  • the evaluation items for which the waveforms of the graphs showing the two evaluation results are similar and the correlation between the state and the acid value is strong can be said to be the following experimental results.
  • the waveform of the graph showing the evaluation results is the same even if the evaluators are different. . Therefore, by using such items, the subjective influence of the evaluator can be reduced, and the state can be stably quantified.
  • AI can grasp the state by analyzing the image or by inputting parameters indicating the state. Since the state has a correlation with the degree of progress, AI can predict the degree of progress according to the state. Therefore, the learning device 5 can generate an AI that predicts the degree of progress by making the AI learn the image, the state, the degree of progress, and the correlation between the state and the degree of progress.
  • FIG. 38 is a diagram showing a functional configuration example of a learning device and the like.
  • the learning device 5 includes an imaging unit 5F1, a state identification unit 5F2, and a learning unit 5F3.
  • the imaging unit 5F1 performs an imaging procedure for acquiring an image of the cooking oil.
  • the imaging unit 5F1 is implemented by the video camera 42, the I/F 500E, and the like.
  • the state identification unit 5F2 analyzes the image and performs a state identification procedure to identify the state of the cooking oil.
  • the state identification unit 5F2 is realized by the CPU 500A or the like.
  • the learning unit 5F3 performs a learning procedure for making the learning model 8 learn the correlation between the state and the degree of progress.
  • the learning unit 5F3 is realized by the CPU 500A or the like.
  • the learning device 5 can learn the learning model 8 and generate the trained model 9 .
  • the trained model 9 is distributed, for example, to the prediction device 6 or the like via a network or the like.
  • the prediction device 6 includes, for example, an imaging unit 6F1, a state identification unit 6F2, and a prediction unit 6F3.
  • the imaging unit 6F1 has, for example, the same configuration as the imaging unit 5F1 and the like.
  • the state identification unit 6F2 has, for example, the same configuration as the state identification unit 5F2 and the like.
  • the prediction unit 6F3 uses the learned model 9 to predict the degree of progress.
  • the prediction unit 6F3 is realized by the CPU 500A or the like.
  • the learning system 7 is a learning system 7 or the like having a learning device 5 and a prediction device 6 . That is, the learning system 7 is a system that performs both learning and prediction. For example, the learning system 7 may further train the trained model 9 after the trained model 9 is delivered. In this way, when additional learning is performed, it is possible to generate an AI adapted to the individual environment of each prediction device 6 and the like.
  • FIG. 39 is a diagram showing a usage example of the learning system 7 and the like.
  • store S2 (store S2 is assumed to be an izakaya) notifies general headquarters H of notification information.
  • the general headquarters H analyzes the number of times or frequency of receiving the notification information.
  • the general headquarters H analyzes the store S1 (store S1 is a tempura restaurant) and the store S3 (store S3 is a pork cutlet restaurant).
  • the General Headquarters H will propose or provide guidance on whether the cooking oil is being used appropriately, whether it is being replaced as appropriate, and whether there is any waste.
  • the general headquarters H may also manage the factory where the fryer 2 is installed. Also, the general headquarters H may exist in a store or a factory and manage the fryer 2 and the like in the facility.
  • the notification information is notified to, for example, the edible oil manufacturer P and the distributor Q. Then, the manufacturer P draws up a manufacturing plan or a sales plan based on the reported information.
  • distributor Q orders edible oil and purchases edible oil from manufacturer P based on the reported information. Then, the distributor Q delivers the edible oil or the like to the stores S1 to S3.
  • the notification information is notified to collection company Z (collection company Z and manufacturer P may be the same company, etc.). Then, upon receiving the notification information, the collecting company Z collects the waste oil W. Specifically, when the recovery agent Z receives the notification information a predetermined number of times, the recovery agent Z visits the store S2 and recovers the waste oil W from the oil tank 21 of the fryer 2 .
  • the notification information may also be notified to cleaning contractors.
  • the cleaning operator visits the store S2 and cleans the inside of the oil tank 21 of the fryer 2 or the vicinity thereof.
  • the notification information is used as described above, it is possible to quickly perform operations from supply to waste oil and cleaning at stores S1 to S3. Further, automating the exchange of cooking oil and the like can further reduce the burden on the user (for example, a store clerk). Specifically, when notification information such as that the degree of progress exceeds a threshold is output, the cooking oil in use is replaced with new cooking oil or the like.
  • FIG. 40 is a diagram showing an example network structure.
  • AI based on the learning model 8 and the trained model 9 processes image data and the like with the following network structure.
  • AI may have a network structure with an input layer L1, a hidden layer L2, and an output layer L3.
  • AI is a network structure that has a Convolution Neural Network (convolutional neural network, CNN) as shown in the figure.
  • CNN convolutional neural network
  • the input layer L1 is a layer for inputting images.
  • the hidden layer L2 is a layer that performs processing such as convolution, pooling, normalization, or a combination thereof on the image input in the input layer L1.
  • the output layer L3 is a layer that outputs the results processed by the hidden layer L2.
  • the output layer L3 is composed of a fully connected layer or the like.
  • Convolution is, for example, based on a filter, mask, or kernel (hereinafter simply referred to as "filter”), or the like, to an image or a feature map generated by performing a predetermined process on the image.
  • filter a filter, mask, or kernel
  • it is a process of performing filtering and generating a feature map.
  • a filter is data used to perform calculations for multiplying pixel values of an image or feature map by filter coefficients (sometimes referred to as "weights” or “parameters”). Note that the filter coefficient is a value determined by learning, setting, or the like.
  • the convolution process is a process of multiplying each pixel value of pixels constituting an image or a feature map by a filter coefficient, and generating a feature map with the calculation results as constituent elements.
  • a feature is, for example, an edge component, a result of statistical processing of the periphery of a target pixel, or the like.
  • the subject or the like indicated by the target image or feature map shifts vertically, shifts horizontally, shifts diagonally, rotates, or is an image or feature map that is a combination of these. Similar features can be extracted from
  • Pooling is a process of calculating the average, extracting the minimum value, or extracting the maximum value for the target range, extracting features, and generating a feature map. That is, the pooling is max pooling, avg pooling, or the like.
  • convolution and pooling may have preprocessing such as zero padding.
  • Normalization is, for example, a process of aligning variances and average values. It should be noted that normalization includes a case where it is performed locally. Then, normalization means that the data becomes a value or the like within a predetermined range. Therefore, the data can be easily handled in subsequent processing.
  • “Fully connected” is a process that puts data such as feature maps into the output.
  • the output is in the form of binary output, such as "YES” or "NO".
  • full connection is a process of connecting nodes based on the features extracted in the hidden layer L2 so as to obtain either of the two types of conclusions.
  • the full connection is a process that performs a so-called softmax function.
  • the full combination enables classification (including output indicating probability) by maximum likelihood estimation or the like.
  • the prediction device 6 can predict the degree of progress based on the state by using a learning model that has learned the correlation between the state and the degree of progress.
  • FIG. 41 is a diagram showing fried food to be tested. The figure is similar to FIG. Experimental results for the first sample 11 and the second sample 12 among the samples that have shown the experimental results will be described below.
  • the first sample 11 is a fried food with a lower evaluation of "foaming intensity" than the second sample 12. That is, the first sample 11 is a fried food that, when cooked with edible oil, causes relatively mild bubbling.
  • the state of "foaming intensity" and the like has a relationship that the lower the evaluation value, the higher the acid value, so the degree of progress tends to increase.
  • the prediction device 6 predicts that the progress of the first sample 11 is likely to be higher than that of the second sample 12 by learning such correlation. In order to verify whether such prediction results are correct, the following experiment was conducted.
  • FIG. 42 is a diagram showing experimental results of measuring the acid value after 10 hours.
  • the illustrated experimental results show experimental results in which the first sample 11 and the second sample 12 were continuously fried for 10 hours. In the experiment, a total of 160 first samples 11 and second samples 12 were cooked.
  • the degree of progress changed as follows due to the 10 hours of fried cooking.
  • FIG. 43 is a diagram showing experimental results by color.
  • the horizontal axis indicates the number of fried foods that have been fried.
  • the vertical axis indicates the result of color measurement.
  • Color is a value calculated by yellow component value+10 ⁇ red component value. That is, the higher the color value, the higher the degree of progress, indicating that the edible oil is deteriorating.
  • FIG. 44 is a diagram showing experimental results based on acid value. Note that the horizontal axis is the same as in FIG. On the other hand, the vertical axis indicates the measurement result of measuring the acid value. That is, the higher the acid value, the higher the degree of progress, indicating that the edible oil is deteriorating.
  • the first sample 11 had a higher degree of progress than the second sample 12.
  • the prediction device 6 can predict the degree of progress after 10 hours from the correlation.
  • the prediction result may be in the form of a progress trend, whether it is time to change the cooking oil, or the result of predicting the time to change the cooking oil.
  • the prediction result is displayed on the monitor 41 as "Current progress is XX%.”
  • the monitor 41 indicates the current time in percentage form with the replacement time being "100%”.
  • the prediction result may be displayed on the monitor 41 as, for example, "Change the frying oil.”
  • the monitor 41 displays, for example, "The remaining number of fried food X is 0", "The next fried food that can be fried is 0 ⁇ is ⁇ , or ⁇ is ⁇ .”, or “If you add oil now, you can use it for ⁇ more days.” In other words, the monitor 41 may display the prediction result in the form of the type and number of fried foods that can be cooked until the replacement time is reached.
  • a new oil is an edible oil with a low acid value.
  • new oil is an edible oil or the like having an acid value of less than 0.2. That is, the new oil is an edible oil that has not been used at all, or an edible oil that has been used less frequently.
  • the acid value is often less than 0.2 if the heating is for several tens of hours or less. Therefore, in this specification, whether or not an edible oil corresponds to "new oil" is mainly specified by the acid value.
  • the initial foam is the foam generated in the new oil.
  • the initial foam is often foam generated when the number of times of deep-frying using new oil is less than 10 times.
  • the standard acid value of the new oil may be other than "0.2" depending on the initial value of the acid value or the type of edible oil.
  • the predetermined number of times of frying, which serves as a reference for the initial foam may be other than "10 times” depending on the type of fried food.
  • new oil may be evaluated based on criteria other than acid value. For example, new oil may be evaluated as to whether or not it is new based on the number of times it has been used, the time it has been used, or the like. Moreover, the new oil may be evaluated by a plurality of items.
  • Embodiments may be combinations of the above embodiments.
  • a process for reducing overfitting such as dropout (also referred to as “overfitting” or “overfitting”) may be performed.
  • processing such as dimension reduction and normalization may be performed.
  • the learning model and the trained model are not limited to the CNN network structure.
  • the network structure may have a configuration such as RNN (Recurrent Neural Network) or LSTM (Long Short-Term Memory).
  • the learning model and the trained model may be configured with hyperparameters. That is, the learning model and the learned model may be partially configured by the user.
  • the learning model and the trained model may use other machine learning.
  • the learning model and the trained model may be subjected to preprocessing such as normalization by an unsupervised model.
  • the present invention can be realized by a program (including firmware and equivalents to the program, hereinafter simply referred to as "program") that executes the learning method exemplified above or the process equivalent to the process shown above. good.
  • program including firmware and equivalents to the program, hereinafter simply referred to as "program”
  • the present invention may be implemented by a program or the like written in a programming language or the like so as to issue a command to a computer and obtain a predetermined result.
  • the program may have a configuration in which part of the processing is executed by hardware such as an integrated circuit (IC) or an arithmetic unit such as a GPU.
  • the program causes the computer to execute the above-described processes by cooperating with the arithmetic device, control device, storage device, etc. of the computer. That is, the program is loaded into the main memory or the like, issues instructions to the arithmetic unit, causes it to perform arithmetic, and operates the computer.
  • the program may be provided via a computer-readable recording medium or an electric communication line such as a network.
  • the present invention may be implemented in a system composed of multiple devices. That is, a multi-computer information processing system may perform the processes described above redundantly, in parallel, distributed, or a combination thereof. Therefore, the present invention may be implemented in devices with hardware configurations other than those shown above, and systems other than those shown above.
  • the present invention has been described above.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations.
  • part of the configuration of this embodiment can be replaced with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of this embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • General Preparation And Processing Of Foods (AREA)

Abstract

進行度を予測するＡＩを生成する。　学習装置は、食用油を撮像した画像を取得する撮像部と、前記画像を解析して、前記食用油の状態を特定する状態特定部と、前記状態と、前記食用油が劣化する度合いを示す進行度との相関関係を学習モデルに学習させる学習部とを備える。

Description

学習装置、予測装置、学習方法、プログラム、及び、学習システム
　本発明は、学習装置、予測装置、学習方法、プログラム、及び、学習システムに関する。
　揚げ物の品質を保つためには、揚げ物の調理（以下、「揚げ調理」とする。）において、食用油の品質を適切に管理することが望ましい。一般的に、食用油は使用によって劣化することが知られている。そこで、従来、食用油の交換時期等を客観的に判断すべく、食用油の見た目、臭い、色調、若しくは、これらの変化、又は、揚げ油を使用した累積時間（「累積期間」ともいう。）等を参考にして、食用油が劣化する度合い（以下、「進行度」とする。「劣化度」等という場合もある。）を判定する方法が知られている。
　しかし、従来の技術は、判定者（主に、食用油を使用する使用者の場合が多い。）の経験等（以下「主観」という。）に左右されることが多い。そこで、主観によらず、客観的に進行度を判定する方法として、例えば、特許文献１には、揚げ調理中において、食用油の表面の照度の変化度等を指標として、進行度を検知する方法が開示されている。
特開平８－１８２６２４号公報
　特許文献１に記載の方法は、例えば、コンビニエンスストア又はスーパーマーケット等といった店舗内に備え付けられた調理器具において揚げ調理を行った揚げ物を顧客に販売する店で行う。しかしながら、調理器具の設置環境は店舗ごとに異なるので、その照度の変化具合等も店舗によって多様である。したがって、特許文献１に記載の方法等では、進行度を精度よく予測するのは難しい。
　そこで、本発明の目的は、進行度を予測できるＡｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ（以下、「ＡＩ」とする。）等を生成する学習装置等を提供することにある。
　上記の目的を達成するために、学習装置は、
　食用油を撮像した画像を取得する撮像部と、
　前記画像を解析して、前記食用油の状態を特定する状態特定部と、
　前記状態と、前記食用油が劣化する度合いを示す進行度との相関関係を学習モデルに学習させる学習部とを備える。
　本発明によれば、進行度を予測するＡＩを生成できる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
調理場１の構成例を示す図である。 情報処理装置のハードウェア構成例を示す図である。 全体処理例を示す図である。 新しい食用油における気泡等の例を示す図である。 古い食用油における気泡等の例を示す図である。 第１期間における「泡立ちの激しさ」の実験結果を示す図である。 第１期間における「泡立ちの激しさ」と酸価の相関関係を示す図である。 第１期間における「泡の数」の実験結果を示す図である。 第１期間における「泡の数」と酸価の相関関係を示す図である。 第１期間における「泡のサイズ」の実験結果を示す図である。 第１期間における「泡のサイズ」と酸価の相関関係を示す図である。 第１期間における「泡が消えるスピード」の実験結果を示す図である。 第１期間における「泡が消えるスピード」と酸価の相関関係を示す図である。 第２期間における「泡立ちの激しさ」の実験結果を示す図である。 第２期間における「泡立ちの激しさ」と酸価の相関関係を示す図である。 第２期間における「泡の数」の実験結果を示す図である。 第２期間における「泡の数」と酸価の相関関係を示す図である。 第２期間における「泡のサイズ」の実験結果を示す図である。 第２期間における「泡のサイズ」と酸価の相関関係を示す図である。 第２期間における「泡が消えるスピード」の実験結果を示す図である。 第２期間における「泡が消えるスピード」と酸価の相関関係を示す図である。 第３期間における「泡立ちの激しさ」の実験結果を示す図である。 第３期間における「泡立ちの激しさ」と酸価の相関関係を示す図である。 第３期間における「泡の数」の実験結果を示す図である。 第３期間における「泡の数」と酸価の相関関係を示す図である。 第３期間における「泡のサイズ」の実験結果を示す図である。 第３期間における「泡のサイズ」と酸価の相関関係を示す図である。 第３期間における「泡が消えるスピード」の実験結果を示す図である。 第３期間における「泡が消えるスピード」と酸価の相関関係を示す図である。 第４期間における「泡立ちの激しさ」の実験結果を示す図である。 第４期間における「泡立ちの激しさ」と酸価の相関関係を示す図である。 第４期間における「泡の数」の実験結果を示す図である。 第４期間における「泡の数」と酸価の相関関係を示す図である。 第４期間における「泡のサイズ」の実験結果を示す図である。 第４期間における「泡のサイズ」と酸価の相関関係を示す図である。 第４期間における「泡が消えるスピード」の実験結果を示す図である。 第４期間における「泡が消えるスピード」と酸価の相関関係を示す図である。 学習装置等の機能構成例を示す図である。 学習システム７等の使用例を示す図である。 ネットワーク構造例を示す図である。 実験対象とする揚げ物を示す図である。 １０時間後の酸価を計測した実験結果を示す図である。 色による実験結果を示す図である。 酸価による実験結果を示す図である。
　以下、食用油を用いて揚げ調理で調理する対象を「揚げ物」という。例えば、揚げ物は、フライドチキン、コロッケ、フライドポテト、唐揚げ、天ぷら、又は、トンカツ等である。
　（調理場１の構成例）
　まず、揚げ調理が行われる環境として想定される調理場１の一構成例について、図１を参照して説明する。
　図１は、調理場１の構成例を示す図である。以下、食用油の例を「揚げ油Ｙ」とする。
　調理場１は、例えば、コンビニエンスストア、又は、スーパーマーケット等の店舗内である。そして、調理場１には、揚げ物Ｘを揚げ調理する設備が設けられる。例えば、設備は、電気式のフライヤー（ｆｒｙｅｒ、以下単に「フライヤー２」とする。）等である。
　フライヤー２は、例えば、油槽２１、及び、ハウジング２２等を有する設備である。
　油槽２１は、揚げ油Ｙを貯留する。また、油槽２１は、例えば、取っ手３０、及び、フライバスケット３等で構成する。
　ハウジング２２は、油槽２１を収容する。また、ハウジング２２は、揚げ物Ｘの種類別に、揚げ油Ｙの温度、又は、揚げ調理の内容等を設定する設定操作部となる、スイッチ２２Ａ等を側面に有する。
　揚げ調理を行う際には、まず、調理者は、揚げ物Ｘをフライバスケット３内に投入する。次に、調理者は、揚げ物Ｘを揚げ油Ｙに漬け、かつ、取っ手３０をハウジング２２の上端部に引っ掛ける。そして、同時、又は、前後して、調理者は、揚げ物Ｘの種類に応じて、スイッチ２２Ａを押下する。
　続いて、フライヤー２は、スイッチ２２Ａに応じて所定の揚げ時間が経過すると、調理者に揚げ上がりを報知する。また、同時に、フライヤー２は、フライバスケット３を油槽２１から上昇させる。このようにして、揚げ物Ｘは、揚げ油に漬かった状態から上げられる。
　なお、報知の方法は、例えば、スピーカでブザー音を出力する、又は、壁１０Ａに設置するモニタ４１に表示する方法等である。このように、揚げ時間の経過は、光、音、又は、これらの組み合わせで報知される。
　調理者は、揚げ物Ｘが揚げ上がると、フライバスケット３を引き上げ、揚げ物Ｘを取り出す。なお、フライバスケット３の引き上げは、駆動機構等で行う構成でもよい。
　調理場１は、揚げ油Ｙを撮像する撮像装置が設置される。例えば、撮像装置は、ビデオカメラ４２である。具体的には、ビデオカメラ４２は、天井１０Ｂ等に取り付ける。
　ビデオカメラ４２は、揚げ油Ｙの表面等を連続的に撮像し、画像を生成する。なお、画像は、動画が望ましい。さらに、ビデオカメラ４２は、画角、及び、焦点等の条件が調整される。
　なお、ビデオカメラ４２は、天井１０Ｂ以外の位置でもよい。すなわち、ビデオカメラ４２は、揚げ油Ｙが撮影できれば、壁１０Ａ等に取り付けられてもよい。
　また、撮像装置は、必ずしも動画の形式で撮像しなくともよい。すなわち、例えば、撮像装置は、静止画を撮影するスチルカメラ、又は、タブレット等であってもよい。そして、スチルカメラ等を用いる場合には、撮像装置は、画像を時系列に沿って断続的に撮像できるものを用いればよい。
　さらに、撮像装置は、複数でもよい。また、撮像装置は、タブレット又はスマートフォンといったモバイル機器等が有するカメラ等でもよい。
　例えば、学習装置５は、モニタ４１、ビデオカメラ４２、及び、フライヤー２等に接続して用いる。なお、学習装置５は、常時、ビデオカメラ４２等に接続していなくともよい。例えば、学習装置５は、ビデオカメラ４２が撮影した画像を記憶媒体に一旦格納し、別途取得して後述する学習を実行する構成でもよい。
　（情報処理装置のハードウェア構成例）
　図２は、情報処理装置のハードウェア構成例を示す図である。例えば、学習装置５は、以下のようなハードウェア資源を有する情報処理装置である。
　学習装置５は、Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ（以下、「ＣＰＵ５００Ａ」とする。）、及び、Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ（以下、「ＲＡＭ５００Ｂ」とする。）等を有する。さらに、学習装置５は、Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ（以下、「ＲＯＭ５００Ｃ」とする。）、ハードディスクドライブ（以下、「ＨＤＤ５００Ｄ」とする。）、及び、インタフェース（以下、「Ｉ／Ｆ５００Ｅ」とする。）等を有する。
　ＣＰＵ５００Ａは、演算装置、及び、制御装置の例である。
　ＲＡＭ５００Ｂは、主記憶装置の例である。
　ＲＯＭ５００Ｃ、及び、ＨＤＤ５００Ｄは、補助記憶装置の例である。
　Ｉ／Ｆ５００Ｅは、入力装置、又は、出力装置等を接続する。具体的には、Ｉ／Ｆ５００Ｅは、モニタ４１、又は、ビデオカメラ４２等の外部装置を有線、又は、無線で接続し、データを入出力する。
　なお、学習装置５は、上記に示すハードウェア構成に限られない。例えば、学習装置５は、演算装置、制御装置、記憶装置、入力装置、出力装置、又は、補助装置を更に有してもよい。具体的には、情報処理装置は、外部、又は、内部にＧｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ（ＧＰＵ）等の補助装置があってもよい。
　さらに、学習装置５は、複数の装置であってもよい。
　（全体処理例）
　図３は、全体処理例を示す図である。例えば、学習装置５は、図示するように、「学習処理」、及び、「実行処理」の順に各処理を実行する。
　学習処理は、実行処理より事前に実行される処理である。すなわち、学習処理は、学習モデルを学習させる処理である。そして、実行処理は、学習後の学習済みモデルを用いる処理である。
　なお、学習装置５は、学習処理、及び、実行処理を図３に例示するような連続する処理として実行しなくともよい。したがって、学習装置５は、学習処理によって学習モデルを学習し、その後、学習済みモデルを用いた実行を連続して行わなくともよい。
　例えば、学習装置５は、学習済みモデルを一旦作成した後に、別の機会として学習済みモデルを用いる実行処理を行うようにしてもよい。
　また、学習済みモデルが一度生成された後であれば、学習済みモデルを転用し、学習装置５は、実行処理から開始してもよい。以下、学習装置５が学習処理、及び、実行処理を連続して実行する場合を例に説明する。すなわち、学習モデル、及び、学習済みモデルは、転移学習（Ｔｒａｎｓｆｅｒ　Ｌｅａｒｎｉｎｇ）、又は、ファインチューニング（Ｆｉｎｅ　ｔｕｎｉｎｇ）等を行う構成でもよい。
　（学習処理例）
　ステップＳ０３０１では、学習装置５は、撮像装置等により、食用油を撮像して画像を取得する。具体的には、画像は、動画の形式等で取得される。
　画像は、例えば、１５フレーム／秒（ｆｐｓ）以上で撮像されるのが望ましい。すなわち、画像は、肉眼と同程度以上の時間分解能で撮像されるのが望ましい。ただし、画像は、静止画の集まり等でもよい。時間分解能が高い設定であると、気泡等が精度良く把握できる。
　また、画像は、カラーが望ましい。すなわち、画像は、ＲＧＢ、又は、ＹＣｒＣｂ等のデータ形式であるのが望ましい。カラーを用いると、色等を用いて精度良く分析、又は、認識等ができる。
　撮像装置は、例えば、食用油の表面を中心に撮像するように設置される。具体的には、撮像装置は、食用油の表面から４０センチメートル以上離れた位置から、食用油の表面を見下ろすように撮像する。なお、撮像装置は、光学条件等に基づき、食用油の表面から４０センチメートル以上離れた位置以外の位置に設置されてもよい。
　なお、撮像条件は、照明環境、フライヤーの大きさ、食用油の種類、又は、その他の外部環境等を考慮し、上記に示す以外の条件であってもよい。
　ステップＳ０３０２では、学習装置５は、画像を解析して、食用油の状態を特定する。まず、学習装置５は、ステップＳ０３０１で取得する画像（なお、画像は、複数のフレームを用いてもよい。以下、複数の画像も単に「画像」という。）を解析する。
　画像を分析すると、学習装置５は、例えば、揚げ物の種類、揚げ物の数、又は、これらの組み合わせ等を把握できる。具体的には、学習装置５は、パターンマッチング等の画像認識処理により、撮像されている物体の種類、形状、色、又は、個数等といった被写体の様々なパラメータを把握できる。
　ただし、これらのパラメータの一部、又は、全部は、画像以外のデータ、又は、ユーザによる入力等で取得されてもよい。例えば、学習装置５は、食用油の種類を食用油の名称等を事前に入力する操作等で取得する。
　他に、パラメータは、例えば、食用油の量、又は、温度等があってもよい。例えば、温度は、サーモグラフィカメラ等の温度センサ等で取得する。また、食用油の量は、例えば、画像の分析、流量計、又は、重量計等で取得する。
　このように、分析結果等に基づき、食用油の種類、揚げ物の種類、及び、揚げ物の数等のパラメータが取得されるのが望ましい。これらのパラメータは、進行度の傾向に深く関与する場合が多い。したがって、これらのパラメータが取得されると、ＡＩは、進行度等を精度良く予測できる。
　食用油の状態（以下、単に「状態」という場合がある。）は、例えば、食用油に所定の時間当たりに発生する気泡の発生率、気泡の個数、気泡の大きさ、気泡の消滅速度、又は、これらの組み合わせ等で示すのが望ましい。
　例えば、画像を解析すると、学習装置５は、食用油の表面に発生する以下のような気泡を把握できる。
　図４は、新しい食用油における気泡等の例を示す図である。
　図５は、古い食用油における気泡等の例を示す図である。
　例えば、食用油は、図４又は図５のように撮像される。
　図４は、比較的新しい食用油（以下、「食用油Ｙ１」という。）の例を示す図である。これに対し、図５は、図４に示す食用油Ｙ１より比較的劣化した食用油（以下、「食用油Ｙ２」という。）の例を示す図である。
　例えば、図４、及び、図５が示すように、揚げ調理を行うと、食用油の表面には、複数の気泡（「表面泡」等という場合もある。以下、単に「気泡」という。）が発生する。
　これらの気泡には、例えば、直径が比較的大きな気泡（以下、「大きい気泡α」とする。）と、直径が比較的小さい気泡（以下、「細かい気泡β」とする。）とがある。
　なお、大きい気泡αとするか、又は、細かい気泡βとするかの分類は、例えば、事前に基準値を入力して、対象とする気泡が、基準値より直径が大きいか否か等で分類されてもよい。
　具体的には、大きい気泡αは、例えば、図４、及び、図５の両方に示す気泡である。一方で、細かい気泡βは、図５に示す気泡である。
　なお、細かい気泡βは、「カニ泡」等という場合もある。
　大きい気泡αは、発生した位置に留まりやすい性質がある。一方で、細かい気泡βは、数個が集まって表面に流れを形成しやすい性質がある。
　また、食用油は、劣化すると、着色が進行し透明度が低下する場合が多い。そのため、食用油Ｙ２では、食用油Ｙ１と比較して、揚げ物Ｘの輪郭が見えづらくなる。したがって、進行度は、揚げ物Ｘの輪郭の見えやすさを指標としてもよい。
　具体的には、学習装置５は、画像を解析して、食用油Ｙ２の色と、揚げ物Ｘの領域の色との「差」を検知する。なお、学習装置５は、事前に食用油Ｙ１の撮像結果に基づき、食用油Ｙ１の色と、食用油Ｙ１における揚げ物Ｘの領域の色との「差」を検知する。
　次に、学習装置５は、食用油Ｙ１の色、及び、食用油Ｙ２の色等に基づき、「色の差」を比較することで、進行度を推定してもよい。
　以下、大きい気泡αを「第１気泡」という。一方で、小さい気泡βを「第２気泡」という。例えば、第１気泡、及び、第２気泡を含む気泡は、画像における円形（楕円等を含めてもよい。）等を画像認識処理で抽出すると把握できる。
　そして、学習装置５は、例えば、第１気泡の大きさを基準に、比較的小さい大きさの気泡を第２気泡と把握する。
　なお、第１気泡、及び、第２気泡は、上記のような基準で分類されるに限られない。例えば、第１気泡、及び、第２気泡は、事前に設定する基準値より大きい気泡であるか否かで分類されてもよい。また、学習装置５は、大きさ以外を基準にして気泡の種類を把握してもよい。
　このように、学習装置５は、気泡の種類を把握すると、進行度等をより精度良く予測できる。
　所定の時間当たりに発生する気泡の発生率は、食用油の表面における泡立ちの激しさを示す指標の例と捉えることができる。
　具体的には、所定の時間当たりに発生する気泡の発生率は、例えば、揚げ油Ｙの表面の同じ場所において、気泡が発生し、発生後、気泡が弾けたのを「１回」をカウントして計算される。したがって、所定の時間当たりに発生する気泡の発生率は、例えば、同じ場所において、気泡が発生する、及び、気泡が弾けるが５回繰り返されると、「５回」と計算される。
　気泡の個数は、例えば、数フレームの画像における気泡の数を統計した値等である。具体的には、気泡の個数は、３０ｆｐｓにおいて、３０フレーム、すなわち、１秒間における気泡の平均値等である。
　気泡の大きさは、例えば、気泡の直径、又は、円周等である。なお、気泡の大きさは、数フレームの画像における統計した値等でもよい。
　気泡の消滅速度は、気泡が発生してから、気泡が弾けるまでの時間等である。なお、気泡の消滅速度は、複数の気泡において統計した値、又は、所定時間において統計した値等でもよい。
　例えば、状態は、画像における気泡を画像認識処理等によって認識することで実現する。すなわち、学習装置５は、例えば、画像からエッジ成分を抽出すると、気泡を示す円形等を認識することで、気泡の有無等を把握できる。なお、気泡の把握等は、他の方法で実現してもよい。
　なお、状態は、食用油に所定の時間当たりに発生する気泡の発生率、気泡の個数、気泡の大きさ、気泡の消滅速度、又は、これらの組み合わせ以外で示してもよい。すなわち、状態は、食用油の状態を示す総合的な評価結果、又は、定性評価等を用いてもよい。
　また、状態は、揚げ物１個当たりに換算して評価してもよい。例えば、５個の揚げ物を対象とする場合には、食用油に所定の時間当たりに発生する気泡の発生率等の状態は、まず、全体で計測する。その後、状態は、全体の計測結果を個数「５」で除算して計算する。
　このように、状態は、全体を１個当たりに換算して計測されてもよい。ただし、揚げ物は、１個当たりの大きさ、又は、重量等が常に均一とは限らない。したがって、揚げ物１個当たりに換算する除算において、計算は、揚げ物の個数（この例では「５」である。）以外の値で除算してもよい。
　特に、食用油に所定の時間当たりに発生する気泡の発生率、及び、気泡の個数等は、揚げ物１個当たりに換算して評価するのが望ましい。
　ステップＳ０３０３では、学習装置５は、相関関係を学習モデルに学習させる。
　例えば、学習装置５は、ステップＳ０３０２によって特定される状態ごとに、各々の状態に対する進行度を入力する。すなわち、学習装置５は、学習における「正解データ」として、進行度を入力する。ただし、進行度は、画像の解析、又は、食用油の使用時間等から推定されてもよい。
　進行度は、例えば、食用油の酸価である。ただし、進行度は、食用油の粘度上昇率、食用油の色、食用油のアニシジン価、食用油の極性化合物量、食用油のカルボニル価、食用油の発煙点、食用油のトコフェロール含量、食用油のヨウ素価、食用油の屈折率、食用油の揮発性成分量、食用油の揮発性成分組成、食用油の風味、食用油で揚げた揚げ物の揮発性成分量、揚げ物の揮発性成分組成、揚げ物の風味、又は、これらの組み合わせ等でもよい。
　食用油の酸価（Ａｃｉｄ　Ｖａｌｕｅ、「ＡＶ」という場合もある。）は、例えば、基準油脂分析試験法２．３．１－２０１３で測定する値である。
　食用油の粘度上昇率は、例えば、食用油を交換し、新しい揚げ油で揚げ物を初めて揚げる前の粘度（すなわち、使用開始時の粘度である。）等を基準とし、基準に対する粘度上昇量の比率で算出される値である。なお、粘度は、粘度計等で計測される。例えば、粘度計は、Ｅ型粘度計（ＴＶＥ－２５Ｈ・東機産業社製）等である。
　食用油の色（「色調」又は「色相」等という場合もある。）は、例えば、基準油脂分析試験法２．２．１．１－２０１３で測定する値（例えば、黄色成分値と赤色成分値を用いて、黄色成分値＋１０×赤色成分値で計算する値等である。）である。
　食用油のアニシジン価は、基準油脂分析試験法２．５．３－２０１３で測定される値である。
　食用油の極性化合物量は、基準油脂分析試験法２．５．５－２０１３測定する値である。例えば、食用油の極性化合物量は、極性化合物測定装置（株式会社テストー製等の装置等をいう。）で測定する値である。
　食用油のカルボニル価は、例えば、基準油脂分析試験法２．５．４．２－２０１３等で測定する値である。
　食用油の発煙点は、基準油脂分析試験法２．２．１１．１－２０１３等で測定する値である。煙は、食用油に含まれる脂質、又は、その分解物等の燃焼により生じる。
　食用油のトコフェロール（Ｔｏｃｏｐｈｅｒｏｌ）（「ビタミンＥ」等という場合もある。）含量は、食用油に含まれるトコフェロールの成分量等である。例えば、トコフェロールは、高速液体クロマトグラフ（ＨＰＬＣ）法等で測定する値である。
　食用油のヨウ素価は、例えば、油脂１００グラムに付加できるヨウ素のグラム数を示す。そして、食用油のヨウ素価は、例えば、基準油脂分析試験法２．３．４１－２０１３等で測定する値である。
　食用油の屈折率は、例えば、基準油脂分析試験法２．２．３－２０１３等で測定する値である。
　食用油の揮発性成分量、食用油の揮発性成分組成、食用油で揚げた揚げ物の揮発性成分量、及び、揚げ物の揮発性成分組成等の揮発性成分は、揚げ物、又は、食用油から揮発する成分（主に、臭い成分である。）等で定まる。また、揮発性成分は、食用油が劣化すると、成分量、又は、組成等が変化する。例えば、揮発性成分は、ガスクロマトグラフ－質量分析計（ＧＣ－ＭＳ）、又は、においセンサ等で測定される。
　食用油の風味、及び、揚げ物の風味等の風味は、官能評価（例えば、実際に人が食べて評価する方法等である。）、又は、味覚センサ等で測定する値である。
　なお、食用油の進行度は、化学的な指標のみならず、例えば、美味しさの観点等が用いられてもよい。
　例えば、以上のような状態、及び、進行度が入力、又は、画像等の分析に基づき推定されると、学習装置５は、状態、及び、進行度の相関関係を学習モデルに学習させることができる。このような学習処理を繰り返すと、学習モデルが学習し、以降、実行処理において、進行度を予測する学習済みモデルが生成される。
　以下、学習済みモデルを用いて実行処理を学習装置５が行う、すなわち、予測装置が学習装置５である例として説明する。ただし、予測装置は、学習装置５以外の情報処理装置であってもよい。
　なお、学習装置５等は、実行処理の後に追加して学習処理を更に行ってもよい。例えば、実行処理の後に追加して学習処理を更に行う場合には、学習装置５等は、ステップＳ０３０７等のタイミングで追加して学習処理を行うか否かの判断を行う。
　（実行処理例）
　例えば、学習装置５は、以下のように実行処理を行って、進行度を予測する。
　ステップＳ０３０４では、学習装置５は、撮像装置等により、食用油を撮像して画像を取得する。例えば、ステップＳ０３０４は、ステップＳ０３０１と同様の処理である。
　ステップＳ０３０５では、学習装置５は、画像を解析して、食用油の状態を特定する。例えば、ステップＳ０３０５は、ステップＳ０３０２と同様の処理である。したがって、ステップＳ０３０５により、学習装置５は、予測に用いるパラメータを取得する。
　ステップＳ０３０６では、学習装置５は、進行度を予測する。具体的には、学習装置５は、画像が示す食用油の進行度を出力する。なお、進行度に基づき、学習装置５は、進行度の傾向、又は、食用油の交換時期であるか否か、食用油の交換時期を予測する形式で出力してもよい。
　ステップＳ０３０７では、学習装置５は、追加で学習処理を行うか否かを判断する。例えば、実行処理を実行した結果、より精度向上が必要等と判断された場合等には、学習装置５は、追加で学習処理を行う。
　なお、追加で学習処理を行うか否かを判断するタイミングは、他のタイミングでもよい。例えば、追加で学習処理を行うか否かを判断するタイミングは、実行処理を行う前、又は、複数回の実行処理を行った後等でもよい。また、追加で学習処理を行う場合には、追加して行う学習処理は、学習装置５以外の情報処理装置が行ってもよい。
　次に、追加で学習処理を行う場合（ステップＳ０３０７でＹＥＳ）には、学習装置５は、ステップＳ０３０１に戻る、すなわち、学習処理を追加して行う。一方で、追加で学習処理を行わない場合（ステップＳ０３０７でＮＯ）には、学習装置５は、全体処理を終了する。
　状態、及び、進行度には、以下のような実験結果に基づき、相関関係がある。
　（実験内容、及び、実験結果）
　以下に示す実験は、６種類の揚げ物をサンプルとする。なお、以下の説明では、サンプルを「サンプルＡ」、「サンプルＢ」、「サンプルＣ」、「サンプルＤ」、「サンプルＥ」、及び、「サンプルＦ」と呼称する。また、実験は下記の条件等の下で行った。
　使用した食用油：菜種油
　揚げ調理を行った温度：１８０℃
　揚げ調理の調理時間：５分
　揚げ物の個数：４個／回
　評価方法：食用油の使用開始から５分の時間を４期間に分けて、２人の評価者（サンプル数ｎ＝２とする。）による官能評価を行った。なお、４期間は、５分の時間のうち、「０（分）：００（秒）乃至０：２０」を「第１期間」という。同様に、５分の時間のうち、「０：４０乃至１：００」を「第２期間」、「２：２０乃至２：４０」を「第３期間」、及び、「４：４０乃至５：００」を「第４期間」という。
　以下、期間、及び、評価項目ごとに実験結果を説明する。
　図６は、第１期間における「泡立ちの激しさ」の実験結果を示す図である。グラフは、２人の評価者によるサンプルごとの「泡立ちの激しさ」の評価結果を示す。
　グラフは、１人目（「ｎ＝１」という。）の評価者による評価結果を実線で示す。また、グラフは、２人目（「ｎ＝２」という。）の評価者による評価結果を一点鎖線で示す。そして、グラフは、２人の評価者の評価結果の平均を点線で示す。
　横軸は、サンプルの種類を示す。一方で、縦軸は、評価結果を示す。なお、評価結果は、「１」乃至「５」の点数で示す。点数の値が大きいほど、「泡立ちの激しさ」が激しい状態を示す。以下、同様の形式で説明する。
　グラフにおいて、評価者ごとのグラフが類似する波形であると、評価者によるばらつきが少ない評価項目といえる。
　「サンプルＡ」は、評価値の平均値が「４．２５」となった。
　「サンプルＢ」は、評価値の平均値が「３．５」となった。
　「サンプルＣ」は、評価値の平均値が「４．７５」となった。
　「サンプルＤ」は、評価値の平均値が「４．２５」となった。
　「サンプルＥ」は、評価値の平均値が「４．７５」となった。
　「サンプルＦ」は、評価値の平均値が「１．７５」となった。
　図７は、第１期間における「泡立ちの激しさ」と酸価の相関関係を示す図である。図には、図６に示す実験結果で評価した結果（以下、代表値として平均値を用いる。）を点でプロットした図である。
　横軸は、代表値の値を示す。一方で、縦軸は、酸価（ＡＶ）を示す。
　グラフは、単回帰分析の結果を示す。なお、相関関係は、「Ｒ」の相関係数で示す。したがって、「Ｒ」が「１」に近いほど、２つの変数は相関が強い。
　本実験では、「Ｒ＝０．０９４」となった。
　図８は、第１期間における「泡の数」の実験結果を示す図である。図６と比較すると、図８に示す実験は、評価項目が異なる。以下、図６と同様の点は説明を省略する。
　「サンプルＡ」は、評価値の平均値が「４．２５」となった。
　「サンプルＢ」は、評価値の平均値が「３．７５」となった。
　「サンプルＣ」は、評価値の平均値が「４．５」となった。
　「サンプルＤ」は、評価値の平均値が「４」となった。
　「サンプルＥ」は、評価値の平均値が「３．５」となった。
　「サンプルＦ」は、評価値の平均値が「２．２５」となった。
　図９は、第１期間における「泡の数」と酸価の相関関係を示す図である。図７と比較すると、図９に示す実験は、評価項目が異なる。以下、図７と同様の点は説明を省略する。
　本実験では、「Ｒ＝０．４８」となった。
　図１０は、第１期間における「泡のサイズ」の実験結果を示す図である。図６と比較すると、図１０に示す実験は、評価項目が異なる。以下、図６と同様の点は説明を省略する。
　「サンプルＡ」は、評価値の平均値が「３．５」となった。
　「サンプルＢ」は、評価値の平均値が「３．５」となった。
　「サンプルＣ」は、評価値の平均値が「３．５」となった。
　「サンプルＤ」は、評価値の平均値が「４」となった。
　「サンプルＥ」は、評価値の平均値が「３．２５」となった。
　「サンプルＦ」は、評価値の平均値が「２．５」となった。
　図１１は、第１期間における「泡のサイズ」と酸価の相関関係を示す図である。図７と比較すると、図１１に示す実験は、評価項目が異なる。以下、図７と同様の点は説明を省略する。
　本実験では、「Ｒ＝０．３８」となった。
　図１２は、第１期間における「泡が消えるスピード」の実験結果を示す図である。図６と比較すると、図１２に示す実験は、評価項目が異なる。以下、図６と同様の点は説明を省略する。
　「サンプルＡ」は、評価値の平均値が「４．２５」となった。
　「サンプルＢ」は、評価値の平均値が「５」となった。
　「サンプルＣ」は、評価値の平均値が「４．７５」となった。
　「サンプルＤ」は、評価値の平均値が「４．７５」となった。
　「サンプルＥ」は、評価値の平均値が「４．２５」となった。
　「サンプルＦ」は、評価値の平均値が「２．２５」となった。
　図１３は、第１期間における「泡が消えるスピード」と酸価の相関関係を示す図である。図７と比較すると、図１３に示す実験は、評価項目が異なる。以下、図７と同様の点は説明を省略する。
　本実験では、「Ｒ＝０．３３」となった。
　図１４は、第２期間における「泡立ちの激しさ」の実験結果を示す図である。図６と比較すると、図１４に示す実験は、期間が異なる。以下、図６と同様の点は説明を省略する。
　「サンプルＡ」は、評価値の平均値が「２．７５」となった。
　「サンプルＢ」は、評価値の平均値が「１．７５」となった。
　「サンプルＣ」は、評価値の平均値が「３．７５」となった。
　「サンプルＤ」は、評価値の平均値が「３．５」となった。
　「サンプルＥ」は、評価値の平均値が「３．２５」となった。
　「サンプルＦ」は、評価値の平均値が「３」となった。
　図１５は、第２期間における「泡立ちの激しさ」と酸価の相関関係を示す図である。図７と比較すると、図１５に示す実験は、期間が異なる。以下、図７と同様の点は説明を省略する。
　本実験では、「Ｒ＝０．４８」となった。
　図１６は、第２期間における「泡の数」の実験結果を示す図である。図１４と比較すると、図１６に示す実験は、評価項目が異なる。以下、図１４と同様の点は説明を省略する。
　「サンプルＡ」は、評価値の平均値が「３」となった。
　「サンプルＢ」は、評価値の平均値が「２．２５」となった。
　「サンプルＣ」は、評価値の平均値が「３．７５」となった。
　「サンプルＤ」は、評価値の平均値が「４」となった。
　「サンプルＥ」は、評価値の平均値が「２．７５」となった。
　「サンプルＦ」は、評価値の平均値が「３．２５」となった。
　図１７は、第２期間における「泡の数」と酸価の相関関係を示す図である。図１５と比較すると、図１７に示す実験は、評価項目が異なる。以下、図１５と同様の点は説明を省略する。
　本実験では、「Ｒ＝０．１８」となった。
　図１８は、第２期間における「泡のサイズ」の実験結果を示す図である。図１４と比較すると、図１８に示す実験は、評価項目が異なる。以下、図１４と同様の点は説明を省略する。
　「サンプルＡ」は、評価値の平均値が「３」となった。
　「サンプルＢ」は、評価値の平均値が「３．５」となった。
　「サンプルＣ」は、評価値の平均値が「３．５」となった。
　「サンプルＤ」は、評価値の平均値が「３．５」となった。
　「サンプルＥ」は、評価値の平均値が「３．５」となった。
　「サンプルＦ」は、評価値の平均値が「２．７５」となった。
　図１９は、第２期間における「泡のサイズ」と酸価の相関関係を示す図である。図１５と比較すると、図１９に示す実験は、評価項目が異なる。以下、図１５と同様の点は説明を省略する。
　本実験では、「Ｒ＝０．１８」となった。
　図２０は、第２期間における「泡が消えるスピード」の実験結果を示す図である。図１４と比較すると、図２０に示す実験は、評価項目が異なる。以下、図１４と同様の点は説明を省略する。
　「サンプルＡ」は、評価値の平均値が「３．２５」となった。
　「サンプルＢ」は、評価値の平均値が「２．２５」となった。
　「サンプルＣ」は、評価値の平均値が「４．５」となった。
　「サンプルＤ」は、評価値の平均値が「４．５」となった。
　「サンプルＥ」は、評価値の平均値が「３．２５」となった。
　「サンプルＦ」は、評価値の平均値が「３．２５」となった。
　図２１は、第２期間における「泡が消えるスピード」と酸価の相関関係を示す図である。図１５と比較すると、図２１に示す実験は、評価項目が異なる。以下、図１５と同様の点は説明を省略する。
　本実験では、「Ｒ＝０．２４」となった。
　図２２は、第３期間における「泡立ちの激しさ」の実験結果を示す図である。図６と比較すると、図２２に示す実験は、期間が異なる。以下、図６と同様の点は説明を省略する。
　「サンプルＡ」は、評価値の平均値が「２．２５」となった。
　「サンプルＢ」は、評価値の平均値が「１．７５」となった。
　「サンプルＣ」は、評価値の平均値が「３．７５」となった。
　「サンプルＤ」は、評価値の平均値が「３．５」となった。
　「サンプルＥ」は、評価値の平均値が「３．７５」となった。
　「サンプルＦ」は、評価値の平均値が「４」となった。
　図２３は、第３期間における「泡立ちの激しさ」と酸価の相関関係を示す図である。図７と比較すると、図２３に示す実験は、期間が異なる。以下、図７と同様の点は説明を省略する。
　本実験では、「Ｒ＝０．８１」となった。
　図２４は、第３期間における「泡の数」の実験結果を示す図である。図２２と比較すると、図２４に示す実験は、評価項目が異なる。以下、図２２と同様の点は説明を省略する。
　「サンプルＡ」は、評価値の平均値が「２．２５」となった。
　「サンプルＢ」は、評価値の平均値が「２．２５」となった。
　「サンプルＣ」は、評価値の平均値が「３．２５」となった。
　「サンプルＤ」は、評価値の平均値が「４」となった。
　「サンプルＥ」は、評価値の平均値が「３．５」となった。
　「サンプルＦ」は、評価値の平均値が「３．５」となった。
　図２５は、第３期間における「泡の数」と酸価の相関関係を示す図である。図２３と比較すると、図２５に示す実験は、評価項目が異なる。以下、図２３と同様の点は説明を省略する。
　本実験では、「Ｒ＝０．７７」となった。
　図２６は、第３期間における「泡のサイズ」の実験結果を示す図である。図２２と比較すると、図２６に示す実験は、評価項目が異なる。以下、図２２と同様の点は説明を省略する。
　「サンプルＡ」は、評価値の平均値が「３．７５」となった。
　「サンプルＢ」は、評価値の平均値が「３．７５」となった。
　「サンプルＣ」は、評価値の平均値が「２．７５」となった。
　「サンプルＤ」は、評価値の平均値が「３」となった。
　「サンプルＥ」は、評価値の平均値が「２．７５」となった。
　「サンプルＦ」は、評価値の平均値が「２．７５」となった。
　図２７は、第３期間における「泡のサイズ」と酸価の相関関係を示す図である。図２３と比較すると、図２７に示す実験は、評価項目が異なる。以下、図２３と同様の点は説明を省略する。
　本実験では、「Ｒ＝０．８９」となった。
　図２８は、第３期間における「泡が消えるスピード」の実験結果を示す図である。図２２と比較すると、図２８に示す実験は、評価項目が異なる。以下、図２２と同様の点は説明を省略する。
　「サンプルＡ」は、評価値の平均値が「２．２５」となった。
　「サンプルＢ」は、評価値の平均値が「２．２５」となった。
　「サンプルＣ」は、評価値の平均値が「３．７５」となった。
　「サンプルＤ」は、評価値の平均値が「４」となった。
　「サンプルＥ」は、評価値の平均値が「４」となった。
　「サンプルＦ」は、評価値の平均値が「３．７５」となった。
　図２９は、第３期間における「泡が消えるスピード」と酸価の相関関係を示す図である。図２３と比較すると、図２９に示す実験は、評価項目が異なる。以下、図２３と同様の点は説明を省略する。
　本実験では、「Ｒ＝０．８６」となった。
　図３０は、第４期間における「泡立ちの激しさ」の実験結果を示す図である。図６と比較すると、図３０に示す実験は、期間が異なる。以下、図６と同様の点は説明を省略する。
　「サンプルＡ」は、評価値の平均値が「３．２５」となった。
　「サンプルＢ」は、評価値の平均値が「２．５」となった。
　「サンプルＣ」は、評価値の平均値が「４」となった。
　「サンプルＤ」は、評価値の平均値が「３．５」となった。
　「サンプルＥ」は、評価値の平均値が「２．２５」となった。
　「サンプルＦ」は、評価値の平均値が「２．２５」となった。
　図３１は、第４期間における「泡立ちの激しさ」と酸価の相関関係を示す図である。図７と比較すると、図３１に示す実験は、期間が異なる。以下、図７と同様の点は説明を省略する。
　本実験では、「Ｒ＝０．３３」となった。
　図３２は、第４期間における「泡の数」の実験結果を示す図である。図３０と比較すると、図３２に示す実験は、評価項目が異なる。以下、図３０と同様の点は説明を省略する。
　「サンプルＡ」は、評価値の平均値が「３．２５」となった。
　「サンプルＢ」は、評価値の平均値が「２．２５」となった。
　「サンプルＣ」は、評価値の平均値が「４」となった。
　「サンプルＤ」は、評価値の平均値が「３．２５」となった。
　「サンプルＥ」は、評価値の平均値が「２」となった。
　「サンプルＦ」は、評価値の平均値が「２」となった。
　図３３は、第４期間における「泡の数」と酸価の相関関係を示す図である。図３１と比較すると、図３３に示す実験は、評価項目が異なる。以下、図３１と同様の点は説明を省略する。
　本実験では、「Ｒ＝０．３８」となった。
　図３４は、第４期間における「泡のサイズ」の実験結果を示す図である。図３０と比較すると、図３４に示す実験は、評価項目が異なる。以下、図３０と同様の点は説明を省略する。
　「サンプルＡ」は、評価値の平均値が「３．２５」となった。
　「サンプルＢ」は、評価値の平均値が「３．２５」となった。
　「サンプルＣ」は、評価値の平均値が「２．５」となった。
　「サンプルＤ」は、評価値の平均値が「３．２５」となった。
　「サンプルＥ」は、評価値の平均値が「２．２５」となった。
　「サンプルＦ」は、評価値の平均値が「２．７５」となった。
　図３５は、第４期間における「泡のサイズ」と酸価の相関関係を示す図である。図３１と比較すると、図３５に示す実験は、評価項目が異なる。以下、図３１と同様の点は説明を省略する。
　本実験では、「Ｒ＝０．７９」となった。
　図３６は、第４期間における「泡が消えるスピード」の実験結果を示す図である。図３０と比較すると、図３６に示す実験は、評価項目が異なる。以下、図３０と同様の点は説明を省略する。
　「サンプルＡ」は、評価値の平均値が「２．２５」となった。
　「サンプルＢ」は、評価値の平均値が「３．２５」となった。
　「サンプルＣ」は、評価値の平均値が「４．２５」となった。
　「サンプルＤ」は、評価値の平均値が「３．７５」となった。
　「サンプルＥ」は、評価値の平均値が「３」となった。
　「サンプルＦ」は、評価値の平均値が「３．７５」となった。
　図３７は、第４期間における「泡が消えるスピード」と酸価の相関関係を示す図である。図３１と比較すると、図３７に示す実験は、評価項目が異なる。以下、図３１と同様の点は説明を省略する。
　本実験では、「Ｒ＝０．５６」となった。
　例えば、上記の実験結果における、「泡立ちの激しさ」、「泡の数」、「泡のサイズ」、及び、「泡が消えるスピード」等の評価結果が、揚げ調理に揚げ油Ｙを使用したときに生ずる「揚げ油Ｙの状態」を示すものとなる。
　上記の実験結果のうち、２つの評価結果を示すグラフの波形が似ており、かつ、状態と酸価の相関が強い評価項目は、下記の実験結果といえる。
　・第３期間における「泡立ちの激しさ」
　・第３期間における「泡の数」
　・第３期間における「泡のサイズ」
　・第３期間における「泡が消えるスピード」
　・第４期間における「泡のサイズ」
　以上に基づけば、「泡立ちの激しさ」等の状態は、酸価等の進行度と相関関係が強い項目があるといえる。なお、相関関係の強弱は、「Ｒ」が「０．７」以上である場合を「強い」とする基準で判断した。
　また、「泡立ちの激しさ」等の状態には、評価者が異なっても評価結果を示すグラフの波形が同じようになる、すなわち、評価者が異なっても同じように評価される項目がある。したがって、このような項目を用いると、評価者の主観による影響を少なくし、安定して状態が定量化できる。
　さらに、同じ項目であっても、第３期間等において特定する状態を用いると、より相関関係が強いため、ＡＩは、より精度良く進行度を予測できる。
　したがって、上記の実験結果に基づき、状態と進行度には相関関係があるといえる。特に、「泡立ちの激しさ」、「泡の数」、「泡のサイズ」、及び、「泡が消えるスピード」等で評価される、食用油に所定の時間当たりに発生する気泡の発生率、気泡の個数、気泡の大きさ、及び、気泡の消滅速度等は、進行度と相関関係が強い場合が多い。
　ゆえに、ＡＩは、画像を解析する、又は、状態を示すパラメータが入力されると、状態を把握できる。そして、状態は進行度と相関関係があるため、ＡＩは、状態に応じて進行度が予測できる。したがって、学習装置５は、ＡＩに、画像、状態、進行度、及び、状態と進行度との相関関係等を学習させると、進行度を予測するＡＩを生成できる。
　（機能構成例）
　図３８は、学習装置等の機能構成例を示す図である。例えば、学習装置５は、撮像部５Ｆ１、状態特定部５Ｆ２、及び、学習部５Ｆ３を備える。
　撮像部５Ｆ１は、食用油を撮像した画像を取得する撮像手順を行う。例えば、撮像部５Ｆ１は、ビデオカメラ４２、及び、Ｉ／Ｆ５００Ｅ等で実現する。
　状態特定部５Ｆ２は、画像を解析して、食用油の状態を特定する状態特定手順を行う。例えば、状態特定部５Ｆ２は、ＣＰＵ５００Ａ等で実現する。
　学習部５Ｆ３は、状態と、進行度との相関関係を学習モデル８に学習させる学習手順を行う。例えば、学習部５Ｆ３は、ＣＰＵ５００Ａ等で実現する。
　以上のような構成であると、学習装置５は、学習モデル８を学習させて学習済みモデル９を生成できる。
　学習済みモデル９は、例えば、予測装置６等にネットワーク等を介して配信される。
　予測装置６は、例えば、撮像部６Ｆ１、状態特定部６Ｆ２、及び、予測部６Ｆ３を備える。
　撮像部６Ｆ１は、例えば、撮像部５Ｆ１等と同じ構成である。
　状態特定部６Ｆ２は、例えば、状態特定部５Ｆ２等と同じ構成である。
　予測部６Ｆ３は、学習済みモデル９を用いて進行度を予測する。例えば、予測部６Ｆ３は、ＣＰＵ５００Ａ等で実現する。
　学習システム７は、学習装置５、及び、予測装置６を有する学習システム７等である。すなわち、学習システム７は、学習と予測のどちらも行うシステムである。例えば、学習システム７は、学習済みモデル９が配信された後、学習済みモデル９を更に学習させてもよい。このように、追加して学習が行われると、予測装置６ごとの個別の環境等により適用したＡＩを生成できる。
　図３９は、学習システム７等の使用例を示す図である。
　例えば、店舗Ｓ２（店舗Ｓ２は、居酒屋とする。）は、統括本部Ｈに報知情報を通知する。この場合には、統括本部Ｈは、報知情報を受信した回数、又は、頻度等を分析する。同様に、統括本部Ｈは、店舗Ｓ１（店舗Ｓ１は、天ぷら屋とする。）、及び、店舗Ｓ３（店舗Ｓ３は、とんかつ屋とする。）も分析する。
　このように分析した結果に基づき、統括本部Ｈは、食用油の使用方法が適切か、適宜交換しているか、及び、無駄がないか等を提案、又は、指導する。
　なお、統括本部Ｈは、フライヤー２が設置された工場等も管理してよい。また、統括本部Ｈは、店舗、又は、工場内に存在し、施設内のフライヤー２等を管理してもよい。
　報知情報は、例えば、食用油の製造業者Ｐ、及び、販売業者Ｑ等に通知される。そして、製造業者Ｐは、報知情報に基づき、製造計画、又は、販売計画を立案する。
　また、販売業者Ｑは、報知情報に基づき、食用油を発注、及び、製造業者Ｐから食用油を仕入れる等を行う。そして、販売業者Ｑは、店舗Ｓ１乃至店舗Ｓ３等へ食用油等を配送する。
　さらに、報知情報は、回収業者Ｚ（なお、回収業者Ｚ、及び、製造業者Ｐは同一の業者等でもよい。）に通知される。そして、報知情報を受けると、回収業者Ｚは、廃油Ｗを回収する。具体的には、回収業者Ｚは、所定回数の報知情報を受信すると、店舗Ｓ２を訪問してフライヤー２の油槽２１から廃油Ｗを回収する。
　さらに、報知情報は、清掃作業業者等にも通知されてよい。そして、報知情報を受けると、清掃作業業者は、店舗Ｓ２を訪問して、フライヤー２の油槽２１の内部、又は、その付近等を清掃する。
　例えば、以上のように報知情報を用いると、店舗Ｓ１乃至店舗Ｓ３において、供給から廃油、清掃までが迅速にできる。また、食用油の交換等を自動化すると、ユーザ（例えば、店員等である）の負担がより軽減できる。具体的には、進行度が閾値を超えた等の報知情報が出力されると、使用中の食用油は、新しい食用油等に交換される。
　（ネットワーク構造例）
　図４０は、ネットワーク構造例を示す図である。例えば、学習モデル８、及び、学習済みモデル９によるＡＩは、以下のようなネットワーク構造で画像データ等を処理する。
　例えば、ＡＩは、入力層Ｌ１、隠れ層Ｌ２、及び、出力層Ｌ３を有するネットワーク構造を有してもよい。
　具体的には、ＡＩは、図示するようなＣｏｎｖｏｌｕｔｉｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ（畳み込みニューラルネットワーク、ＣＮＮ）等を有するネットワーク構造である。
　入力層Ｌ１は、画像を入力する層である。
　隠れ層Ｌ２は、入力層Ｌ１で入力する画像に対して、畳み込み、プーリング、正規化、又は、これらの組み合わせ等の処理を行う層である。
　出力層Ｌ３は、隠れ層Ｌ２で処理された結果を出力する層である。例えば、出力層Ｌ３は、全結合層等で構成される。
　畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）は、例えば、フィルタ、マスク、又は、カーネル（以下単に「フィルタ」という。）等に基づいて、画像、又は、画像に対して所定の処理を行って生成される特徴マップ等に対して、フィルタ処理を行って、特徴マップを生成する処理である。
　具体的には、フィルタは、フィルタ係数（「重み」又は「パラメータ」等という場合もある。）を画像又は特徴マップの画素値に乗じる計算をするのに用いるデータである。なお、フィルタ係数は、学習又は設定等により定まる値である。
　そして、畳み込みの処理は、画像又は特徴マップを構成する画素のそれぞれの画素値に、フィルタ係数を乗じる計算を行い、計算結果を構成要素とする特徴マップを生成する処理である。
　このように、畳み込みの処理が行われると、画像又は特徴マップの特徴が抽出できる。特徴は、例えば、エッジ成分、又は、対象とする画素の周辺を統計処理した結果等である。
　また、畳み込みの処理が行われると、対象とする画像又は特徴マップが示す被写体等が、上下にずれる、左右にずれる、斜めにずれる、回転、又は、これらの組み合わせとなる画像又は特徴マップであっても同様の特徴が抽出できる。
　プーリング（Ｐｏｏｌｉｎｇ）は、対象とする範囲に対して、平均の計算、最小値の抽出、又は、最大値の抽出等の処理を行って、特徴を抽出して特徴マップを生成する処理である。すなわち、プーリングは、ｍａｘプーリング、又は、ａｖｇプーリング等である。
　なお、畳み込み、及び、プーリングは、ゼロパディング（Ｚｅｒｏ　Ｐａｄｄｉｎｇ）等の前処理があってもよい。
　以上のような、畳み込み、プーリング、又は、これらの組み合わせによって、いわゆるデータ量削減効果、合成性、又は、移動不変性等が獲得できる。
　正規化（Ｎｏｒｍａｌｉｚａｔｉｏｎ）は、例えば、分散及び平均値を揃える処理等である。なお、正規化は、局所的に行う場合を含む。そして、正規化が行われるとは、データは、所定の範囲内の値等になる。ゆえに、以降の処理においてデータの扱いが容易にできる。
　全結合（Ｆｕｌｌｙ　ｃｏｎｎｅｃｔｅｄ）は、特徴マップ等のデータを出力に落とし込む処理である。
　例えば、出力は、「ＹＥＳ」又は「ＮＯ」等のように、出力が２値の形式である。このような出力形式では、全結合は、２種類のうち、いずれかの結論となるように、隠れ層Ｌ２で抽出される特徴に基づいてノードを結合する処理である。
　一方で、出力が３種類以上ある場合等には、全結合は、いわゆるソフトマックス関数等を行う処理である。このようにして、全結合により、最尤推定法等によって分類（確率を示す出力を行う場合を含む。）を行うことができる。
　＜より食用油を使用する実験結果＞
　上記の通り、予測装置６は、状態と、進行度との相関関係を学習した学習モデルを用いると、状態に基づき、進行度を予測できる。
　以下、予測装置６による予測が成立するかを確認するため、予測を行った時点から更に食用油を使用して、進行度がどのようになるかを調査した実験結果を示す。まず、この実験は、以下のような揚げ物を用いた。
　図４１は、実験対象とする揚げ物を示す図である。図は、図２３と同様の図である。以下、図示する実験結果となったサンプルのうち、第１サンプル１１と、第２サンプル１２とを実験対象にした実験結果を説明する。
　図２３に示す実験結果の通り、第１サンプル１１は、第２サンプル１２と比較して、「泡立ちの激しさ」が低い評価の揚げ物である。すなわち、第１サンプル１１は、食用油を用いて調理すると、泡立ちが比較的穏やかになる揚げ物である。
　そして、図２３に示す実験結果による相関関係に基づくと、「泡立ちの激しさ」等の状態は、評価値が低いほど、酸価が高くなる関係にあるため、進行度が上昇しやすい。
　ゆえに、予測装置６は、このような相関関係の学習により、第１サンプル１１の方が第２サンプル１２より進行度が高くなりやすい等と予測する。このような予測結果が正しいかを検証するため、以下のような実験を行った。
　図４２は、１０時間後の酸価を計測した実験結果を示す図である。図示する実験結果は、第１サンプル１１、及び、第２サンプル１２を１０時間揚げ続けた実験結果を示す。実験では、第１サンプル１１、及び、第２サンプル１２を合計で１６０個調理した。
　第１サンプル１１を１０時間調理し続けると、酸価は、「０．９０」となった。
　第２サンプル１２を１０時間調理し続けると、酸価は、「０．２６」となった。
　なお、１０時間の揚げ調理によって、具体的には、進行度は、以下のように変化した。
　図４３は、色による実験結果を示す図である。図では、横軸は、揚げ調理を行った揚げ物の個数を示す。一方で、縦軸は、色を計測した計測結果を示す。色は、黄色成分値＋１０×赤色成分値で計算する値等である。すなわち、色の値が高くなるほど、進行度が高くなっており、食用油に劣化等が起きていることを示す。
　図４４は、酸価による実験結果を示す図である。なお、横軸は、図４３と同様である。一方で、縦軸は、酸価を計測した計測結果を示す。すなわち、酸価が高くなるほど、進行度が高くなっており、食用油に劣化等が起きていることを示す。
　図４３、及び、図４４が示すように、どちらの実験でも、第１サンプル１１の方が、第２サンプル１２より、進行度は、高くなった。
　このように、相関関係を学習し、かつ、比較的食用油が新しい場合における状態を把握すると、予測装置６は、相関関係により、１０時間後にどの程度の進行度となるか等を予測できる。
　（変形例）
　なお、予測等において、例えば、賞味期限、揚げ物の重量、温度、湿度、大きさ、揚げ調理における揚げ物の配置、厚み、衣の率、食品に使用されている原材料、水分含量、又は、これらの組み合わせ等が考慮されてもよい。
　予測結果は、進行度の傾向、又は、食用油の交換時期であるか否か、食用油の交換時期を予測した結果等の形式でもよい。
　例えば、予測結果は、モニタ４１に、「現在の進行度は〇〇％です。」等と表示される。すなわち、モニタ４１は、交換時期を「１００％」とした現在の時期を百分率形式で示す。一方で、交換時期に達した進行度の予測結果の場合には、モニタ４１には、例えば「揚げ油を交換して下さい。」等と予測結果が表示されてもよい。
　次に揚げる揚げ物Ｘの種類、及び、種類別の個数が入力又は推定された場合には、モニタ４１には、例えば「残りの揚げ個数は〇個です。」、「次回揚げ調理可能なのは、〇〇が〇個、又は、●●が●個です。」、又は、「今差し油すると、あと〇日使用できます」等が表示される。すなわち、モニタ４１は、交換時期に達するまでに調理可能な内容を揚げ物の種類、及び、個数等の形式で予測結果を表示してもよい。
　画像を解析して、「気泡の数」、「気泡の大きさ」、「特定の大きさの気泡が存在する領域の面積が全体面積に占める割合に相当する面積率」、「特定の気泡が生じてから消滅するまでの時間（消滅速度）」、又は、これらの組み合わせ等が算出されてもよい。
　また、これらの算出結果、画像、又は、これらを総合して、「酸価」、「色調」、「粘度上昇率」、「気泡の流れ度合い」、「揚げ調理対象物の画像内における輪郭の見えやすさ」、揚げ油の種類、揚げ物の種類、揚げ物の数量又は、これらの組み合わせ等が特定されてもよい。
　（新油、及び、初期泡について）
　状態は、新しい食用油（以下「新油」という。）で揚げ調理した際に発生する泡（以下「初期泡」という。）等に基づいて特定されるのが望ましい。
　新油とは、酸価が低い食用油等である。具体的には、新油は、酸価が０．２未満の食用油等である。すなわち、新油は、全く未使用の食用油、又は、使用回数が少ない食用油等である。
　酸価は、数十時間程度以下の加熱であれば、０．２以上でない場合が多い。したがって、本明細書において、食用油が「新油」に該当するか否かは、主に、酸価によって特定される。
　初期泡は、新油において発生する泡である。例えば、初期泡は、新油を用いた揚げ調理の回数が１０回未満の場合等に発生する泡であることが多い。
　なお、新油の基準となる酸価は、酸価の初期値、又は、食用油の種類等に応じて、「０．２」以外であってもよい。また、初期泡の基準となる揚げ調理の所定回数は、揚げ物の種類等に応じて、「１０回」以外であってもよい。
　さらに、新油は、酸価以外を基準に評価されてもよい。例えば、新油は、使用回数、又は、使用時間等に基づいて、新油であるか否かを評価されてもよい。また、新油は、複数の項目で評価されてもよい。
　以上のように、食用油の状態は、初期泡に基づいて特定されるのが望ましい。このように初期泡を用いて食用油の状態を把握できるようにすると、ＡＩは、使用中の食用油の劣化の進行度等を精度良く予測できる。
　（その他の実施形態）
　実施形態は、上記の実施形態を組み合わせたものでもよい。
　実施形態では、ドロップアウト等といった過学習（「過剰適合」又は「過適合」等ともいう。）（ｏｖｅｒｆｉｔｔｉｎｇ）を軽減化させる処理が行われてもよい。ほかにも、次元削減、及び、正規化等の処理が行われてもよい。
　学習モデル、及び、学習済みモデルは、ＣＮＮのネットワーク構造に限られない。例えば、ネットワーク構造は、ＲＮＮ（再帰型ニューラルネットワーク、Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）又はＬＳＴＭ（Ｌｏｎｇ　Ｓｈｏｒｔ－Ｔｅｒｍ　Ｍｅｍｏｒｙ）等の構成を有してもよい。
　また、学習モデル、及び、学習済みモデルは、ハイパパラメータを有する構成であってもよい。すなわち、学習モデル、及び、学習済みモデルは、一部の設定をユーザが行う構成でもよい。
　また、学習モデル、及び、学習済みモデルは、他の機械学習を利用してもよい。例えば、学習モデル、及び、学習済みモデルは、教師なしのモデルにより、正規化等を前処理で行ってもよい。
　本発明は、上記に例示する学習方法、又は、上記に示す処理と等価な処理を実行するプログラム（ファームウェア、及び、プログラムに準ずるものを含む。以下単に「プログラム」という。）で実現されてもよい。
　すなわち、本発明は、コンピュータに対して指令を行って所定の結果が得られるように、プログラミング言語等で記載されたプログラム等で実現されてもよい。なお、プログラムは、処理の一部をＩｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ（集積回路、ＩＣ）等のハードウェア又はＧＰＵ等の演算装置等で実行する構成であってもよい。
　プログラムは、コンピュータが有する演算装置、制御装置、及び、記憶装置等を協働させて上記に示す処理等をコンピュータに実行させる。すなわち、プログラムは、主記憶装置等にロードされて、演算装置に命令を発して演算を行わせてコンピュータを動作させる。
　また、プログラムは、コンピュータが読み込み可能な記録媒体、又は、ネットワーク等の電気通信回線を介して提供されてもよい。
　本発明は、複数の装置で構成されるシステムで実現されてもよい。すなわち、複数のコンピュータによる情報処理システムは、上記に示す処理を冗長、並列、分散、又は、これらの組み合わせとなるように実行してもよい。したがって、本発明は、上記に示すハードウェア構成以外の装置、及び、上記に示す装置以外のシステムで実現されてもよい。
　以上、本発明の実施形態について説明した。なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、本実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、本実施形態の構成に他の実施形態の構成を加えることも可能である。またさらに、本実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
１　　　　　　：調理場
２　　　　　　：フライヤー
３　　　　　　：フライバスケット
５　　　　　　：学習装置
５Ｆ１　　　　：撮像部
５Ｆ２　　　　：状態特定部
５Ｆ３　　　　：学習部
６　　　　　　：予測装置
６Ｆ１　　　　：撮像部
６Ｆ２　　　　：状態特定部
６Ｆ３　　　　：予測部
７　　　　　　：学習システム
８　　　　　　：学習モデル
９　　　　　　：学習済みモデル
４１　　　　　：モニタ
４２　　　　　：ビデオカメラ
Ｌ１　　　　　：入力層
Ｌ２　　　　　：隠れ層
Ｌ３　　　　　：出力層
α　　　　　　：気泡
β　　　　　　：気泡
　

Claims (8)

  1. 　食用油を撮像した画像を取得する撮像部と、
    　前記画像を解析して、前記食用油の状態を特定する状態特定部と、
    　前記状態と、前記食用油が劣化する度合いを示す進行度との相関関係を学習モデルに学習させる学習部と、を備える学習装置。
  2. 　請求項１に記載の学習装置であって、
    　前記状態は、
    　前記食用油に所定の時間当たりに発生する気泡の発生率、前記気泡の個数、前記気泡の大きさ、前記気泡の消滅速度、又は、これらの組み合わせである学習装置。
  3. 　請求項１又は２に記載の学習装置であって、
    　前記進行度は、
    　前記食用油の粘度上昇率、前記食用油の酸価、前記食用油の色、前記食用油のアニシジン価、前記食用油の極性化合物量、前記食用油のカルボニル価、前記食用油の発煙点、前記食用油のトコフェロール含量、前記食用油のヨウ素価、前記食用油の屈折率、前記食用油の揮発性成分量、前記食用油の揮発性成分組成、前記食用油の風味、前記食用油で揚げた揚げ物の揮発性成分量、前記揚げ物の揮発性成分組成、前記揚げ物の風味、又は、これらの組み合わせである学習装置。
  4. 　請求項１乃至３のいずれか１項に記載の学習装置であって、
    　前記状態は、
    　酸価が０．２未満の食用油において発生する初期泡に基づいて特定される学習装置。
  5. 　請求項１乃至４のいずれか１項に記載の学習装置が学習させた前記学習モデルである学習済みモデルを用いて、前記進行度を予測する予測部を備える予測装置。
  6. 　学習装置が行う学習方法であって、
    　学習装置が、食用油を撮像した画像を取得する撮像手順と、
    　学習装置が、前記画像を解析して、前記食用油の状態を特定する状態特定手順と、
    　学習装置が、前記状態と、前記食用油が劣化する度合いを示す進行度との相関関係を学習モデルに学習させる学習手順と、を有する学習方法。
  7. 　請求項６に記載の学習方法をコンピュータに実行させるためのプログラム。
  8. 　請求項１乃至４のいずれか１項に記載の学習装置、及び、
    　請求項５に記載の予測装置を有する学習システム。
     
PCT/JP2022/001589 2021-02-01 2022-01-18 学習装置、予測装置、学習方法、プログラム、及び、学習システム WO2022163435A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022578264A JPWO2022163435A1 (ja) 2021-02-01 2022-01-18
CA3208288A CA3208288A1 (en) 2021-02-01 2022-01-18 Learning device, prediction device, learning method, program, and learning system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021014398 2021-02-01
JP2021-014398 2021-02-01

Publications (1)

Publication Number Publication Date
WO2022163435A1 true WO2022163435A1 (ja) 2022-08-04

Family

ID=82653379

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001589 WO2022163435A1 (ja) 2021-02-01 2022-01-18 学習装置、予測装置、学習方法、プログラム、及び、学習システム

Country Status (3)

Country Link
JP (1) JPWO2022163435A1 (ja)
CA (1) CA3208288A1 (ja)
WO (1) WO2022163435A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08182624A (ja) * 1994-12-29 1996-07-16 Nisshin Oil Mills Ltd:The 揚げ油の劣化度を検知する方法
US20100299080A1 (en) * 2009-05-18 2010-11-25 Mtu Friedrichshafen Gmbh Determination of oil deterioration and control and/or regulation of an internal combustion engine
US20160282261A1 (en) * 2015-03-27 2016-09-29 Daniel Pollman Testing of Quality of Cooking Oil
JP2017049030A (ja) * 2015-08-31 2017-03-09 スリーエム イノベイティブ プロパティズ カンパニー 食用油の劣化度を測定する装置、システム、プログラムおよび方法
JP2017138308A (ja) * 2016-01-29 2017-08-10 京セラ株式会社 検知装置及び検知システム
CN111832481A (zh) * 2020-07-13 2020-10-27 武汉轻工大学 食用植物油加工质量检测方法、设备、存储介质及装置
WO2021059742A1 (ja) * 2019-09-27 2021-04-01 株式会社Ｊ－オイルミルズ フライ油処理作業情報報知システム及びフライ油処理作業情報報知方法
WO2021079692A1 (ja) * 2019-10-24 2021-04-29 株式会社Ｊ－オイルミルズ 油脂の劣化予測装置、劣化予測システム、劣化予測方法、油脂交換システム及びフライヤーシステム
WO2021200103A1 (ja) * 2020-03-31 2021-10-07 株式会社Ｊ－オイルミルズ 食用油の劣化度判定装置、食用油の劣化度判定システム、食用油の劣化度判定方法、食用油の劣化度判定プログラム、食用油の劣化度学習装置、食用油の劣化度判定に用いられる学習済モデル、及び食用油の交換システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08182624A (ja) * 1994-12-29 1996-07-16 Nisshin Oil Mills Ltd:The 揚げ油の劣化度を検知する方法
US20100299080A1 (en) * 2009-05-18 2010-11-25 Mtu Friedrichshafen Gmbh Determination of oil deterioration and control and/or regulation of an internal combustion engine
US20160282261A1 (en) * 2015-03-27 2016-09-29 Daniel Pollman Testing of Quality of Cooking Oil
JP2017049030A (ja) * 2015-08-31 2017-03-09 スリーエム イノベイティブ プロパティズ カンパニー 食用油の劣化度を測定する装置、システム、プログラムおよび方法
JP2017138308A (ja) * 2016-01-29 2017-08-10 京セラ株式会社 検知装置及び検知システム
WO2021059742A1 (ja) * 2019-09-27 2021-04-01 株式会社Ｊ－オイルミルズ フライ油処理作業情報報知システム及びフライ油処理作業情報報知方法
WO2021079692A1 (ja) * 2019-10-24 2021-04-29 株式会社Ｊ－オイルミルズ 油脂の劣化予測装置、劣化予測システム、劣化予測方法、油脂交換システム及びフライヤーシステム
WO2021200103A1 (ja) * 2020-03-31 2021-10-07 株式会社Ｊ－オイルミルズ 食用油の劣化度判定装置、食用油の劣化度判定システム、食用油の劣化度判定方法、食用油の劣化度判定プログラム、食用油の劣化度学習装置、食用油の劣化度判定に用いられる学習済モデル、及び食用油の交換システム
CN111832481A (zh) * 2020-07-13 2020-10-27 武汉轻工大学 食用植物油加工质量检测方法、设备、存储介质及装置

Also Published As

Publication number Publication date
CA3208288A1 (en) 2022-08-04
JPWO2022163435A1 (ja) 2022-08-04

Similar Documents

Publication Publication Date Title
US20230140684A1 (en) Edible oil deterioration level determination device, edible oil deterioration level determination system, edible oil deterioration level determination method, edible oil deterioration level determination program, edible oil deterioration level learning device, learned model for use in edible oil deterioration level determination, and edible oil exchange system
CN108665134A (zh) 用于监控食品制备的装置和方法
KR20240027521A (ko) 고기 특성 정보를 획득하는 방법 및 장치
WO2022163435A1 (ja) 学習装置、予測装置、学習方法、プログラム、及び、学習システム
WO2021251139A1 (ja) 揚げ物廃棄時期管理装置、揚げ物廃棄時期管理システム、および揚げ物廃棄時期管理方法
JP7376489B2 (ja) 食品を分類する方法及びシステム
WO2022202410A1 (ja) 判定装置、学習装置、判定システム、判定方法、学習方法、及び、プログラム
JP6829347B1 (ja) フライ油劣化判定装置及びフライ油劣化判定方法
CN111459054A (zh) 食谱推送方法、设备、存储介质和厨房电器
WO2022202409A1 (ja) 判定装置、学習装置、判定システム、判定方法、学習方法、及び、プログラム
WO2023054100A1 (ja) 食用油の劣化度判定装置、食用油の劣化度判定システム、食用油の劣化度判定方法、食用油の劣化度学習装置、および食用油の劣化度判定に用いられる学習済モデル
JP2023054824A (ja) 食品廃棄時期管理装置、食品廃棄時期管理システム、および食品廃棄時期管理方法
WO2022025282A1 (ja) 学習制御システム
WO2021053992A1 (ja) フライ油劣化判定装置及びフライ油劣化判定方法
JP2020038207A (ja) 油脂劣化度測定装置、油脂劣化度測定方法及び油脂劣化度測定プログラム
WO2023106034A1 (ja) 食品販売促進制御装置、食品販売促進システム、および食品販売促進方法
Jiang et al. When Will Breakfast be Ready: Temporal Prediction of Food Readiness Using Deep Convolutional Neural Networks on Thermal Videos
CN106442339A (zh) 熟肉冷藏时间可视化检测方法及装置
JP7118311B2 (ja) リピート購買力の予測装置、リピート購買力の予測方法及びその改善方法
Karagöz Fish freshness detection by digital image processing
TW202133780A (zh) 油脂的劣化預測裝置、劣化預測系統、劣化預測方法、油脂更換系統及油炸器系統
JP2023043378A (ja) 調味料の評価装置、評価方法、及び、評価プログラム
CN111611971A (zh) 一种基于卷积神经网络的行为检测方法及系统
Stier Deep-Fat Frying: Understanding Leads to Optimization
CN117131099A (zh) 产品测评中的情绪数据分析方法、装置及产品测评方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22745658

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 3208288

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2022578264

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22745658

Country of ref document: EP

Kind code of ref document: A1