WO2021110066A1 - 食物成熟度识别方法、装置以及计算机存储介质 - Google Patents

食物成熟度识别方法、装置以及计算机存储介质 Download PDF

Info

Publication number
WO2021110066A1
WO2021110066A1 PCT/CN2020/133452 CN2020133452W WO2021110066A1 WO 2021110066 A1 WO2021110066 A1 WO 2021110066A1 CN 2020133452 W CN2020133452 W CN 2020133452W WO 2021110066 A1 WO2021110066 A1 WO 2021110066A1
Authority
WO
WIPO (PCT)
Prior art keywords
food
detection image
food detection
maturity
image
Prior art date
Application number
PCT/CN2020/133452
Other languages
English (en)
French (fr)
Inventor
刘三军
李育胜
朱林楠
Original Assignee
广东美的白色家电技术创新中心有限公司
美的集团股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 广东美的白色家电技术创新中心有限公司, 美的集团股份有限公司 filed Critical 广东美的白色家电技术创新中心有限公司
Priority to EP20895039.4A priority Critical patent/EP4033401A4/en
Priority to JP2022523214A priority patent/JP7315272B2/ja
Publication of WO2021110066A1 publication Critical patent/WO2021110066A1/zh
Priority to US17/738,761 priority patent/US20220262143A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the present application provides a food maturity identification method, device and computer storage medium to solve the problems of low accuracy of the food maturity identification method and high hardware cost in the prior art.
  • this application proposes a food maturity identification method, the food maturity identification method includes:
  • the fusion food detection image is input into a preset neural network model to obtain the food maturity output by the preset neural network model.
  • the identification method includes:
  • the cropped initial food detection image and the cropped current food detection image are differentially fused to obtain a fused food detection image.
  • the step of cropping the initial food detection image and the current food detection image according to the image size includes:
  • the initial food image in the initial food detection image and the current food image in the current food detection image are extracted according to the location information.
  • the step of cropping the initial food detection image and the current food detection image according to the image size includes:
  • the initial food image in the initial food detection image and the current food image in the current food detection image are extracted according to the location information.
  • the preset semantic segmentation algorithm is Mask-RCNN.
  • the step of performing differential fusion of the initial food detection image and the current food detection image to obtain a fused food detection image includes:
  • the preset neural network model is EfficientNet
  • the preset regression method is Logistics regression.
  • this application proposes a computer storage medium for storing program data, and the program data is used to implement the above-mentioned food maturity recognition method when executed by a processor.
  • this application proposes a cooking device, which includes the above-mentioned food maturity recognition device.
  • the beneficial effects of this application are: the food maturity recognition device acquires the current food detection image; the initial food detection image and the current food detection image are differentially fused to obtain the fused food detection image; the food detection image is fused Input the preset neural network model to obtain the food maturity output of the preset neural network model.
  • the food maturity identification method provided by the present application reduces the influence of the initial food detection image on the food maturity identification by means of image difference fusion, and reduces the cost of the identification device.
  • Fig. 1 is a schematic flow chart of a first embodiment of a method for identifying food maturity provided by the present application
  • FIG. 2 is a schematic flowchart of a second embodiment of the food maturity identification method provided by the present application.
  • FIG. 3 is a schematic flowchart of a third embodiment of the food maturity identification method provided by the present application.
  • FIG. 4 is a schematic flowchart of a fourth embodiment of the food maturity identification method provided by the present application.
  • FIG. 5 is a schematic structural diagram of an embodiment of the food maturity identification device provided by the present application.
  • FIG. 6 is a schematic structural diagram of another embodiment of the food maturity identification device provided by the present application.
  • Fig. 8 is a schematic structural diagram of an embodiment of a cooking device provided by the present application.
  • the food maturity recognition device may be a server, a terminal device, or a system in which the server and the terminal device cooperate with each other.
  • the various parts included in the food maturity recognition device such as each unit, sub-unit, module, and sub-module, can be all set in the server, or all set in the terminal device, and can also be set in the server and the terminal device respectively .
  • the identification device is used as the execution subject in a unified manner.
  • the food maturity identification method of this embodiment specifically includes the following steps:
  • the identification device obtains the initial food detection image through the camera of the smart oven.
  • the process of acquiring the initial food detection image is as follows: the identification device can be electrically connected to the switch module and the camera of the smart oven; when the switch module of the smart oven is turned on, that is, the smart oven starts to work, the identification device learns the intelligence through the switch module The working state of the oven changes, and the camera is controlled to take an image of the inside of the smart oven as the initial food detection image.
  • the identification device may also obtain the initial food detection image from other home appliances, such as refrigerators, microwave ovens, rice cookers, and so on.
  • the initial food detection image in this embodiment includes but is not limited to the raw food detection image, and the food state image when the smart oven starts to work can also be used as the initial food detection image.
  • the identification device can also set a preset time. When learning that the working state of the smart oven has changed, the identification device takes an image of the interior of the smart oven after the preset time as the initial food detection image.
  • the identification device also obtains the current food detection image through the same camera of the smart oven.
  • the current food detection image acquisition process is as follows: the identification device can be electrically connected to the detection module of the smart oven; when the detection module of the smart oven receives the detection instruction, the detection module sends the detection instruction to the identification device, and the identification device controls The camera takes an image of the inside of the smart oven as the current food detection image.
  • the image fusion device is differentially fusing the initial food detection image and the current food detection image, and can also preprocess the initial food detection image and the current food detection image to make the shape, position, image size, and current food detection image of the initial food detection image.
  • the shape, position, and size of the detected image are consistent, which effectively improves the efficiency and accuracy of model learning.
  • the R color channel of the fusion food detection image is the difference between the R color channel of the initial food detection image and the R color channel of the current food detection image
  • the G color channel of the fusion food detection image is the G color channel of the initial food detection image
  • the difference between the G color channel of the current food detection image and the B color channel of the fused food detection image is the difference between the B color channel of the initial food detection image and the B color channel of the current food detection image.
  • the recognition device inputs the fused food detection image into a preset deep neural network model, and after capturing the change characteristics of the food through the deep neural network model, regression is performed according to the change characteristics of the food to obtain the maturity data of the food.
  • the recognition device can segment a single food in the food detection image, and the resolution of the original food image itself can be used as the resolution of the input neural network model to ensure that the specific details of the food can be input into the neural network model to improve the food The accuracy of the maturity recognition method.
  • the recognition device uses a preset semantic segmentation algorithm to obtain the initial food detection image and the location information of the food in the current food detection image, and extracts the initial food image in the initial food detection image and the current food detection image according to the food location information
  • the preset semantic segmentation algorithm used in this embodiment may be Mask-RCNN, or other segmentation algorithms, which will not be repeated here.
  • This application does not limit the method of obtaining food location information.
  • the method can use a preset semantic segmentation algorithm to segment the food image from the food detection image, or use background difference, target detection, etc. to obtain food location information.
  • S203 Perform differential fusion on the cropped initial food detection image and the cropped current food detection image to obtain a fused food detection image.
  • the food maturity recognition device 500 of this embodiment includes an acquisition module 51, a calculation module 52 and a training module 53.
  • the food maturity recognition device 600 of this embodiment includes a processor 61, a memory 62, an input and output device 63 and a bus 64.
  • the processor 61 may also be referred to as a CPU (Central Processing Unit, central processing unit).
  • the processor 61 may be an integrated circuit chip with signal processing capability.
  • the processor 61 may also be a general-purpose processor, a digital signal processor (DSP), an application specific integrated circuit (ASIC), a field programmable gate array (FPGA) or other programmable logic device, a discrete gate or transistor logic device, a discrete hardware component .
  • the general-purpose processor may be a microprocessor or the processor 61 may also be any conventional processor or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • General Preparation And Processing Of Foods (AREA)

Abstract

一种食物成熟度识别方法、装置以及计算机存储介质，该食物成熟度识别方法包括：获取初始食物检测图像(S101)；获取当前食物检测图像(S102)；将初始食物检测图像以及当前食物检测图像进行差分融合，以得到融合食物检测图像(S103)；将融合食物检测图像输入预设神经网络模型，以获得预设神经网络模型输出的食物成熟程度(S104)。通过图像差分融合的方式，减少初始食物检测图像对食物成熟度识别的影响，减少识别装置的成本。

Description

食物成熟度识别方法、装置以及计算机存储介质
本申请要求于2019年12月06日提交的申请号为201911245147.6，发明名称为“食物成熟度识别方法、装置以及计算机存储介质”的中国专利申请的优选权，其通过引用方式全部并入本申请。
【技术领域】
本申请涉及智能烹饪设备技术领域，特别是涉及一种食物成熟度识别方法、装置以及计算机存储介质。
【背景技术】
随着科技发展，智能烹饪设备例如烤箱在普通家庭中越来越普及，大大便利了日常的生活。然而，以烤箱为例，目前市面上的绝大多数烤箱，用户在使用过程中无法随时获悉食物的情况。为了解决这个问题，部分烤箱通过加入探针来实施监测食物的内部温度，但是探针的插入和清洗不但麻烦，而且探测的温度会随着插的位置不同而产生很大的差异，无法确保准确性和一致性。部分烤箱使用高光谱成像技术，根据食物表面的颜色纹理进行食物成熟度的判断，这种产品的问题在于：高光谱图像的获取需要昂贵的设备，单单根据食物表面的颜色纹理进行食材成熟度的判断，很难保证准确度。
【发明内容】
本申请提供一种食物成熟度识别方法、装置以及计算机存储介质，以解决现有技术中食物成熟度识别方法准确度低，硬件成本高的问题。
为解决上述技术问题，本申请提出一种食物成熟度识别方法，所述食物成熟度识别方法包括：
获取初始食物检测图像；
获取当前食物检测图像；
将所述初始食物检测图像以及所述当前食物检测图像进行差分融合，以得到融合食物检测图像；
将所述融合食物检测图像输入预设神经网络模型，以获得所述预设神经网络模型输出的食物成熟程度。
其中，所述获取当前食物检测图像的步骤之后，所述识别方法包括：
获取所述预设神经网络模型设置的图像大小；
根据所述图像大小对所述初始食物检测图像以及所述当前食物检测图像进行裁剪；
将裁剪后的所述初始食物检测图像以及裁剪后的所述当前食物检测图像进行差分融合，以得到融合食物检测图像。
其中，所述根据所述图像大小对所述初始食物检测图像以及所述当前食物检测图像进行裁剪的步骤，包括：
采用预设语义分割算法获取所述初始食物检测图像以及所述当前食物检测图像中食物的位置信息；
根据所述位置信息提取所述初始食物检测图像中的初始食物图像，以及所述当前食物检测图像中的当前食物图像。
其中，所述根据所述图像大小对所述初始食物检测图像以及所述当前食物检测图像进行裁剪的步骤，包括：
采用预设语义分割算法获取所述初始食物检测图像中的位置信息，并将所述初始食物检测图像中的位置信息同时作为所述当前食物检测图像中的位置信息；
根据所述位置信息提取所述初始食物检测图像中的初始食物图像，以及所述当前食物检测图像中的当前食物图像。
其中，所述预设语义分割算法为Mask-RCNN。
其中，所述将所述初始食物检测图像以及所述当前食物检测图像进行差分融合，以得到融合食物检测图像的步骤，包括：
获取所述初始食物检测图像的像素值，以及所述当前食物检测图像的像素值；
将所述初始食物检测图像的像素值和所述当前食物检测图像的像素值求差，得到所述融合食物检测图像的像素值。
其中，所述将所述融合食物检测图像输入预设神经网络模型，以获得所述预设神经网络模型输出的食物成熟程度的步骤，包括：
将所述融合食物检测图像输入所述预设神经网络模型，以获取所述预设神经网络模型输出的食物变化特征；
采用预设回归方法对所述食物变化特征进行计算，以得到食物成熟程度。
其中，所述预设神经网络模型为EfficientNet，所述预设回归方法为Logistics回归。
为解决上述技术问题，本申请提出一种食物成熟度识别装置，所述食物成熟度识别装置包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的食物成熟度识别方法。
为解决上述技术问题，本申请提出一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如上述的食物成熟度识别方法。
为解决上述技术问题，本申请提出一种烹饪设备，所述烹饪设备包括上述的食物成熟度识别装置。
区别于现有技术，本申请的有益效果在于：食物成熟度识别装置获取当前食物检测图像；将初始食物检测图像以及当前食物检测图像进行差分融合，以得到融合食物检测图像；将融合食物检测图像输入预设神经网络模型，以获得预设神经网络模型输出的食物成熟程度。本申请提供的食物成熟度识别方法通过图像差分融合的方式，减少初始食物检测图像对食物成熟度识别的影响，减少识别装置的成本。
【附图说明】
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的食物成熟度识别方法第一实施例的流程示意图；
图2是本申请提供的食物成熟度识别方法第二实施例的流程示意图；
图3是本申请提供的食物成熟度识别方法第三实施例的流程示意图；
图4是本申请提供的食物成熟度识别方法第四实施例的流程示意图；
图5是本申请提供的食物成熟度识别装置一实施例的结构示意图；
图6是本申请提供的食物成熟度识别装置另一实施例的结构示意图；
图7是本申请提供的计算机存储介质一实施例的结构示意图；
图8是本申请提供的烹饪设备一实施例的结构示意图。
【具体实施方式】
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中食物成熟度识别方法准确度低，硬件成本高的问题，本申请提出了一种食物成熟度识别方法。具体请参阅图1，图1是本申请提供的食物成熟度识别方法第一实施例的流程示意图，本申请的食物成熟度识别方法应用于一种食物成熟度识别装置。
其中，食物成熟度识别装置可以为服务器，也可以为终端设备，还可以由服务器和终端设备相互配合的系统。相应地，食物成熟度识别装置包括的各个 部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。
需要说明的是，在本申请的食物成熟度识别方法描述中，统一以识别装置作为执行主体。
如图1所示，本实施例的食物成熟度识别方法具体包括以下步骤：
S101：获取初始食物检测图像。
其中，识别装置通过智能烤箱的摄像头获取初始食物检测图像。初始食物检测图像的获取过程具体如下：识别装置可以分别与智能烤箱的开关模组和摄像头电连接；当智能烤箱的开关模组打开，即智能烤箱开始工作时，识别装置通过开关模组获悉智能烤箱的工作状态发生改变，控制摄像头拍摄智能烤箱内部的图像，作为初始食物检测图像。在其他实施例中，识别装置也可以通过其他家电设备处获取初始食物检测图像，例如冰箱、微波炉、电饭煲等。
本实施例的初始食物检测图像包括但不限于生食物的检测图像，还可以将智能烤箱开始工作时，食物状态图像作为初始食物检测图像。在其他实施例中，识别装置还可以设置一预设时间，在获悉智能烤箱的工作状态发生改变时，识别装置在预设时间后拍摄智能烤箱内部的图像，作为初始食物检测图像。
S102：获取当前食物检测图像。
其中，识别装置同样通过智能烤箱的同一摄像头获取当前食物检测图像。当前食物检测图像的获取过程具体如下：识别装置可以与智能烤箱的检测模组电连接；当智能烤箱的检测模组接收到检测指令时，检测模组将检测指令发送给识别装置，识别装置控制摄像头拍摄智能烤箱内部的图像，作为当前食物检 测图像。
S103：将初始食物检测图像以及当前食物检测图像进行差分融合，以得到融合食物检测图像。
图像融合装置在将初始食物检测图像以及当前食物检测图像进行差分融合，还可以对初始食物检测图像以及当前食物检测图像进行预处理，以使初始食物检测图像的形状、位置、图像大小以及当前食物检测图像的形状、位置、图像大小一致，有效提高模型学习的效率和准确性。
其中，由于识别装置需要减少初始食物检测图像的影响，识别装置通过对不同烘烤时刻的食物与原始生食物进行差分融合，让后续的神经网络模型捕捉的是食物前后的变化，减少了食物本身因为制作方法不同，食物本身颜色深浅不一的影响。
具体地，识别装置将初始食物检测图像以及当前食物检测图像进行差分融合，以得到融合食物检测图像。识别装置获取初始食物检测图像的像素值以及当前食物检测图像的像素值，并将初始食物检测图像的像素值和当前食物检测图像的像素值进行求差，得到融合食物检测图像的像素值。
其中，识别装置在获取初始食物检测图像的像素值以及当前食物检测图像的像素值时，可以先判断初始食物检测图像的像素值以及当前食物检测图像的像素值的格式是否一致，若不一致，则根据预设的图像格式进行转化，其中，预设的图像格式可以为RGB颜色格式。
在本实施例中，初始食物检测图像的像素值可以为初始图像检测图像的RGB颜色通道，当前食物检测图像的像素值可以为当前食物检测图像的RGB颜色通道。识别装置将初始图像检测图像的RGB颜色通道减去当前食物检测图像的RGB颜色通道，获得差分融合后的融合食物检测图像的RGB颜色通道，即融合食物检测图像的像素值。具体地，融合食物检测图像的R颜色通道为初始食物检测图像的R颜色通道与当前食物检测图像的R颜色通道的差值，融合食物检测图像的G颜色通道为初始食物检测图像的G颜色通道与当前食物检测图 像的G颜色通道的差值，融合食物检测图像的B颜色通道为初始食物检测图像的B颜色通道与当前食物检测图像的B颜色通道的差值。
在其他实施例中，识别装置也可以采用其他种类的颜色数据进行差分融合，在此不再赘述。
S104：将融合食物检测图像输入预设神经网络模型，以获得预设神经网络模型输出的食物成熟程度。
其中，识别装置将融合食物检测图像输入预设的深度神经网络模型中，通过深度神经网络模型捕捉到食物的变化特征后，根据食物的变化特征进行回归，得到食物的成熟程度数据。
进一步地。本申请的食物成熟度识别方法在进行食物成熟度模型学习的时候，选择不同时刻的图像差分融合后，输入到深度神经网络模型中去，而不是单独直接针对不同时刻的烘烤图像进行学习判断，能够很好地提高食物成熟度识别方法的准确度。
具体地，本实施例对初始食物检测图像和当前食物检测图像进行差分融合，大大增强了深度神经网络模型面对不同表征和涂抹不同酱料时的鲁棒性，原因如下：
从颜色来看，一般食物越熟，颜色会越深，但根据食物所涂酱料制作方法的不同，成熟后食物颜色深浅不一。融合成熟度判断网络的输入不是初始食物检测图像和当前食物检测图像的差分融合，而只是当前食物检测图像，则模型容易学习到颜色深即成熟度高的结论。那么如果放入的食物涂抹了深色酱料时，即使生食物图像也容易被判别为高熟度。而如果把两图差分融合后，模型会更关注不同时刻对应位置食材图直接的颜色纹理变化。
从形状来看，烘烤过程中食物的形变是熟度判定所依赖的非常重要的信息。不少食物在不同熟度下都会发生形变，比如虾会弯曲、糕点会先膨胀再收缩等。如果只是当前食物检测图像输入，则模型无法获知该食物是否发生过形变；而初始食物检测图像和当前食物检测图像差分融合后，模型则会比对初始食物检 测图像和当前食物检测图像食物形状，推断形状变化，更有利于食材熟度的判断。
在本实施例中，识别装置获取初始食物检测图像；获取当前食物检测图像；将初始食物检测图像以及当前食物检测图像进行差分融合，以得到融合食物检测图像；将融合食物检测图像输入预设神经网络模型，以获得预设神经网络模型输出的食物成熟程度。本申请提供的食物成熟度识别方法通过图像差分融合的方式，减少初始食物检测图像对食物成熟度识别的影响，减少识别装置的成本。
对于图1所示实施例中的S102之后，本申请进一步提出了另一种具体的食物成熟度识别方法。请继续参阅图2，图2是本申请提供的食物成熟度识别方法第二实施例的流程示意图。
如图2所示，本实施例的食物成熟度识别方法具体包括以下步骤：
S201：获取预设神经网络模型设置的图像大小。
其中，识别装置获取的食物检测图像中存在大量与食物无关的信息，比如装载食物的容器等；进一步地，在食物制作过程中会有一些多余的酱料，或者烹饪过程中食物就流汁等，若识别装置将整张食物检测图像作为神经网络模型的输入，会使得大量的冗余信息干扰模型的学习以及特征的提取。因此，识别装置可以获取预设神经网络模型设置的图像大小，作为对后续食物检测图像处理的条件。
S202：根据图像大小对初始食物检测图像以及当前食物检测图像进行裁剪。
其中，由于在不改变神经网络模型大小的前提下，若预设神经网络模型设置的图像大小小于智能烤箱的摄像头拍摄的食物检测图像的大小时，识别装置如果要输入整张初始食物检测图像和/或当前食物检测图像，则需要整体缩小食物检测图像的尺寸，从而降低了图像的分辨率。食物检测图像中关于食物的细节对于成熟度判断至关重要，因此，本实施例的识别装置需要根据预设神经网络模型设置的图像大小对初始食物检测图像以及当前食物检测图像进行裁剪。 例如，识别装置可以将食物检测图像中的单个食物分割出来，则可以以食物原图本身的分辨率作为输入神经网络模型的分辨率，保证了食物的具体细节能够输入神经网络模型中，提高食物成熟度识别方法准确度。
具体地，识别装置采用预设的语义分割算法获取初始食物检测图像以及当前食物检测图像中食物的位置信息，并根据食物的位置信息提取初始食物检测图像中的初始食物图像，以及当前食物检测图像中的当前食物图像。本实施例采用的预设语义分割算法可以为Mask-RCNN，也可以其他分割算法，在此不再赘述。本申请对获取食物的位置信息的方法不作限定，方法可以采用预设的语义分割算法将食物图像从食物检测图像中分割出来，也可以采用背景差分、目标检测等获取食物的位置信息等。
在本实施例中，识别装置可以先提取初始食物检测图像中食物的位置信息，并将该位置信息作为位置模板，然后直接将该位置模板应用于实时的当前食物检测图像，从而提取当前食物检测图像的当前食物图像。通过这种方式，可以有效减低识别装置的处理负荷，提高识别效率。在其他实施例中，识别装置也可以分别单独对初始食物检测图像和当前食物检测图像进行位置信息的提取。
S203：将裁剪后的初始食物检测图像以及裁剪后的当前食物检测图像进行差分融合，以得到融合食物检测图像。
其中，本实施例的步骤S203与图1所示实施例中的步骤103相同，在此不再赘述。
对于图1所示实施例中的S104，本申请进一步提出了另一种具体的食物成熟度识别方法。请继续参阅图3，图3是本申请提供的食物成熟度识别方法第三实施例的流程示意图。
如图3所示，本实施例的食物成熟度识别方法具体包括以下步骤：
S301：将融合食物检测图像输入预设神经网络模型，以获取预设神经网络模型输出的食物变化特征。
其中，识别装置将上述实施例获取的融合食物检测图像输入预设神经网络 模型中，以通过预设神经网络模型对融合食物检测图像的食物特征进行提取。
具体地，识别装置融合食物检测图像分析两个时刻对应位置食物图像直接的颜色纹理变化以及两个时刻对应位置食物形状变化，有利于关于食物成熟程度的判断。
其中，本实施例的预设神经网络模型具体可以为EfficientNet，也可以其他图像特征提取的神经网络模型，在此不再赘述。
S302：采用预设回归方法对食物变化特征进行计算，以得到食物成熟程度。
其中，识别装置采用预设回归方法对S301提取的食物变化特征进行计算，从而得到食物成熟程度。本实施例的食物成熟程度可以体现为食物成熟等级，例如食物成熟等级可以划分为0～19级，共20个等级，食物成熟等级越高，食物越趋向成熟。在其他实施例汇总，食物成熟程度也可以体现为食物成熟数值，例如，食物成熟数值划分为0～100，食物成熟数值越高，食物越趋向成熟。
其中，本实施例采用的回归方法具体可以为Logistics回归，也可以其他回归方法，在此不再赘述。
为了解决现有技术中食物成熟度识别方法准确度低，硬件成本高的问题，本申请提出了另一种具体的食物成熟度识别方法。具体请参阅图4，图4是本申请提供的食物成熟度识别方法第四实施例的流程示意图。
如图4所示，本实施例的食物成熟度识别方法具体包括以下步骤：
S401：获取初始食物检测图像。
S402：获取当前食物检测图像。
S403：获取预设神经网络模型设置的图像大小。
S404：根据图像大小对初始食物检测图像以及当前食物检测图像进行裁剪。
S405：将裁剪后的初始食物检测图像以及裁剪后的当前食物检测图像进行差分融合，以得到融合食物检测图像。
S406：将融合食物检测图像输入预设神经网络模型，以获取预设神经网络模型输出的食物变化特征。
S407：采用预设回归方法对食物变化特征进行计算，以得到食物成熟程度。
为了实现上述的食物成熟度识别方法，本申请还提供了一种食物成熟度识别装置，具体请参阅图5，图5是本申请提供的食物成熟度识别装置一实施例的结构示意图。
如图5所示，本实施例的食物成熟度识别装置500包括获取模块51、计算模块52以及训练模块53。
其中，获取模块51用于获取初始食物检测图像，还用于获取当前食物检测图像。
计算模块52用于将初始食物检测图像以及当前食物检测图像进行差分融合，以得到融合食物检测图像。
训练模块53用于将融合食物检测图像输入预设神经网络模型，以获得预设神经网络模型输出的食物成熟程度。
为了实现上述的食物成熟度识别方法，本申请还提供了另一种食物成熟度识别装置，具体请参阅图6，图6是本申请提供的食物成熟度识别装置另一实施例的结构示意图。
如图6所示，本实施例的食物成熟度识别装置600包括处理器61、存储器62、输入输出设备63以及总线64。
该处理器61、存储器62、输入输出设备63分别与总线64相连，该存储器62中存储有计算机程序，处理器61用于执行计算机程序以实现上述实施例所述的食物成熟度识别方法。
在本实施例中，处理器61还可以称为CPU(Central Processing Unit，中央处理单元)。处理器61可能是一种集成电路芯片，具有信号的处理能力。处理器61还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器61也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，如图7所示，计算机存储介质700用于存储计算机程序71，计算机程序71在被处理器执行时，用以实现如本申请提供的食物成熟度识别方法实施例中所述的方法。
本申请提供的食物成熟度识别方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供一种烹饪设备，如图8所示，烹饪设备800包括上述实施例中的食物成熟度识别装置81。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

  1. 一种食物成熟度识别方法，其特征在于，所述食物成熟度识别方法包括：
    获取初始食物检测图像；
    获取当前食物检测图像；
    将所述初始食物检测图像以及所述当前食物检测图像进行差分融合，以得到融合食物检测图像；
    将所述融合食物检测图像输入预设神经网络模型，以获得所述预设神经网络模型输出的食物成熟程度。
  2. 根据权利要求1所述的食物成熟度识别方法，其特征在于，
    所述获取当前食物检测图像的步骤之后，所述识别方法包括：
    获取所述预设神经网络模型设置的图像大小；
    根据所述图像大小对所述初始食物检测图像以及所述当前食物检测图像进行裁剪；
    将裁剪后的所述初始食物检测图像以及裁剪后的所述当前食物检测图像进行差分融合，以得到融合食物检测图像。
  3. 根据权利要求2所述的食物成熟度识别方法，其特征在于，
    所述根据所述图像大小对所述初始食物检测图像以及所述当前食物检测图像进行裁剪的步骤，包括：
    采用预设语义分割算法获取所述初始食物检测图像以及所述当前食物检测图像中食物的位置信息；
    根据所述位置信息提取所述初始食物检测图像中的初始食物图像，以及所述当前食物检测图像中的当前食物图像。
  4. 根据权利要求3所述的食物成熟度识别方法，其特征在于，
    所述根据所述图像大小对所述初始食物检测图像以及所述当前食物检测图像进行裁剪的步骤，包括：
    采用预设语义分割算法获取所述初始食物检测图像中的位置信息，并将所述初始食物检测图像中的位置信息同时作为所述当前食物检测图像中的位置信息；
    根据所述位置信息提取所述初始食物检测图像中的初始食物图像，以及所述当前食物检测图像中的当前食物图像。
  5. 根据权利要求4所述的食物成熟度识别方法，其特征在于，
    所述预设语义分割算法为Mask-RCNN。
  6. 根据权利要求1所述的食物成熟度识别方法，其特征在于，
    所述将所述初始食物检测图像以及所述当前食物检测图像进行差分融合，以得到融合食物检测图像的步骤，包括：
    获取所述初始食物检测图像的像素值，以及所述当前食物检测图像的像素值；
    将所述初始食物检测图像的像素值和所述当前食物检测图像的像素值求差，得到所述融合食物检测图像的像素值。
  7. 根据权利要求1所述的食物成熟度识别方法，其特征在于，
    所述将所述融合食物检测图像输入预设神经网络模型，以获得所述预设神经网络模型输出的食物成熟程度的步骤，包括：
    将所述融合食物检测图像输入所述预设神经网络模型，以获取所述预设神经网络模型输出的食物变化特征；
    采用预设回归方法对所述食物变化特征进行计算，以得到食物成熟程度。
  8. 根据权利要求7所述的食物成熟度识别方法，其特征在于，
    所述预设神经网络模型为EfficientNet，所述预设回归方法为Logistics回归。
  9. 一种食物成熟度识别装置，其特征在于，所述食物成熟度识别装置包括存储器以及与所述存储器耦接的处理器；
    其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1～8中任一项所述的食物成熟度识别方法。
  10. 一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1～8中任一项所述的食物成熟度识别方法。
  11. 一种烹饪设备，其特征在于，所述烹饪设备包括权利要求9所述的食物成熟度识别装置。
PCT/CN2020/133452 2019-12-06 2020-12-02 食物成熟度识别方法、装置以及计算机存储介质 WO2021110066A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20895039.4A EP4033401A4 (en) 2019-12-06 2020-12-02 METHOD AND DEVICE FOR IDENTIFYING THE MATURITY OF FOOD AND COMPUTER STORAGE MEDIUM
JP2022523214A JP7315272B2 (ja) 2019-12-06 2020-12-02 食物の調理程度に対する認識方法、装置及びコンピュータ記憶媒体
US17/738,761 US20220262143A1 (en) 2019-12-06 2022-05-06 Method of Identifying Level of Doneness of Food, Device, and Computer Storage Medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911245147.6 2019-12-06
CN201911245147.6A CN110956217A (zh) 2019-12-06 2019-12-06 食物成熟度识别方法、装置以及计算机存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/738,761 Continuation US20220262143A1 (en) 2019-12-06 2022-05-06 Method of Identifying Level of Doneness of Food, Device, and Computer Storage Medium

Publications (1)

Publication Number Publication Date
WO2021110066A1 true WO2021110066A1 (zh) 2021-06-10

Family

ID=69980216

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/133452 WO2021110066A1 (zh) 2019-12-06 2020-12-02 食物成熟度识别方法、装置以及计算机存储介质

Country Status (5)

Country Link
US (1) US20220262143A1 (zh)
EP (1) EP4033401A4 (zh)
JP (1) JP7315272B2 (zh)
CN (1) CN110956217A (zh)
WO (1) WO2021110066A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956217A (zh) * 2019-12-06 2020-04-03 广东美的白色家电技术创新中心有限公司 食物成熟度识别方法、装置以及计算机存储介质
KR20220083349A (ko) 2020-12-11 2022-06-20 삼성전자주식회사 식품 모니터링 장치, 이를 포함하는 냉장고, 및 이의 동작 방법
CN113723498A (zh) * 2021-08-26 2021-11-30 广东美的厨房电器制造有限公司 食物熟度识别方法、装置、系统、电器、服务器及介质
CN113793314A (zh) * 2021-09-13 2021-12-14 河南丹圣源农业开发有限公司 一种石榴成熟度鉴别设备及使用方法
CN114120243B (zh) * 2021-12-01 2023-04-07 中国中医科学院中药研究所 一种基于机器视觉的栀子炒焦过程监测方法
CN117542045B (zh) * 2024-01-10 2024-05-10 山东记食信息科技有限公司 一种基于空间引导自注意力的食品识别方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120224055A1 (en) * 2009-11-09 2012-09-06 Maruha Nichiro Seafoods, Inc. Roe maturity determination device and roe maturity determination method
CN107692840A (zh) * 2017-09-06 2018-02-16 珠海格力电器股份有限公司 电器具的显示方法及装置，电器具
CN108916959A (zh) * 2018-08-31 2018-11-30 肖红兵 火候测量装置、烟机、系统、方法和存储介质
CN109631486A (zh) * 2018-12-18 2019-04-16 广东美的白色家电技术创新中心有限公司 一种食物监控方法、冰箱及具有存储功能的装置
CN109998360A (zh) * 2019-04-11 2019-07-12 上海长膳智能科技有限公司 一种用于自动烹饪食物的方法和装置
CN110826574A (zh) * 2019-09-26 2020-02-21 青岛海尔智能技术研发有限公司 食材成熟度确定的方法、装置、厨电设备及服务器
CN110956217A (zh) * 2019-12-06 2020-04-03 广东美的白色家电技术创新中心有限公司 食物成熟度识别方法、装置以及计算机存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03271625A (ja) * 1990-03-20 1991-12-03 Sharp Corp 食品調理制御システム
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
WO2015185211A2 (en) * 2014-06-05 2015-12-10 Ingo Stork Genannt Wersborg Heat treatment monitoring system
US10739013B2 (en) * 2015-05-05 2020-08-11 June Life, Inc. Tailored food preparation with an oven
US11388788B2 (en) * 2015-09-10 2022-07-12 Brava Home, Inc. In-oven camera and computer vision systems and methods
CN107595102B (zh) * 2017-09-28 2020-08-11 珠海格力电器股份有限公司 烹饪器具的控制方法、装置和系统、存储介质、处理器
CN109034169B (zh) * 2018-06-29 2021-02-26 广州雅特智能科技有限公司 智能食物容器识别方法、装置、系统和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120224055A1 (en) * 2009-11-09 2012-09-06 Maruha Nichiro Seafoods, Inc. Roe maturity determination device and roe maturity determination method
CN107692840A (zh) * 2017-09-06 2018-02-16 珠海格力电器股份有限公司 电器具的显示方法及装置，电器具
CN108916959A (zh) * 2018-08-31 2018-11-30 肖红兵 火候测量装置、烟机、系统、方法和存储介质
CN109631486A (zh) * 2018-12-18 2019-04-16 广东美的白色家电技术创新中心有限公司 一种食物监控方法、冰箱及具有存储功能的装置
CN109998360A (zh) * 2019-04-11 2019-07-12 上海长膳智能科技有限公司 一种用于自动烹饪食物的方法和装置
CN110826574A (zh) * 2019-09-26 2020-02-21 青岛海尔智能技术研发有限公司 食材成熟度确定的方法、装置、厨电设备及服务器
CN110956217A (zh) * 2019-12-06 2020-04-03 广东美的白色家电技术创新中心有限公司 食物成熟度识别方法、装置以及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4033401A4

Also Published As

Publication number Publication date
EP4033401A1 (en) 2022-07-27
CN110956217A (zh) 2020-04-03
EP4033401A4 (en) 2022-11-09
JP2022553035A (ja) 2022-12-21
US20220262143A1 (en) 2022-08-18
JP7315272B2 (ja) 2023-07-26

Similar Documents

Publication Publication Date Title
WO2021110066A1 (zh) 食物成熟度识别方法、装置以及计算机存储介质
WO2021004402A1 (zh) 图像识别方法及装置、存储介质和处理器
EP3614333B1 (en) Image processing method, storage medium, and electronic apparatus
WO2018177379A1 (zh) 手势识别、控制及神经网络训练方法、装置及电子设备
US10719937B2 (en) Automated detection and trimming of an ambiguous contour of a document in an image
TWI773526B (zh) 影像處理方法、裝置、電腦設備及儲存媒體
CN108197635B (zh) 烹饪方式的展示方法及装置、抽油烟机
CN110826574A (zh) 食材成熟度确定的方法、装置、厨电设备及服务器
CN110807427A (zh) 一种视线追踪方法、装置、计算机设备和存储介质
CN112347887A (zh) 一种物体检测方法、物体检测装置及电子设备
WO2021068376A1 (zh) 应用于卷积神经网络的卷积处理方法、系统及相关组件
CN112056945A (zh) 一种烹饪设备食物烹饪状态的提醒方法
CN112730251A (zh) 一种用于屏幕颜色缺陷检测的装置及方法
CN111047598A (zh) 基于深度学习的输变电设备紫外放电光斑分割方法及装置
WO2024093800A1 (zh) 影像标定方法及装置、影像处理方法及装置、电子设备及存储介质
CN110930358B (zh) 一种基于自适应算法的太阳能面板图像处理方法
CN110442242B (zh) 一种基于双目空间手势交互的智能镜系统及控制方法
CN109919164B (zh) 用户界面对象的识别方法及装置
CN102971766B (zh) 头部检测方法、头部检测装置、属性判定方法、属性判定装置和属性判定系统
CN112034981A (zh) 显示终端控制方法、显示终端及计算机可读存储介质
CN107766838B (zh) 一种视频场景切换检测方法
JP2008084109A (ja) 目開閉判定装置及び目開閉判定方法
CN113723498A (zh) 食物熟度识别方法、装置、系统、电器、服务器及介质
CN115115526A (zh) 图像处理方法及装置、存储介质和图形计算处理器
RU2775808C2 (ru) Нейронные сетевые системы и компьютерно-реализуемые способы идентификации и/или оценки одного или более пищевых изделий в визуальной входной информации

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20895039

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022523214

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020895039

Country of ref document: EP

Effective date: 20220419

NENP Non-entry into the national phase

Ref country code: DE