WO2019137186A1 - 一种食物识别方法及装置、存储介质、计算机设备 - Google Patents

一种食物识别方法及装置、存储介质、计算机设备 Download PDF

Info

Publication number
WO2019137186A1
WO2019137186A1 PCT/CN2018/122855 CN2018122855W WO2019137186A1 WO 2019137186 A1 WO2019137186 A1 WO 2019137186A1 CN 2018122855 W CN2018122855 W CN 2018122855W WO 2019137186 A1 WO2019137186 A1 WO 2019137186A1
Authority
WO
WIPO (PCT)
Prior art keywords
food
terminal
path
shooting
data
Prior art date
Application number
PCT/CN2018/122855
Other languages
English (en)
French (fr)
Inventor
刁梁
唐天
顾海松
Original Assignee
美的集团股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美的集团股份有限公司 filed Critical 美的集团股份有限公司
Publication of WO2019137186A1 publication Critical patent/WO2019137186A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • the present application relates to identification technologies, and in particular, to a food identification method and apparatus, a storage medium, and a computer device.
  • the embodiment of the present application provides a food identification method and device, a storage medium, and a computer device.
  • the food is identified based on the video data.
  • the method further includes:
  • the detecting the location of the food includes:
  • the location of the food is determined.
  • the method further includes:
  • the sensor data is used to represent pose information of the terminal
  • the identifying the food based on the video data includes:
  • the fusion time series data is input into a video recognition model, and the food is identified based on the video recognition model.
  • the video recognition model includes at least a Long Short-Term Memory (LSTM) model.
  • LSTM Long Short-Term Memory
  • the method further includes:
  • the shooting path is updated based on the motion parameter and the pose parameter corresponding to the current moment of the terminal.
  • a first determining unit configured to determine a shooting path of the food
  • a first indicating unit configured to instruct the terminal to move according to the shooting path
  • a photographing unit configured to photograph the food and generate video data based on the photographing result
  • An identification unit configured to identify the food based on the video data.
  • the device further includes:
  • a detecting unit configured to detect a position of the food
  • a generating unit configured to generate a pre-adjustment path based on a location of the food and an initial position of the photographing path
  • the second indication unit is configured to instruct the terminal to move according to the pre-adjustment path, wherein the terminal is located at an initial position of the shooting path.
  • the detecting unit includes:
  • the photographing unit is configured to capture a framing area, and generate image data corresponding to the framing area based on the photographing result, wherein the food is located in the framing area;
  • a second determining unit configured to determine a location of the food based on the image data.
  • the device further includes:
  • An acquisition unit configured to collect sensor data, where the sensor data is used to represent pose information of the terminal;
  • a storage unit configured to record sensor data corresponding to each frame of image data in the video data.
  • the identifying unit is configured to perform chronological weighting on each frame of image data and corresponding sensor data in the video data to generate fusion time series data; and input the fusion time series data into a video recognition model. Identifying the food based on the video recognition model.
  • the video recognition model includes at least: an LSTM model.
  • the device further includes:
  • the updating unit is configured to calculate, according to the image data corresponding to the current time in the video data and the sensor data corresponding to the current time, the motion parameter and the pose parameter corresponding to the current moment of the terminal; and the motion corresponding to the current moment of the terminal
  • the parameters and pose parameters are updated to update the shooting path.
  • the storage medium provided by the embodiment of the present application has stored thereon computer executable instructions, and the computer executable instructions are implemented by the processor to implement the food identification method described above.
  • the computer device provided by the embodiment of the present application includes a memory, a processor, and computer executable instructions stored on the memory and executable on the processor, and the processor implements the food identification method when the computer executable instruction is executed .
  • a series of video data of the food is obtained by photographing the food, and the series of video data is identified to obtain information of the food. Since the video data is captured during the process of moving the terminal, Therefore, the video data includes image data of different viewing angles of the food, and the image data of the different viewing angles is recognized, which can greatly improve the recognition accuracy.
  • FIG. 1 is a schematic flow chart 1 of a food identification method according to an embodiment of the present application.
  • FIG. 2 is a schematic flow chart 2 of a food identification method according to an embodiment of the present application.
  • FIG. 3 is a schematic diagram of pre-adjustment path shifting according to an embodiment of the present application.
  • FIG. 4 is a schematic flow chart of a food identification method according to an embodiment of the present application.
  • FIG. 5 is a schematic diagram of a shooting path according to an embodiment of the present application.
  • FIG. 6 is a schematic diagram 1 showing the result of the food identification device of the embodiment of the present application.
  • FIG. 8 is a schematic structural diagram of a computer device according to an embodiment of the present application.
  • the terminal in the embodiment of the present application may refer to a mobile device such as a mobile phone, a tablet computer, a palmtop computer, a game console, or a camera.
  • the terminal has at least a photographing device and a processing device, wherein the photographing device is used to provide a photographing function, the photographing device may be any type of camera; the processing device is configured to provide an identification processing function, and the processing device may include but is not limited to a microprocessor (MCU) , Micro Controller Unit) or a processing device such as a Programmable Gate Array (FPGA).
  • the terminal may further include more devices such as a memory for storing data, a transmission device for implementing a communication function, and a display for realizing a display function.
  • MCU microprocessor
  • FPGA Programmable Gate Array
  • FIG. 1 is a schematic flowchart 1 of a food identification method according to an embodiment of the present application. As shown in FIG. 1 , the food identification method includes the following steps:
  • Step 101 Determine a shooting path of the food.
  • the type of the food is not limited, and the food may be an unprocessed food such as an apple. It can also be a food that has been processed by a special cooking method, such as Mapo tofu.
  • the shooting path of the food may be determined according to a preset strategy.
  • a preset strategy Here are a few strategies:
  • Strategy 1 The terminal provides users with various options, each of which corresponds to a shooting path; the user can select the shooting path that he or she needs.
  • Strategy 2 The terminal roughly detects the information of the food, and adaptively selects an appropriate shooting path according to the information of the detected food.
  • Strategy 3 The terminal provides several setting options for the shooting path, and the user customizes the shooting path.
  • Step 102 Instruct the terminal to move according to the shooting path.
  • the movement of the terminal is controlled by the user.
  • the user holds the terminal, and the shooting path is displayed on the display screen of the terminal.
  • the position of the terminal relative to the shooting path may also be displayed.
  • an arrow is displayed on the display screen to guide the user in which direction to move the terminal, and at the same time, the terminal is directed to move according to the shooting path.
  • the terminal is instructed to move according to the shooting path, including two parts: 1) indicating the positional movement of the terminal; 2) indicating the posture change of the terminal (ie, the orientation of the terminal is changed).
  • the terminal can be instructed to perform a horizontal 360 degree rotation about the food.
  • Step 103 The food is photographed, and video data is generated based on the photographing result.
  • the food in the process of the terminal moving according to the shooting path, the food is photographed in real time to obtain video data.
  • the shooting path consists of a series of consecutive positions, including the starting position, several consecutive intermediate positions, and the end position. Assuming that the shooting path is composed of position 1, position 2, position 3, and position 4, the terminal captures a frame image 1 at position 1, the terminal captures a frame image 2 at position 2, and the terminal captures a frame at position 3. Image 3, the terminal captures a frame image 4 at position 4. Image 1, Image 2, Image 3, and Image 4 form a video in chronological order.
  • the video data is composed of a series of image data arranged in chronological order. Due to the movement of the terminal, different image data in the video is taken from different perspectives.
  • Step 104 Identify the food based on the video data.
  • the video data may be input into a video recognition model, and the video data is processed by the video recognition model to obtain information of the food.
  • the information of the food includes but is not limited to: the name of the food, the source of the food, the kind of the food, the cooking manner of the food, and the like.
  • FIG. 2 is a schematic flowchart 2 of a food identification method according to an embodiment of the present application. As shown in FIG. 2, the food identification method includes the following steps:
  • Step 201 Detect the location of the food.
  • the type of the food is not limited, and the food may be an unprocessed food such as an apple. It can also be a food that has been processed by a special cooking method, such as Mapo tofu.
  • detecting the position of the food can be implemented by:
  • the camera of the terminal can be opened to take a picture of the framing area, and the image data obtained by the shooting is subjected to feature analysis to determine the position of the food.
  • the position of the food refers to the position of the food in the image, that is, the position of the food in the photographing screen.
  • Step 202 Generate a pre-adjustment path based on the location of the food and the initial position of the photographing path.
  • the position of the terminal may not be at the initial position of the shooting path, and the terminal needs to be moved to the initial position of the shooting path.
  • the location of the terminal contains two pieces of information: one is position coordinates and the other is orientation. The pictures taken by the terminal at different locations are different.
  • the terminal photographs the food at the position 1 toward the angle 1, and the position of the food is in the upper right corner of the photographing screen.
  • the terminal moves to position 2 according to the pre-adjustment path (this includes the change of the position coordinates and the change of the angle), the position of the food is in the middle of the shooting picture.
  • Step 203 Instruct the terminal to move according to the pre-adjustment path, where the terminal is located at an initial position of the shooting path.
  • the terminal moves by displaying an arrow on the shooting screen.
  • the corresponding shooting picture is the first frame image of the food.
  • Step 204 Determine a shooting path of the food.
  • the shooting path of the food may be determined according to a preset strategy.
  • a preset strategy Here are a few strategies:
  • Strategy 1 The terminal provides users with various options, each of which corresponds to a shooting path; the user can select the shooting path that he or she needs.
  • Strategy 2 The terminal roughly detects the information of the food, and adaptively selects an appropriate shooting path according to the information of the detected food.
  • Strategy 3 The terminal provides several setting options for the shooting path, and the user customizes the shooting path.
  • Step 205 Instruct the terminal to move according to the shooting path.
  • the movement of the terminal is controlled by the user.
  • the user holds the terminal, and the shooting path is displayed on the display screen of the terminal.
  • the position of the terminal relative to the shooting path may also be displayed.
  • an arrow is displayed on the display screen to guide the user in which direction to move the terminal, and at the same time, the terminal is directed to move according to the shooting path.
  • the terminal is instructed to move according to the shooting path, including two parts: 1) indicating the positional movement of the terminal; 2) indicating the posture change of the terminal (ie, the orientation of the terminal is changed).
  • the terminal can be instructed to perform a horizontal 360 degree rotation about the food.
  • Step 206 Shoot the food, and generate video data based on the shooting result.
  • the food in the process of the terminal moving according to the shooting path, the food is photographed in real time to obtain video data.
  • the shooting path consists of a series of consecutive positions, including the starting position, several consecutive intermediate positions, and the end position. Assuming that the shooting path is composed of position 1, position 2, position 3, and position 4, the terminal captures a frame image 1 at position 1, the terminal captures a frame image 2 at position 2, and the terminal captures a frame at position 3. Image 3, the terminal captures a frame image 4 at position 4. Image 1, Image 2, Image 3, and Image 4 form a video in chronological order.
  • the video data is composed of a series of image data arranged in chronological order. Due to the movement of the terminal, different image data in the video is taken from different perspectives.
  • Step 207 Identify the food based on the video data.
  • the video data may be input into a video recognition model, and the video data is processed by the video recognition model to obtain information of the food.
  • the information of the food includes but is not limited to: the name of the food, the source of the food, the kind of the food, the cooking manner of the food, and the like.
  • FIG. 4 is a schematic flowchart 3 of a food identification method according to an embodiment of the present application. As shown in FIG. 4, the food identification method includes the following steps:
  • Step 401 Detect the location of the food.
  • the type of the food is not limited, and the food may be an unprocessed food such as an apple. It can also be a food that has been processed by a special cooking method, such as Mapo tofu.
  • detecting the position of the food can be implemented by:
  • the camera of the terminal can be opened to take a picture of the framing area, and the image data obtained by the shooting is subjected to feature analysis to determine the position of the food.
  • the position of the food refers to the position of the food in the image, that is, the position of the food in the photographing screen.
  • Step 402 Generate a pre-adjustment path based on the location of the food and the initial position of the photographing path.
  • the position of the terminal may not be at the initial position of the shooting path, and the terminal needs to be moved to the initial position of the shooting path.
  • the location of the terminal contains two pieces of information: one is position coordinates and the other is orientation. The pictures taken by the terminal at different locations are different.
  • the terminal photographs the food at the position 1 toward the angle 1, and the position of the food is in the upper right corner of the photographing screen.
  • the terminal moves to position 2 according to the pre-adjustment path (this includes the change of the position coordinates and the change of the angle), the position of the food is in the middle of the shooting picture.
  • Step 403 Instruct the terminal to move according to the pre-adjustment path, where the terminal is located at an initial position of the shooting path.
  • the terminal moves by displaying an arrow on the shooting screen.
  • the corresponding shooting picture is the first frame image of the food.
  • Step 404 Determine a shooting path of the food.
  • the shooting path of the food may be determined according to a preset strategy.
  • a preset strategy Here are a few strategies:
  • Strategy 1 The terminal provides users with various options, each of which corresponds to a shooting path; the user can select the shooting path that he or she needs.
  • Strategy 2 The terminal roughly detects the information of the food, and adaptively selects an appropriate shooting path according to the information of the detected food.
  • Strategy 3 The terminal provides several setting options for the shooting path, and the user customizes the shooting path.
  • Step 405 Instruct the terminal to move according to the shooting path.
  • the movement of the terminal is controlled by the user.
  • the user holds the terminal, and the shooting path is displayed on the display screen of the terminal.
  • the position of the terminal relative to the shooting path may also be displayed.
  • an arrow is displayed on the display screen to guide the user in which direction to move the terminal, and at the same time, the terminal is directed to move according to the shooting path.
  • the terminal is instructed to move according to the shooting path, including two parts: 1) indicating the positional movement of the terminal; 2) indicating the posture change of the terminal (ie, the orientation of the terminal is changed).
  • the terminal can be instructed to rotate 360 degrees horizontally about the food.
  • Step 406 Shoot the food, and generate video data based on the shooting result.
  • the food in the process of the terminal moving according to the shooting path, the food is photographed in real time to obtain video data.
  • the shooting path consists of a series of consecutive positions, including the starting position, several consecutive intermediate positions, and the end position. Assuming that the shooting path is composed of position 1, position 2, position 3, and position 4, the terminal captures a frame image 1 at position 1, the terminal captures a frame image 2 at position 2, and the terminal captures a frame at position 3. Image 3, the terminal captures a frame image 4 at position 4. Image 1, Image 2, Image 3, and Image 4 form a video in chronological order.
  • the video data is composed of a series of image data arranged in chronological order. Due to the movement of the terminal, different image data in the video is taken from different perspectives.
  • Step 407 Acquire sensor data, where the sensor data is used to represent pose information of the terminal; and record sensor data corresponding to each frame of image data in the video data.
  • the transmitter data is collected during the process of capturing the food.
  • Sensor data includes, but is not limited to, gyroscope data.
  • sensor data is also collected in real time. For example, at time T1, the acquired image data is P1, and the sensor data is S1. At time T2, the acquired image data is P2, and the sensor data is S2. At time T3, the collected image data is P3, and the sensor data is For S3, and so on. It can be seen that both image data and sensor data are time-based time series data.
  • Step 408 Calculate a motion parameter and a pose parameter corresponding to the current moment of the terminal according to the image data corresponding to the current time in the video data and the sensor data corresponding to the current time; and the motion parameter corresponding to the current moment of the terminal and The pose parameter updates the shooting path, and step 405 is performed.
  • the image data corresponding to the current time may be processed based on the visual processing algorithm to obtain a Scale-Invariant Feature Transform (SIFT) feature of the image data, and the current environment of the terminal is determined based on the SIFT feature of the image data. Then, the motion parameter and the pose parameter corresponding to the current time can be determined.
  • SIFT Scale-Invariant Feature Transform
  • the motion parameter and the pose parameter corresponding to the current moment of the terminal may be directly obtained based on the sensor data corresponding to the current time.
  • the two types of data can be combined to determine the motion parameters and pose parameters corresponding to the current moment of the terminal. If the terminal moves past the offset of the previously planned shooting path, you need to update the shooting path.
  • the embodiment of the present application can better update the subsequent shooting path based on the implementation of the motion of the terminal.
  • Step 409 Weight-sequence the image data of each frame in the video data and the corresponding sensor data in time sequence to generate fusion time series data.
  • the weighted fusion of the image data and the sensor data corresponding to each frame at the same time can be obtained, and the fusion data corresponding to the time can be obtained.
  • the fused data at all times forms fused time series data in chronological order.
  • the process of weighted fusion includes: multiplying the image data by a corresponding weight, multiplying the sensor data by a corresponding weight; adding the two results obtained by the multiplication to obtain the fused data.
  • the image data, the sensor data, and the corresponding weights may all be represented by corresponding matrices.
  • Step 410 Input the fusion time series data into a video recognition model, and identify the food based on the video recognition model.
  • the video recognition model includes at least: an LSTM model. It should be understood that the video recognition model may also be other video recognition models such as a deep learning model.
  • the fusion time series data may be input into a video recognition model, and the fusion time series data is processed by the video recognition model to obtain food information.
  • the information of the food includes but is not limited to: the name of the food, the source of the food, the kind of the food, the cooking manner of the food, and the like.
  • the food identification device includes:
  • the first determining unit 601 is configured to determine a shooting path of the food
  • the first indication unit 602 is configured to instruct the terminal to move according to the shooting path
  • the photographing unit 603 is configured to photograph the food, and generate video data based on the photographing result;
  • the identification unit 604 is configured to identify the food based on the video data.
  • FIG. 7 is a second schematic diagram of the result of the food identification device of the embodiment of the present invention. As shown in FIG. 7, the food identification device includes:
  • the first determining unit 601 is configured to determine a shooting path of the food
  • the first indication unit 602 is configured to instruct the terminal to move according to the shooting path
  • the photographing unit 603 is configured to photograph the food, and generate video data based on the photographing result;
  • the identification unit 604 is configured to identify the food based on the video data.
  • the device further includes:
  • a detecting unit 605 configured to detect a location of the food
  • a generating unit 606, configured to generate a pre-adjustment path based on a location of the food and an initial position of the photographing path;
  • the second indication unit 607 is configured to instruct the terminal to move according to the pre-adjustment path, where the terminal is located at an initial position of the shooting path.
  • the detecting unit 605 includes:
  • the photographing unit 603 is configured to capture a framing area, and generate image data corresponding to the framing area based on the photographing result, wherein the food is located in the framing area;
  • the second determining unit 608 is configured to determine a location of the food based on the image data.
  • the device further includes:
  • the collecting unit 609 is configured to collect sensor data, where the sensor data is used to represent pose information of the terminal;
  • the storage unit 610 is configured to record sensor data corresponding to each frame of image data in the video data.
  • the identifying unit 604 is configured to perform chronological weighting on each frame of image data in the video data and corresponding sensor data to generate fused time series data; and input the fused time series data into a video recognition model. Identifying the food based on the video recognition model.
  • the video recognition model includes at least: an LSTM model.
  • the device further includes:
  • the updating unit 611 is configured to calculate, according to the image data corresponding to the current time in the video data and the sensor data corresponding to the current time, a motion parameter and a pose parameter corresponding to the current moment of the terminal; and corresponding to the current moment of the terminal.
  • the motion parameter and the pose parameter are updated to update the shooting path.
  • the above apparatus of the present application may also be stored in a computer readable storage medium if it is implemented in the form of a software function module and sold or used as a stand-alone product. Based on such understanding, the technical solution of the embodiments of the present application may be embodied in the form of a software product in essence or in the form of a software product stored in a storage medium, including a plurality of instructions.
  • a computer device (which may be a personal computer, server, or network device, etc.) is caused to perform all or part of the methods described in various embodiments of the present application.
  • the foregoing storage medium includes various media that can store program codes, such as a USB flash drive, a mobile hard disk, a read only memory (ROM), a magnetic disk, or an optical disk.
  • embodiments of the present application are not limited to any particular combination of hardware and software.
  • the embodiment of the present application further provides a storage medium, where the computer-executable instructions are stored, and when the computer-executable instructions are executed by the processor, the food identification method of the embodiment of the present application is implemented.
  • FIG. 8 is a schematic structural diagram of a computer device according to an embodiment of the present application.
  • the computer device includes a memory 801, a processor 802, and a computer executable on the memory 801 and executable on the processor 802.
  • the food is identified based on the video data.
  • the disclosed method and smart device may be implemented in other manners.
  • the device embodiments described above are merely illustrative.
  • the division of the unit is only a logical function division.
  • there may be another division manner such as: multiple units or components may be combined, or Can be integrated into another system, or some features can be ignored or not executed.
  • the coupling, or direct coupling, or communication connection of the components shown or discussed may be indirect coupling or communication connection through some interfaces, devices or units, and may be electrical, mechanical or other forms. of.
  • the units described above as separate components may or may not be physically separated, and the components displayed as the unit may or may not be physical units, that is, may be located in one place or distributed to multiple network units; Some or all of the units may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
  • each functional unit in each embodiment of the present application may be integrated into one second processing unit, or each unit may be separately used as one unit, or two or more units may be integrated into one unit;
  • the above integrated unit can be implemented in the form of hardware or in the form of hardware plus software functional units.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种食物识别方法及装置、存储介质、计算机设备，所述方法包括：确定食物的拍摄路径（101）；指示终端按照所述拍摄路径进行移动（102）；拍摄所述食物，基于拍摄结果生成视频数据（103）；基于所述视频数据识别所述食物（104）。

Description

一种食物识别方法及装置、存储介质、计算机设备
相关申请的交叉引用
本申请基于申请号为201810017522.0、申请日为2018年01月09日的中国专利申请提出，并要求该中国专利申请的优先权，该中国专利申请的全部内容在此引入本申请作为参考。
技术领域
本申请涉及识别技术，尤其涉及一种食物识别方法及装置、存储介质、计算机设备。
背景技术
随着人工智能以及大数据技术的快速发展，越来越多的产品开始向智能化发展，较之非智能化产品，智能化产品多有功能更加强大，用户体验更加舒适等特点。针对人们的日常健康管理，食物与饮食作为健康的入口，是健康管理主要的监控对象之一，如何便捷快速的定位饮食信息是健康管理的一大难题。
目前，对食物进行识别的方式较多是对食物的图像进行识别，然而，这种识别方式具有识别准确低的缺点，如何准确地识别出食物的信息有待解决。
申请内容
为解决上述技术问题，本申请实施例提供了一种食物识别方法及装置、存储介质、计算机设备。
本申请实施例提供的食物识别方法，包括：
确定食物的拍摄路径；
指示终端按照所述拍摄路径进行移动；
拍摄所述食物，基于拍摄结果生成视频数据；
基于所述视频数据识别所述食物。
本申请实施例中，所述方法还包括：
检测食物的位置；
基于所述食物的位置以及所述拍摄路径的初始位置，生成预调整路径；
指示所述终端按照所述预调整路径进行移动，其中，所述终端位于所述拍摄路径的初始位置。
本申请实施例中，所述检测食物的位置，包括：
拍摄取景区域，基于拍摄结果生成所述取景区域对应的图像数据，其中，所述食物位于所述取景区域；
基于所述图像数据，确定所述食物的位置。
本申请实施例中，所述方法还包括：
采集传感器数据，所述传感器数据用于表示所述终端的位姿信息；
记录所述视频数据中的每帧图像数据对应的传感器数据。
本申请实施例中，所述基于所述视频数据识别所述食物，包括：
按照时间顺序加权融合所述视频数据中的每帧图像数据与对应的传感器数据，生成融合时序数据；
将所述融合时序数据输入视频识别模型中，基于所述视频识别模型识别所述食物。
本申请实施例中，所述视频识别模型至少包括：长短期记忆(LSTM，Long Short-Term Memory)模型。
本申请实施例中，所述方法还包括：
根据所述视频数据中与当前时刻对应的图像数据以及当前时刻对应的 传感器数据，计算所述终端当前时刻对应的运动参数和位姿参数；
基于所述终端当前时刻对应的运动参数和位姿参数，更新所述拍摄路径。
本申请实施例提供的食物识别装置，所述装置包括：
第一确定单元，配置为确定食物的拍摄路径；
第一指示单元，配置为指示终端按照所述拍摄路径进行移动；
拍摄单元，配置为拍摄所述食物，基于拍摄结果生成视频数据；
识别单元，配置为基于所述视频数据识别所述食物。
本申请实施例中，所述装置还包括：
检测单元，配置为检测食物的位置；
生成单元，配置为基于所述食物的位置以及所述拍摄路径的初始位置，生成预调整路径；
第二指示单元，配置为指示所述终端按照所述预调整路径进行移动，其中，所述终端位于所述拍摄路径的初始位置。
本申请实施例中，所述检测单元包括：
所述拍摄单元，配置为拍摄取景区域，基于拍摄结果生成所述取景区域对应的图像数据，其中，所述食物位于所述取景区域；
第二确定单元，配置为基于所述图像数据，确定所述食物的位置。
本申请实施例中，所述装置还包括：
采集单元，配置为采集传感器数据，所述传感器数据用于表示所述终端的位姿信息；
存储单元，配置为记录所述视频数据中的每帧图像数据对应的传感器数据。
本申请实施例中，所述识别单元，配置为按照时间顺序加权融合所述视频数据中的每帧图像数据与对应的传感器数据，生成融合时序数据；将 所述融合时序数据输入视频识别模型中，基于所述视频识别模型识别所述食物。
本申请实施例中，所述视频识别模型至少包括：LSTM模型。
本申请实施例中，所述装置还包括：
更新单元，配置为根据所述视频数据中与当前时刻对应的图像数据以及当前时刻对应的传感器数据，计算所述终端当前时刻对应的运动参数和位姿参数；基于所述终端当前时刻对应的运动参数和位姿参数，更新所述拍摄路径。
本申请实施例提供的存储介质，其上存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述的食物识别方法。
本申请实施例提供的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可执行指令，所述处理器执行所述计算机可执行指令时实现上述的食物识别方法。
本申请实施例的技术方案中，通过对食物进行拍摄，得到食物的一系列视频数据，对该一系列视频数据进行识别，得到食物的信息，由于视频数据是在终端移动的过程中拍摄得到，因而视频数据中包括食物处于不同视角的图像数据，对这些不同视角的图像数据进行识别，能大大提高识别准确度。
附图说明
图1为本申请实施例的食物识别方法的流程示意图一；
图2为本申请实施例的食物识别方法的流程示意图二；
图3为本申请实施例的预调整路径移的示意图；
图4为本申请实施例的食物识别方法的流程示意图；
图5为本申请实施例的拍摄路径的示意图；
图6为本申请实施例的食物识别装置的结果组成示意图一；
图7为本申请实施例的食物识别装置的结果组成示意图二；
图8为本申请实施例的计算机设备的结构组成示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。
本申请实施例中的终端可以指手机、平板电脑、掌上电脑、游戏机、相机等移动设备。终端上至少具有拍摄装置和处理装置，其中，拍摄装置用于提供拍摄功能，拍摄装置可以是任意类型的摄像头；处理装置用于提供识别处理功能，处理装置可以包括但不限于微处理器(MCU，Micro Controller Unit)或可编程逻辑器件(FPGA，Field Programmable Gate Array)等的处理装置。此外，终端还可以包括更多的装置，例如用于存储数据的存储器、用于实现通信功能的传输装置、用于实现显示功能的显示器。本申请实施例的技术方案应用于终端中，以下对本申请实施例的技术方案进行描述。
图1为本申请实施例的食物识别方法的流程示意图一，如图1所示，所述食物识别方法包括以下步骤：
步骤101：确定食物的拍摄路径。
本申请实施例中，食物的种类不做限制，食物可以是未经加工的食物，例如苹果。也可以是通过某种特殊烹饪方法加工过的食物，例如麻婆豆腐。
本申请实施例中，食物的拍摄路径可以根据预设的策略来确定。以下列举出几种策略：
策略一：终端为用户提供多种选项，每种选项对应一种拍摄路径；用户可以选择自己需要的拍摄路径。
策略二：终端粗略检测食物的信息，根据检测到的食物的信息来适应 性选择合适的拍摄路径。
策略三：终端提供拍摄路径的若干个设置选项，由用户自定义拍摄路径。
步骤102：指示终端按照所述拍摄路径进行移动。
在一实施方式中，终端的移动通过用户来控制，具体地，用户手持终端，在终端的显示屏上显示有拍摄路径，此外，还可以显示有终端相对于拍摄路径的位置。进一步，在显示屏上显示有箭头，用于指引用户朝哪个方向移动终端，与此同时，指引了终端按照拍摄路径进行移动。这里，指示终端按照所述拍摄路径进行移动，包括两个部分：1)指示终端的位置移动；2)指示终端的姿态改变(即终端的朝向改变)。
在一实施方式中，可以指示终端围绕食物进行水平360度的转动。
步骤103：拍摄所述食物，基于拍摄结果生成视频数据。
本申请实施例中，在终端按照拍摄路径移动的过程中，实时对食物进行拍摄，得到视频数据。
拍摄路径是由一系列连续的位置组成，包括起始位置，若干连续的中间位置，以及终点位置。假设拍摄路径由位置1、位置2、位置3、位置4组成，终端在位置1处拍摄得到一帧图像1，终端在位置2处拍摄得到一帧图像2，终端在位置3处拍摄得到一帧图像3，终端在位置4处拍摄得到一帧图像4。图像1、图像2、图像3以及图像4按时间顺序形成了视频。
可见，视频数据是由一系列按照时间顺序排列的图像数据组成。由于终端的移动，导致视频中不同的图像数据是从不同的视角对食物进行拍摄得到。
步骤104：基于所述视频数据识别所述食物。
本申请实施例中，可以将视频数据输入视频识别模型，通过视频识别模型对视频数据进行处理，得到食物的信息。这里，食物的信息包括但不 局限于：食物的名称、食物的来源、食物的种类、食物的烹饪方式等等。
图2为本申请实施例的食物识别方法的流程示意图二，如图2所示，所述食物识别方法包括以下步骤：
步骤201：检测食物的位置。
本申请实施例中，食物的种类不做限制，食物可以是未经加工的食物，例如苹果。也可以是通过某种特殊烹饪方法加工过的食物，例如麻婆豆腐。
本申请实施例中，检测食物的位置可以通过以下方式来实现：
1)拍摄取景区域，基于拍摄结果生成所述取景区域对应的图像数据，其中，所述食物位于所述取景区域；
2)基于所述图像数据，确定所述食物的位置。
上述方案中，可以打开终端的摄像头对取景区域进行拍摄，并对拍摄得到的图像数据进行特征分析，确定出食物的位置。这里，食物的位置是指食物在图像中的位置，也即食物在拍摄画面中的位置。
步骤202：基于所述食物的位置以及所述拍摄路径的初始位置，生成预调整路径。
初始时，终端的位置可能不在拍摄路径的初始位置，需要将终端移动至拍摄路径的初始位置。应理解，终端的位置包含两个信息：一个是位置坐标，另一个是朝向。终端在不同位置上拍摄得到的画面是不同的。
例如：参照图3，终端在位置1朝向角度1拍摄了食物，食物的位置在拍摄画面的右上角。终端按照预调整路径移动到位置2后(这其中包括位置坐标的改变和角度的改变)，食物的位置在拍摄画面的中间。
步骤203：指示所述终端按照所述预调整路径进行移动，其中，所述终端位于所述拍摄路径的初始位置。
本申请实施例中，可以通过在拍摄画面上显示箭头来指示终端朝哪个方向移动。终端移动至拍摄路径的初始位置时，对应的拍摄画面就是食物 的第一帧图像。
步骤204：确定食物的拍摄路径。
本申请实施例中，食物的拍摄路径可以根据预设的策略来确定。以下列举出几种策略：
策略一：终端为用户提供多种选项，每种选项对应一种拍摄路径；用户可以选择自己需要的拍摄路径。
策略二：终端粗略检测食物的信息，根据检测到的食物的信息来适应性选择合适的拍摄路径。
策略三：终端提供拍摄路径的若干个设置选项，由用户自定义拍摄路径。
步骤205：指示终端按照所述拍摄路径进行移动。
在一实施方式中，终端的移动通过用户来控制，具体地，用户手持终端，在终端的显示屏上显示有拍摄路径，此外，还可以显示有终端相对于拍摄路径的位置。进一步，在显示屏上显示有箭头，用于指引用户朝哪个方向移动终端，与此同时，指引了终端按照拍摄路径进行移动。这里，指示终端按照所述拍摄路径进行移动，包括两个部分：1)指示终端的位置移动；2)指示终端的姿态改变(即终端的朝向改变)。
在一实施方式中，可以指示终端围绕食物进行水平360度的转动。
步骤206：拍摄所述食物，基于拍摄结果生成视频数据。
本申请实施例中，在终端按照拍摄路径移动的过程中，实时对食物进行拍摄，得到视频数据。
拍摄路径是由一系列连续的位置组成，包括起始位置，若干连续的中间位置，以及终点位置。假设拍摄路径由位置1、位置2、位置3、位置4组成，终端在位置1处拍摄得到一帧图像1，终端在位置2处拍摄得到一帧图像2，终端在位置3处拍摄得到一帧图像3，终端在位置4处拍摄得到一 帧图像4。图像1、图像2、图像3以及图像4按时间顺序形成了视频。
可见，视频数据是由一系列按照时间顺序排列的图像数据组成。由于终端的移动，导致视频中不同的图像数据是从不同的视角对食物进行拍摄得到。
步骤207：基于所述视频数据识别所述食物。
本申请实施例中，可以将视频数据输入视频识别模型，通过视频识别模型对视频数据进行处理，得到食物的信息。这里，食物的信息包括但不局限于：食物的名称、食物的来源、食物的种类、食物的烹饪方式等等。
图4为本申请实施例的食物识别方法的流程示意图三，如图4所示，所述食物识别方法包括以下步骤：
步骤401：检测食物的位置。
本申请实施例中，食物的种类不做限制，食物可以是未经加工的食物，例如苹果。也可以是通过某种特殊烹饪方法加工过的食物，例如麻婆豆腐。
本申请实施例中，检测食物的位置可以通过以下方式来实现：
1)拍摄取景区域，基于拍摄结果生成所述取景区域对应的图像数据，其中，所述食物位于所述取景区域；
2)基于所述图像数据，确定所述食物的位置。
上述方案中，可以打开终端的摄像头对取景区域进行拍摄，并对拍摄得到的图像数据进行特征分析，确定出食物的位置。这里，食物的位置是指食物在图像中的位置，也即食物在拍摄画面中的位置。
步骤402：基于所述食物的位置以及所述拍摄路径的初始位置，生成预调整路径。
初始时，终端的位置可能不在拍摄路径的初始位置，需要将终端移动至拍摄路径的初始位置。应理解，终端的位置包含两个信息：一个是位置坐标，另一个是朝向。终端在不同位置上拍摄得到的画面是不同的。
例如：参照图3，终端在位置1朝向角度1拍摄了食物，食物的位置在拍摄画面的右上角。终端按照预调整路径移动到位置2后(这其中包括位置坐标的改变和角度的改变)，食物的位置在拍摄画面的中间。
步骤403：指示所述终端按照所述预调整路径进行移动，其中，所述终端位于所述拍摄路径的初始位置。
本申请实施例中，可以通过在拍摄画面上显示箭头来指示终端朝哪个方向移动。终端移动至拍摄路径的初始位置时，对应的拍摄画面就是食物的第一帧图像。
步骤404：确定食物的拍摄路径。
本申请实施例中，食物的拍摄路径可以根据预设的策略来确定。以下列举出几种策略：
策略一：终端为用户提供多种选项，每种选项对应一种拍摄路径；用户可以选择自己需要的拍摄路径。
策略二：终端粗略检测食物的信息，根据检测到的食物的信息来适应性选择合适的拍摄路径。
策略三：终端提供拍摄路径的若干个设置选项，由用户自定义拍摄路径。
步骤405：指示终端按照所述拍摄路径进行移动。
在一实施方式中，终端的移动通过用户来控制，具体地，用户手持终端，在终端的显示屏上显示有拍摄路径，此外，还可以显示有终端相对于拍摄路径的位置。进一步，在显示屏上显示有箭头，用于指引用户朝哪个方向移动终端，与此同时，指引了终端按照拍摄路径进行移动。这里，指示终端按照所述拍摄路径进行移动，包括两个部分：1)指示终端的位置移动；2)指示终端的姿态改变(即终端的朝向改变)。
在一实施方式中，参照图5，可以指示终端围绕食物进行水平360度的 转动。
步骤406：拍摄所述食物，基于拍摄结果生成视频数据。
本申请实施例中，在终端按照拍摄路径移动的过程中，实时对食物进行拍摄，得到视频数据。
拍摄路径是由一系列连续的位置组成，包括起始位置，若干连续的中间位置，以及终点位置。假设拍摄路径由位置1、位置2、位置3、位置4组成，终端在位置1处拍摄得到一帧图像1，终端在位置2处拍摄得到一帧图像2，终端在位置3处拍摄得到一帧图像3，终端在位置4处拍摄得到一帧图像4。图像1、图像2、图像3以及图像4按时间顺序形成了视频。
可见，视频数据是由一系列按照时间顺序排列的图像数据组成。由于终端的移动，导致视频中不同的图像数据是从不同的视角对食物进行拍摄得到。
步骤407：采集传感器数据，所述传感器数据用于表示所述终端的位姿信息；记录所述视频数据中的每帧图像数据对应的传感器数据。
本申请实施例中，拍摄所述食物的过程中，采集传输器数据。传感器数据包括但不局限于陀螺仪数据。在实时拍摄的过程中，也一并实时采集传感器数据。例如：在时刻T1，采集到的图像数据为P1，传感器数据为S1，在时刻T2，采集到的图像数据为P2，传感器数据为S2，在时刻T3，采集到的图像数据为P3，传感器数据为S3，依此类推。可见，无论是图像数据，还是传感器数据都是基于时间的时序数据。
步骤408：根据所述视频数据中与当前时刻对应的图像数据以及当前时刻对应的传感器数据，计算所述终端当前时刻对应的运动参数和位姿参数；基于所述终端当前时刻对应的运动参数和位姿参数，更新所述拍摄路径，执行步骤405。
本申请实施例中，在所述终端移动的过程中，根据所述视频数据中与 当前时刻对应的图像数据以及当前时刻对应的传感器数据，计算所述终端当前时刻对应的运动参数和位姿参数。这里，可以基于视觉处理算法对当前时刻对应的图像数据进行处理，得到图像数据的尺度不变特征变换(SIFT，Scale-Invariant Feature Transform)特征，基于图像数据的SIFT特征确定终端当前所处的环境，进而可以确定出当前时刻对应的运动参数和位姿参数。当然，也可以基于当前时刻对应的传感器数据，直接获取所述终端当前时刻对应的运动参数和位姿参数。为了保证提高计算精度，可以结合两种类型的数据来共同确定终端当前时刻对应的运动参数和位姿参数。如果终端移动的时候偏移了之前规划好的拍摄路径，就需要更新拍摄路径。本申请实施例可以较好的基于终端的实施运动情况，更新后续的拍摄路径。
步骤409：按照时间顺序加权融合所述视频数据中的每帧图像数据与对应的传感器数据，生成融合时序数据。
本申请实施例中，对于同一时刻对应的每帧图像数据和传感器数据进行加权融合，可以得到该时刻对应的融合数据。全部时刻的融合数据按照时间顺序形成了融合时序数据。
本申请实施例中，加权融合的处理过程包括：将图像数据与相应的权值相乘，将传感器数据与相应的权值相乘；将相乘得到的两个结果相加，得到融合数据。本申请实施例中，图像数据、传感器数据以及相应的权值，均可以通过相应的矩阵来表示。
步骤410：将所述融合时序数据输入视频识别模型中，基于所述视频识别模型识别所述食物。
这里，所述视频识别模型至少包括：LSTM模型。应理解，所述视频识别模型还可以是深度学习模型等其他视频识别模型。
本申请实施例中，可以将融合时序数据输入视频识别模型，通过视频 识别模型对融合时序数据进行处理，得到食物的信息。这里，食物的信息包括但不局限于：食物的名称、食物的来源、食物的种类、食物的烹饪方式等等。
图6为本申请实施例的食物识别装置的结果组成示意图一，如图6所示，所述食物识别装置包括：
第一确定单元601，配置为确定食物的拍摄路径；
第一指示单元602，配置为指示终端按照所述拍摄路径进行移动；
拍摄单元603，配置为拍摄所述食物，基于拍摄结果生成视频数据；
识别单元604，配置为基于所述视频数据识别所述食物。
本领域技术人员应当理解，图6所示的食物识别装置中的各单元的实现功能可参照前述食物识别方法的相关描述而理解。图6所示的食物识别装置中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。
图7为本申请实施例的食物识别装置的结果组成示意图二，如图7所示，所述食物识别装置包括：
第一确定单元601，配置为确定食物的拍摄路径；
第一指示单元602，配置为指示终端按照所述拍摄路径进行移动；
拍摄单元603，配置为拍摄所述食物，基于拍摄结果生成视频数据；
识别单元604，配置为基于所述视频数据识别所述食物。
在一实施方式中，所述装置还包括：
检测单元605，配置为检测食物的位置；
生成单元606，配置为基于所述食物的位置以及所述拍摄路径的初始位置，生成预调整路径；
第二指示单元607，配置为指示所述终端按照所述预调整路径进行移动，其中，所述终端位于所述拍摄路径的初始位置。
在一实施方式中，所述检测单元605包括：
所述拍摄单元603，配置为拍摄取景区域，基于拍摄结果生成所述取景区域对应的图像数据，其中，所述食物位于所述取景区域；
第二确定单元608，配置为基于所述图像数据，确定所述食物的位置。
在一实施方式中，所述装置还包括：
采集单元609，配置为采集传感器数据，所述传感器数据用于表示所述终端的位姿信息；
存储单元610，配置为记录所述视频数据中的每帧图像数据对应的传感器数据。
在一实施方式中，所述识别单元604，配置为按照时间顺序加权融合所述视频数据中的每帧图像数据与对应的传感器数据，生成融合时序数据；将所述融合时序数据输入视频识别模型中，基于所述视频识别模型识别所述食物。
在一实施方式中，所述视频识别模型至少包括：LSTM模型。
在一实施方式中，所述装置还包括：
更新单元611，配置为根据所述视频数据中与当前时刻对应的图像数据以及当前时刻对应的传感器数据，计算所述终端当前时刻对应的运动参数和位姿参数；基于所述终端当前时刻对应的运动参数和位姿参数，更新所述拍摄路径。
本领域技术人员应当理解，图7所示的食物识别装置中的各单元的实现功能可参照前述食物识别方法的相关描述而理解。图7所示的食物识别装置中的各单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。
本申请实施例上述装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这 样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
相应地，本申请实施例还提供一种存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本申请实施例的上述食物识别方法。
图8为本申请实施例的计算机设备的结构组成示意图，如图8所示，所述计算机设备包括存储器801、处理器802及存储在存储器801上并可在处理器802上运行的计算机可执行指令，所述处理器802执行所述计算机可执行指令时实现如下方法步骤：
确定食物的拍摄路径；
指示终端按照所述拍摄路径进行移动；
拍摄所述食物，基于拍摄结果生成视频数据；
基于所述视频数据识别所述食物。
以上涉及计算机设备的描述，与上述方法描述是类似的，同方法的有益效果描述，不做赘述。
本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以 有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个第二处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (16)

  1. 一种食物识别方法，所述方法包括：
    确定食物的拍摄路径；
    指示终端按照所述拍摄路径进行移动；
    拍摄所述食物，基于拍摄结果生成视频数据；
    基于所述视频数据识别所述食物。
  2. 根据权利要求1所述的食物识别方法，其中，所述方法还包括：
    检测食物的位置；
    基于所述食物的位置以及所述拍摄路径的初始位置，生成预调整路径；
    指示所述终端按照所述预调整路径进行移动，其中，所述终端位于所述拍摄路径的初始位置。
  3. 根据权利要求2所述的食物识别方法，其中，所述检测食物的位置，包括：
    拍摄取景区域，基于拍摄结果生成所述取景区域对应的图像数据，其中，所述食物位于所述取景区域；
    基于所述图像数据，确定所述食物的位置。
  4. 根据权利要求1所述的食物识别方法，其中，所述方法还包括：
    采集传感器数据，所述传感器数据用于表示所述终端的位姿信息；
    记录所述视频数据中的每帧图像数据对应的传感器数据。
  5. 根据权利要求4所述的食物识别方法，其中，所述基于所述视频数据识别所述食物，包括：
    按照时间顺序加权融合所述视频数据中的每帧图像数据与对应的传感器数据，生成融合时序数据；
    将所述融合时序数据输入视频识别模型中，基于所述视频识别模型识别所述食物。
  6. 根据权利要求5所述的食物识别方法，其中，所述视频识别模型至少包括：长短期记忆LSTM模型。
  7. 根据权利要求4所述的食物识别方法，其中，所述方法还包括：
    根据所述视频数据中与当前时刻对应的图像数据以及当前时刻对应的传感器数据，计算所述终端当前时刻对应的运动参数和位姿参数；
    基于所述终端当前时刻对应的运动参数和位姿参数，更新所述拍摄路径。
  8. 一种食物识别装置，所述装置包括：
    第一确定单元，配置为确定食物的拍摄路径；
    第一指示单元，配置为指示终端按照所述拍摄路径进行移动；
    拍摄单元，配置为拍摄所述食物，基于拍摄结果生成视频数据；
    识别单元，配置为基于所述视频数据识别所述食物。
  9. 根据权利要求8所述的食物识别装置，其中，所述装置还包括：
    检测单元，配置为检测食物的位置；
    生成单元，配置为基于所述食物的位置以及所述拍摄路径的初始位置，生成预调整路径；
    第二指示单元，配置为指示所述终端按照所述预调整路径进行移动，其中，所述终端位于所述拍摄路径的初始位置。
  10. 根据权利要求9所述的食物识别装置，其中，所述检测单元包括：
    所述拍摄单元，配置为拍摄取景区域，基于拍摄结果生成所述取景区域对应的图像数据，其中，所述食物位于所述取景区域；
    第二确定单元，配置为基于所述图像数据，确定所述食物的位置。
  11. 根据权利要求8所述的食物识别装置，其中，所述装置还包括：
    采集单元，配置为采集传感器数据，所述传感器数据用于表示所述终端的位姿信息；
    存储单元，配置为记录所述视频数据中的每帧图像数据对应的传感器数据。
  12. 根据权利要求11所述的食物识别装置，其中，所述识别单元，配置为按照时间顺序加权融合所述视频数据中的每帧图像数据与对应的传感器数据，生成融合时序数据；将所述融合时序数据输入视频识别模型中，基于所述视频识别模型识别所述食物。
  13. 根据权利要求12所述的食物识别装置，其中，所述视频识别模型至少包括：LSTM模型。
  14. 根据权利要求11所述的食物识别装置，其中，所述装置还包括：
    更新单元，配置为根据所述视频数据中与当前时刻对应的图像数据以及当前时刻对应的传感器数据，计算所述终端当前时刻对应的运动参数和位姿参数；基于所述终端当前时刻对应的运动参数和位姿参数，更新所述拍摄路径。
  15. 一种存储介质，其上存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1-7任一项所述的方法步骤。
  16. 一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可执行指令，所述处理器执行所述计算机可执行指令时实现权利要求1-7任一项所述的方法步骤。
PCT/CN2018/122855 2018-01-09 2018-12-21 一种食物识别方法及装置、存储介质、计算机设备 WO2019137186A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810017522.0 2018-01-09
CN201810017522.0A CN108205664B (zh) 2018-01-09 2018-01-09 一种食物识别方法及装置、存储介质、计算机设备

Publications (1)

Publication Number Publication Date
WO2019137186A1 true WO2019137186A1 (zh) 2019-07-18

Family

ID=62605310

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/122855 WO2019137186A1 (zh) 2018-01-09 2018-12-21 一种食物识别方法及装置、存储介质、计算机设备

Country Status (2)

Country Link
CN (1) CN108205664B (zh)
WO (1) WO2019137186A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114885098A (zh) * 2022-04-27 2022-08-09 广东美的厨房电器制造有限公司 视频拍摄方法、视频拍摄装置、可读存储介质和烹饪器具

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108205664B (zh) * 2018-01-09 2021-08-17 美的集团股份有限公司 一种食物识别方法及装置、存储介质、计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104282041A (zh) * 2014-09-30 2015-01-14 小米科技有限责任公司 三维建模方法及装置
CN105141942A (zh) * 2015-09-02 2015-12-09 小米科技有限责任公司 3d图像合成方法及装置
CN107133650A (zh) * 2017-05-10 2017-09-05 合肥华凌股份有限公司 冰箱的食物识别方法、装置及冰箱
CN107357424A (zh) * 2017-06-29 2017-11-17 联想(北京)有限公司 一种手势操作的识别方法、设备及计算机可读存储介质
CN108205664A (zh) * 2018-01-09 2018-06-26 美的集团股份有限公司 一种食物识别方法及装置、存储介质、计算机设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033549B (zh) * 2009-09-30 2014-02-05 三星电子（中国）研发中心 显示设备的视角调整装置
CN105580052A (zh) * 2013-07-02 2016-05-11 豪夫迈·罗氏有限公司 食物体积和碳水化合物的估计
US9659225B2 (en) * 2014-02-12 2017-05-23 Microsoft Technology Licensing, Llc Restaurant-specific food logging from images
CN103826071A (zh) * 2014-03-11 2014-05-28 深圳市中安视科技有限公司 用于立体识别和连续跟踪的三维摄像方法
KR102209511B1 (ko) * 2014-05-12 2021-01-29 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어 방법
CN104269003A (zh) * 2014-09-12 2015-01-07 李龙龙 一种食物识别方法、装置及系统
CN106203466B (zh) * 2016-06-23 2020-02-11 珠海市魅族科技有限公司 食物识别的方法和装置
CN106203493B (zh) * 2016-07-04 2019-07-12 何广森 一种食物识别装置及识别方法
CN206303795U (zh) * 2016-08-30 2017-07-07 九阳股份有限公司 一种智能料理平台
CN106791392B (zh) * 2016-12-20 2020-12-15 美的集团股份有限公司 食物信息的获取方法、获取装置和终端
CN107239777B (zh) * 2017-05-13 2021-06-15 大连理工大学 一种基于多视角图模型的餐具检测和识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104282041A (zh) * 2014-09-30 2015-01-14 小米科技有限责任公司 三维建模方法及装置
CN105141942A (zh) * 2015-09-02 2015-12-09 小米科技有限责任公司 3d图像合成方法及装置
CN107133650A (zh) * 2017-05-10 2017-09-05 合肥华凌股份有限公司 冰箱的食物识别方法、装置及冰箱
CN107357424A (zh) * 2017-06-29 2017-11-17 联想(北京)有限公司 一种手势操作的识别方法、设备及计算机可读存储介质
CN108205664A (zh) * 2018-01-09 2018-06-26 美的集团股份有限公司 一种食物识别方法及装置、存储介质、计算机设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114885098A (zh) * 2022-04-27 2022-08-09 广东美的厨房电器制造有限公司 视频拍摄方法、视频拍摄装置、可读存储介质和烹饪器具

Also Published As

Publication number Publication date
CN108205664A (zh) 2018-06-26
CN108205664B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
US10045007B2 (en) Method and apparatus for presenting 3D scene
US11775059B2 (en) Method for determining human eye close degrees, method for controlling eyes, device, and storage medium
US8639020B1 (en) Method and system for modeling subjects from a depth map
CN106161939B (zh) 一种照片拍摄方法及终端
CN110544301A (zh) 一种三维人体动作重建系统、方法和动作训练系统
WO2023071964A1 (zh) 数据处理方法, 装置, 电子设备及计算机可读存储介质
WO2018112788A1 (zh) 图像处理方法及设备
TWI537872B (zh) 辨識二維影像產生三維資訊之方法
US20120194513A1 (en) Image processing apparatus and method with three-dimensional model creation capability, and recording medium
CN107395957B (zh) 拍照方法、装置、存储介质及电子设备
CN109451240B (zh) 对焦方法、装置、计算机设备和可读存储介质
JP2010123019A (ja) 動作認識装置及び方法
WO2019137186A1 (zh) 一种食物识别方法及装置、存储介质、计算机设备
CN110910449B (zh) 识别物体三维位置的方法和系统
KR20150091064A (ko) 단일의 카메라를 이용하여 3d 이미지를 캡쳐하는 방법 및 시스템
CN114120168A (zh) 一种目标跑动距离测算方法、系统、设备及存储介质
CN110581950B (zh) 相机、选择相机设置的系统和方法
CN112073640B (zh) 全景信息采集位姿获取方法及装置、系统
CN114037923A (zh) 一种目标活动热点图绘制方法、系统、设备及存储介质
KR102569505B1 (ko) 실시간 자동 신체 인식 기능을 탑재한 모바일 장비용 인공지능 자세추정 시스템 및 방법
CN109840948B (zh) 基于增强现实的目标物体的投放方法和装置
CN115311472A (zh) 一种动作捕捉方法及相关设备
CN105913433A (zh) 信息推送方法及装置
JP7293362B2 (ja) 撮影方法、装置、電子機器及び記憶媒体
JP2016081095A (ja) 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18900207

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18900207

Country of ref document: EP

Kind code of ref document: A1