JP2024038478A - Cooking area estimation device - Google Patents
Cooking area estimation device Download PDFInfo
- Publication number
- JP2024038478A JP2024038478A JP2024009129A JP2024009129A JP2024038478A JP 2024038478 A JP2024038478 A JP 2024038478A JP 2024009129 A JP2024009129 A JP 2024009129A JP 2024009129 A JP2024009129 A JP 2024009129A JP 2024038478 A JP2024038478 A JP 2024038478A
- Authority
- JP
- Japan
- Prior art keywords
- image
- food
- meal
- dish
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010411 cooking Methods 0.000 title claims description 24
- 235000013305 food Nutrition 0.000 claims abstract description 153
- 235000012054 meals Nutrition 0.000 claims abstract description 58
- 238000010191 image analysis Methods 0.000 claims abstract description 14
- 239000000284 extract Substances 0.000 claims abstract description 10
- 235000016709 nutrition Nutrition 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 12
- 239000004615 ingredient Substances 0.000 description 51
- 235000013555 soy sauce Nutrition 0.000 description 17
- 235000013311 vegetables Nutrition 0.000 description 13
- 235000013372 meat Nutrition 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 235000013399 edible fruits Nutrition 0.000 description 5
- 102000004169 proteins and genes Human genes 0.000 description 5
- 108090000623 proteins and genes Proteins 0.000 description 5
- 235000015067 sauces Nutrition 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 244000061456 Solanum tuberosum Species 0.000 description 2
- 235000002595 Solanum tuberosum Nutrition 0.000 description 2
- 235000019688 fish Nutrition 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 235000014571 nuts Nutrition 0.000 description 2
- 235000012015 potatoes Nutrition 0.000 description 2
- 235000015170 shellfish Nutrition 0.000 description 2
- 235000001674 Agaricus brunnescens Nutrition 0.000 description 1
- 241001474374 Blennius Species 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 235000013365 dairy product Nutrition 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000013601 eggs Nutrition 0.000 description 1
- 235000021374 legumes Nutrition 0.000 description 1
Abstract
【課題】 ユーザによって撮影された料理画像から料理の重量を正確に計算することのできる料理重量計算装置を提供する。【解決手段】 料理重量計算装置１は、ユーザによって撮影された食事画像が入力されると、食事画像に含まれる料理画像を抽出し、食事画像に含まれるカトラリー画像を抽出する。抽出した料理画像とカトラリー画像を画像分析することにより、カトラリー画像から特定されるカトラリーのサイズを基準として、料理画像に写っている料理の面積を推定し、記憶された単位面積あたりの料理の重量の情報に基づいて、推定された料理の面積から料理の重量を算出する。【選択図】 図１[Problem] To provide a food weight calculation device that can accurately calculate the weight of a dish from a food image taken by a user. [Solution] When a food image taken by a user is input, the food weight calculation device 1 extracts the food image contained in the meal image and extracts the cutlery image contained in the meal image. By performing image analysis of the extracted food image and cutlery image, the area of the food shown in the food image is estimated based on the size of the cutlery identified from the cutlery image, and the weight of the dish is calculated from the estimated food area based on stored information on the weight of the dish per unit area. [Selected Figure] Figure 1
Description
本発明は、ユーザによって撮影された料理画像から料理の重量（グラム数）を計算する料理重量計算装置に関する。 The present invention relates to a food weight calculation device that calculates the weight (in grams) of a food from a food image photographed by a user.
従来、料理画像から料理の量（立体的なサイズ／容積）を推定するシステムが提案されている（例えば特許文献１参照）。従来のシステムでは、サイズ既知の対象物（食器、料理）の撮影角度の検出することにより、サイズ未知の対象物（食器、料理）の高さを推定し、その立体的なサイズ／容積が推定される。 Conventionally, a system has been proposed that estimates the amount (three-dimensional size/volume) of food from a food image (for example, see Patent Document 1). In conventional systems, the height of an object of unknown size (tableware, food) is estimated by detecting the shooting angle of the object (tableware, food) of known size, and its three-dimensional size/volume is estimated. be done.
しかしながら、従来のシステムでは、料理の重量（グラム数）を計算することについては、何ら記載がなされていない。また、仮に、従来のシステムで推定した料理の量（立体的なサイズ／容積）から料理の重量（グラム数）を計算する場合には、次のような問題がある。すなわち、従来のシステムでは、料理画像から、サイズ既知の対象物（食器、料理）の撮影角度を検出し、その撮影角度からサイズ未知の対象物（食器、料理）の高さを推定して、サイズ未知の対象物（食器、料理）の立体的なサイズ／容積を推定しているが、このような従来の手法（平面的な二次元の情報から立体的な三次元の情報を得る手法）では、料理の量（立体的なサイズ／容積）を正確に計算することは困難であり、したがって、料理の重量（グラム数）を正確に計算することも困難である。 However, in the conventional system, there is no description about calculating the weight (grams) of a dish. Furthermore, if the weight (in grams) of a dish is calculated from the amount (three-dimensional size/volume) of the dish estimated by the conventional system, the following problem arises. In other words, in conventional systems, the photographing angle of an object of known size (tableware, food) is detected from the food image, and the height of the object of unknown size (tableware, food) is estimated from the photographing angle. The three-dimensional size/volume of objects of unknown size (tableware, food) is estimated, but conventional methods like this (method of obtaining three-dimensional three-dimensional information from two-dimensional two-dimensional information) In this case, it is difficult to accurately calculate the amount (three-dimensional size/volume) of the dish, and therefore, it is also difficult to accurately calculate the weight (grams) of the dish.
本発明は、上記の課題に鑑みてなされたもので、ユーザによって撮影された料理画像から料理の重量（グラム数）を正確に計算することができる料理重量計算装置を提供することを目的とする。 The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to provide a food weight calculation device that can accurately calculate the weight (grams) of a food from a food image taken by a user. .
本発明の料理重量計算装置は、ユーザによって撮影された食事画像が入力される食事画像入力部と、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出する料理画像抽出部と、入力された前記食事画像から、当該食事画像に含まれるカトラリー画像を抽出するカトラリー画像抽出部と、抽出した前記料理画像と前記カトラリー画像を画像分析することにより、前記カトラリー画像から特定されるカトラリーのサイズを基準として、前記料理画像に写っている料理の重量を推定する重量推定部と、を備えている。 The food weight calculation device of the present invention includes a meal image input unit into which a meal image photographed by a user is input, and a food image extraction unit which extracts a food image included in the meal image from the input meal image. , a cutlery image extraction unit that extracts a cutlery image included in the input meal image from the input meal image, and a cutlery image that is identified from the cutlery image by image analysis of the extracted dish image and the cutlery image. and a weight estimating section that estimates the weight of the food shown in the food image based on the size of the food.
この構成によれば、ユーザによって撮影された食事画像から、その食事画像に含まれる料理画像（料理が写っている部分画像。料理領域の画像ともいえる）とカトラリー画像（カトラリーが写っている部分画像。カトラリー領域の画像ともいえる）が抽出される。そして、料理画像を画像分析することにより、料理画像に写っていると推定される料理メニュー（例えば、しょうゆラーメン）が特定される。また、料理画像とカトラリー画像を画像分析することにより、カトラリー画像から特定されるカトラリーのサイズを基準として、料理画像に写っている料理の面積が推定される。そして、推定された料理の面積から料理の重量が算出される。 According to this configuration, from a meal image photographed by a user, a food image (partial image in which the food is shown, which can also be called an image of the cooking area) and a cutlery image (a partial image in which the cutlery is shown) included in the meal image is selected. (which can also be called an image of the cutlery area) is extracted. Then, by image-analyzing the food image, a food menu (for example, soy sauce ramen) that is presumed to be included in the food image is identified. Furthermore, by performing image analysis on the food image and the cutlery image, the area of the food in the food image is estimated based on the size of the cutlery identified from the cutlery image. Then, the weight of the dish is calculated from the estimated area of the dish.
容器のサイズは、容器によって様々である（例えば、皿のサイズは、皿によって様々である）のに対して、カトラリーのサイズは、それほど大きく異ならない（例えば、箸の長さは、どの箸でもほとんど同じである）。本発明によれば、カトラリーのサイズを基準として、料理画像に写っている料理の面積を推定し、料理の重量（容器に入れられた料理の重量）を算出することが可能になる。この場合、容器のサイズを基準としないので、様々なサイズや形状の容器に料理が盛り付けられている場合でも、容器のサイズや形状に影響を受けることなく、料理の重量を正確に計算することができる。しかも、撮影角度の検出や容器の高さの推定を行う必要がなく、料理の重量を正確に計算することができる。 While the size of containers varies from container to container (e.g., the size of plates varies from plate to plate), the size of cutlery does not vary significantly (e.g., the length of chopsticks is the same for all chopsticks). almost the same). According to the present invention, it is possible to estimate the area of the food in the food image based on the size of the cutlery, and calculate the weight of the food (the weight of the food placed in the container). In this case, the size of the container is not used as a standard, so even if the food is served in containers of various sizes and shapes, the weight of the food can be calculated accurately without being affected by the size or shape of the container. Can be done. Moreover, there is no need to detect the photographing angle or estimate the height of the container, and the weight of the dish can be calculated accurately.
また、本発明の料理重量計算装置は、算出された前記料理の重量に基づいて、前記料理の栄養価を計算する栄養価計算部を備えてもよい。 Further, the dish weight calculation device of the present invention may include a nutritional value calculation unit that calculates the nutritional value of the dish based on the calculated weight of the dish.
この構成によれば、料理の重量の計算結果に基づいて、料理の栄養価を正確に計算することができる。 According to this configuration, the nutritional value of the dish can be accurately calculated based on the calculation result of the weight of the dish.
本発明の方法は、料理重量計算装置で実行される方法であって、前記料理重量計算装置には、料理メニューごとに単位面積あたりの料理の重量の情報が記憶されており、前記方法は、ユーザによって撮影された食事画像が入力されると、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出するステップと、入力された前記食事画像から、当該食事画像に含まれるカトラリー画像を抽出するステップと、前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定するステップと、前記料理画像と前記カトラリー画像を画像分析することにより、前記カトラリー画像から特定されるカトラリーのサイズを基準として、前記料理画像に写っている料理の面積を推定するステップと、前記記憶された単位面積あたりの料理の重量の情報に基づいて、前記推定された料理の面積から当該料理の重量を算出するステップと、を含むものである。 The method of the present invention is a method that is executed by a food weight calculation device, and the food weight calculation device stores information on the weight of the food per unit area for each food menu, and the method includes: When a meal image taken by a user is input, a step of extracting a food image included in the input meal image from the input meal image; and a step of extracting a dish image included in the input meal image from the input meal image; a step of extracting an image; a step of identifying a food menu that is estimated to be shown in the food image by performing an image analysis of the food image; and a step of performing an image analysis of the food image and the cutlery image. estimating the area of the food in the food image based on the size of the cutlery identified from the cutlery image; and estimating the area of the food in the food image based on the stored information on the weight of the food per unit area. The method includes the step of calculating the weight of the dish from the area of the dish.
この方法によっても、上記の装置と同様に、容器のサイズや形状に影響を受けることなく、料理の重量を正確に計算することができ、しかも、撮影角度の検出や容器の高さの推定を行う必要がなく、料理の重量を正確に計算することができる。 Similar to the above-mentioned device, this method also allows accurate calculation of the weight of food without being affected by the size or shape of the container, and also allows detection of the shooting angle and estimation of the height of the container. You can accurately calculate the weight of the food without having to do so.
本発明のプログラムは、料理重量計算装置で実行されるプログラムであって、前記料理重量計算装置には、料理メニューごとに単位面積あたりの料理の重量の情報が記憶されており、前記プログラムは、前記料理重量計算装置に、ユーザによって撮影された食事画像が入力されると、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出する処理と、入力された前記食事画像から、当該食事画像に含まれるカトラリー画像を抽出する処理と、前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定する処理と、前記料理画像と前記カトラリー画像を画像分析することにより、前記カトラリー画像から特定されるカトラリーのサイズを基準として、前記料理画像に写っている料理の面積を推定する処理と、前記記憶された単位面積あたりの料理の重量の情報に基づいて、前記推定された料理の面積から当該料理の重量を算出する処理と、を実行させるものである。 The program of the present invention is a program executed by a dish weight calculation device, and the dish weight calculation device stores information on the weight of the dish per unit area for each dish menu, and the program includes: When a meal image photographed by a user is input to the food weight calculation device, a process of extracting a food image included in the input meal image from the input meal image, and a process of extracting a food image included in the input meal image, A process for extracting a cutlery image included in the meal image, a process for identifying a food menu estimated to be included in the food image by analyzing the food image, and the food image and the cutlery image. A process of estimating the area of the food in the food image based on the size of the cutlery identified from the cutlery image by analyzing the image, and information on the weight of the food per unit area stored in the food image. and calculating the weight of the dish based on the estimated area of the dish.
このプログラムによっても、上記の装置や方法と同様に、容器のサイズや形状に影響を受けることなく、料理の重量を正確に計算することができ、しかも、撮影角度の検出や容器の高さの推定を行う必要がなく、料理の重量を正確に計算することができる。 Like the devices and methods described above, this program can accurately calculate the weight of food without being affected by the size or shape of the container, and can also detect the shooting angle and calculate the height of the container. The weight of the dish can be calculated accurately without the need for estimation.
本発明によれば、容器のサイズや形状に影響を受けることなく、料理の重量を正確に計算することができ、しかも、撮影角度の検出や容器の高さの推定を行う必要がなく、料理
の重量を正確に計算することができる。
According to the present invention, it is possible to accurately calculate the weight of food without being affected by the size or shape of the container, and there is no need to detect the shooting angle or estimate the height of the container. The weight of can be calculated accurately.
以下、本発明の実施の形態の栄養計算装置について、図面を用いて説明する。本実施の形態では、ユーザの健康を管理する健康管理システム等に用いられる装置の場合を例示する。 Hereinafter, a nutritional calculation device according to an embodiment of the present invention will be described using the drawings. In this embodiment, a case of a device used in a health management system or the like for managing user's health will be exemplified.
本実施の形態の装置の構成を、図面を参照して説明する。図１は、本実施の形態の装置の構成を示すブロック図である。図１に示すように、装置１は、記憶部２と、食事画像入力部３と、料理画像抽出部４と、カトラリー画像抽出部５と、料理メニュー特定部６と、候補具材特定部７と、追加具材決定部８と、面積推定部９と、重量算出部１０と、栄養価計算部１１と、出力部１２を備えている。 The configuration of the apparatus of this embodiment will be explained with reference to the drawings. FIG. 1 is a block diagram showing the configuration of an apparatus according to this embodiment. As shown in FIG. 1, the apparatus 1 includes a storage section 2, a meal image input section 3, a food image extraction section 4, a cutlery image extraction section 5, a cooking menu identification section 6, and a candidate ingredient identification section 7. , an additional ingredient determination section 8 , an area estimation section 9 , a weight calculation section 10 , a nutritional value calculation section 11 , and an output section 12 .
記憶部２には、料理メニューごとに追加され得る具材の情報として、栄養アドバイスの観点から定められるグループに分類された具材の情報が記憶されている。より具体的には、料理メニューごとに、その料理メニューに追加され得る具材の情報と、その料理メニューに追加され得ない具材の情報が記憶されている。また、この記憶部２には、料理メニューごとに単位面積あたりの料理の重量の情報が記憶されている。栄養アドバイスの観点から定められるグループには、例えば、魚、貝甲殻類、肉、緑黄色野菜、淡色野菜、海草、きのこ類、豆類、卵、乳製品、芋類、果物、ナッツなどが含まれる。 The storage unit 2 stores information on ingredients classified into groups determined from the perspective of nutritional advice, as information on ingredients that can be added to each cooking menu. More specifically, for each cooking menu, information on ingredients that can be added to the cooking menu and information on ingredients that cannot be added to the cooking menu are stored. The storage unit 2 also stores information on the weight of the food per unit area for each food menu. Groups defined from the perspective of nutritional advice include, for example, fish, shellfish, meat, green and yellow vegetables, light-colored vegetables, seaweed, mushrooms, legumes, eggs, dairy products, potatoes, fruits, and nuts.
例えば、記憶部２には、「しょうゆラーメン」という料理メニューについて、この料理メニューに追加され得る具材（例えば、魚、貝甲殻類、肉、緑黄色野菜・・・など）の情報と、この料理メニューに追加され得ない具材（例えば、芋、豆、ナッツ、果物・・・など）の情報が記憶されている（図５参照）。なお、図５では、追加され得る具材が「１」で示され、追加され得ない具材が「０」で示されている。また、例えば、記憶部２には、「しょうゆラーメン」という料理メニューについて、単位面積あたりの料理の重量が記憶されている。また、記憶部２には、各料理メニュー（例えば「しょうゆラーメン」）について、その料理の基準栄養価の情報も記憶されている。 For example, for a food menu called "soy sauce ramen," the storage unit 2 stores information about ingredients that can be added to this food menu (e.g., fish, shellfish, meat, green and yellow vegetables, etc.) and information about this food. Information about ingredients that cannot be added to the menu (for example, potatoes, beans, nuts, fruits, etc.) is stored (see FIG. 5). In addition, in FIG. 5, ingredients that can be added are shown as "1", and ingredients that cannot be added are shown as "0". Furthermore, for example, the storage unit 2 stores the weight of the dish per unit area for the dish menu "Soy Sauce Ramen." The storage unit 2 also stores information on the standard nutritional value of each dish menu (for example, "soy sauce ramen").
食事画像入力部３には、ユーザによって撮影された食事画像が入力される。食事画像は、例えば、スマートフォンなどのユーザ端末によって撮影され、ユーザ端末から装置１に送信される。図２には、「しょうゆラーメン」の食事画像の例が示される。図２の食事画像には、「しょうゆラーメン」の料理画像と、「箸」のカトラリー画像が含まれている。 A meal image photographed by the user is input to the meal image input unit 3. The meal image is, for example, captured by a user terminal such as a smartphone, and transmitted to the device 1 from the user terminal. FIG. 2 shows an example of a meal image of "soy sauce ramen". The meal image in FIG. 2 includes a food image of "Soy Sauce Ramen" and a cutlery image of "Chopsticks."
料理画像抽出部４は、入力された食事画像から、その食事画像に含まれる料理画像を抽出する。例えば、料理画像抽出部４は、図２の「しょうゆラーメン」の食事画像から「しょうゆラーメン」の料理画像を抽出する。料理画像の抽出には、公知の技術を用いることができる。 The food image extraction unit 4 extracts the food images included in the inputted meal image. For example, the food image extraction unit 4 extracts the food image of "Soy Sauce Ramen" from the food image of "Soy Sauce Ramen" in FIG. A known technique can be used to extract the food image.
カトラリー画像抽出部５は、入力された食事画像から、その食事画像に含まれるカトラリー画像を抽出する。例えば、カトラリー画像抽出部５は、図２の「しょうゆラーメン」の食事画像から「箸」のカトラリー画像を抽出する。カトラリー画像の抽出には、公知の技術を用いることができる。 The cutlery image extraction unit 5 extracts cutlery images included in the input meal image. For example, the cutlery image extraction unit 5 extracts a cutlery image of "chopsticks" from the meal image of "soy sauce ramen" in FIG. A known technique can be used to extract the cutlery image.
料理メニュー特定部６は、料理画像を画像分析することにより、その料理画像に写っていると推定される料理メニューを特定する。料理メニューの特定には、公知の技術を用いることができる。例えば、図３に示すように、料理メニュー特定部６は、ＡＩを用いた画像分析により、その料理メニューである確からしさのスコアを算出する。図３の例では、スコアの値が最も高い「しょうゆラーメン」が、図２の料理画像に写っている料理メニューであると特定される。 The cooking menu specifying unit 6 specifies the cooking menu that is estimated to be included in the cooking image by analyzing the cooking image. Known techniques can be used to specify the food menu. For example, as shown in FIG. 3, the food menu specifying unit 6 calculates the probability score of the food menu by image analysis using AI. In the example of FIG. 3, "soy sauce ramen" with the highest score value is identified as the food menu shown in the food image of FIG.
候補具材特定部７は、料理画像を画像分析することにより、その料理画像に写っていると推定される具材を候補具材として特定する。候補具材の特定には、公知の技術を用いることができる。例えば、図４に示すように、候補具材特定部７は、ＡＩを用いた画像分析により、その料理画像に写っていると推定される具材の確からしさのスコアを算出する。図４の例では、スコアが所定の基準値（例えば、０．７）より高い「肉」「緑黄色野菜」「果物」が候補具材として特定される。 The candidate ingredient specifying unit 7 performs an image analysis of the dish image to identify ingredients that are estimated to be included in the dish image as candidate ingredients. Known techniques can be used to identify candidate ingredients. For example, as shown in FIG. 4, the candidate ingredient specifying unit 7 calculates the probability score of the ingredient estimated to be included in the food image by image analysis using AI. In the example of FIG. 4, "meat," "green and yellow vegetables," and "fruit" whose scores are higher than a predetermined reference value (for example, 0.7) are specified as candidate ingredients.
追加具材決定部８は、記憶部２に記憶された料理ごとの追加され得る具材の情報に基づいて、特定された候補具材の中から、特定された料理メニューに追加されている具材を、追加具材として決定する。例えば、図５に示すように、記憶部２には、「しょうゆラーメン」という料理メニューに追加され得る具材として、「肉」「緑黄色野菜」の情報が記憶されており、「しょうゆラーメン」という料理メニューに追加され得ない具材として、「果物」の情報が記憶されている。この場合、追加具材特定部は、「肉」「緑黄色野菜」という具材を、「しょうゆラーメン」という料理メニューの追加具材として決定し、「果物」という具材は、「しょうゆラーメン」という料理メニューの追加具材として決定しない。 The additional ingredient determining unit 8 selects ingredients that have been added to the specified dish menu from among the specified candidate ingredients based on the information on ingredients that can be added for each dish stored in the storage unit 2. Determine the material as an additional ingredient. For example, as shown in FIG. 5, the storage unit 2 stores information on ``meat'' and ``green and yellow vegetables'' as ingredients that can be added to a food menu called ``soy sauce ramen.'' Information on "fruit" is stored as an ingredient that cannot be added to the cooking menu. In this case, the additional ingredient identification department determines the ingredients ``meat'' and ``green and yellow vegetables'' as additional ingredients for the dish menu ``soy sauce ramen,'' and the ingredient ``fruit'' determines the ingredients ``soy sauce ramen.'' It is not decided as an additional ingredient in the cooking menu.
面積推定部９は、料理画像とカトラリー画像を画像分析することにより、カトラリー画像から特定されるカトラリーのサイズを基準として、料理画像に写っている料理の面積を推定する。面積の推定には、公知の技術を用いることができる。例えば、図６に示すように、面積推定部９は、ＡＩを用いた画像分析により、「箸」のサイズを基準として「しょうゆラーメン」の料理の面積を「３８５２４ｍｍ2」と推定する。 The area estimating unit 9 analyzes the food image and the cutlery image to estimate the area of the food in the food image based on the size of the cutlery identified from the cutlery image. Known techniques can be used to estimate the area. For example, as shown in FIG. 6, the area estimating unit 9 estimates the area of a dish of "soy sauce ramen" to be "38524 mm 2 " based on the size of "chopsticks" by image analysis using AI.
重量算出部１０は、記憶部２に記憶された単位面積あたりの料理の重量の情報に基づいて、推定された料理の面積からその料理の重量を算出する。例えば、図６に示すように、重量算出部１０は、「しょうゆラーメン」の料理の面積「３８５２４ｍｍ2」から「しょ
うゆラーメン」の料理の重量を「６５０ｇ」と算出する。
The weight calculation unit 10 calculates the weight of the dish from the estimated area of the dish, based on the information on the weight of the dish per unit area stored in the storage unit 2. For example, as shown in FIG. 6, the weight calculation unit 10 calculates the weight of the "Soy Sauce Ramen" dish as "650 g" from the area of the "Soy Sauce Ramen" dish "38524 mm 2 ".
栄養価計算部１１は、特定された料理メニューに基づいて算出される料理メニューの栄養価と、決定された追加具材に基づいて算出される追加具材の栄養価とに基づいて、料理画像に写っている料理の栄養価を計算する。 The nutritional value calculation unit 11 calculates a food image based on the nutritional value of the food menu calculated based on the specified food menu and the nutritional value of the additional ingredient calculated based on the determined additional ingredient. Calculate the nutritional value of the food shown in the picture.
この場合、記憶部２には、料理メニューごとに、基準重量あたりの栄養価（エネルギー、たんぱく質、・・・など）の情報が記憶されている。例えば、図７に示すように、記憶部２には、「しょうゆラーメン」という料理メニューについて、基準重量（５００ｇ）あたりの基準栄養価（エネルギー：６００ｋｃａｌ、たんぱく質・・・など）の情報が記憶されている。栄養価計算部１１は、重量算出部１０によって算出された「しょうゆラーメ
ン」の料理の重量（６５０ｇ）から係数α（＝６５０／５００）を算出し、基準重量（５００ｇ）あたりの基準栄養価にその係数αを乗算することにより、「しょうゆラーメン」の料理メニューの栄養価を算出する。
In this case, the storage unit 2 stores information on the nutritional value (energy, protein, etc.) per reference weight for each cooking menu. For example, as shown in FIG. 7, the storage unit 2 stores information on the standard nutritional value (energy: 600 kcal, protein, etc.) per standard weight (500 g) for a food menu called "soy sauce ramen." ing. The nutritional value calculation unit 11 calculates a coefficient α (=650/500) from the weight (650 g) of the “soy sauce ramen” dish calculated by the weight calculation unit 10, and calculates the standard nutritional value per standard weight (500 g). By multiplying by the coefficient α, the nutritional value of the "soy sauce ramen" menu is calculated.
また、記憶部２には、具材ごとに、基準重量あたりの栄養価（エネルギー、たんぱく質、・・・など）の情報が記憶されている。例えば、図８に示すように、記憶部２には、「肉」という具材について、基準重量（５０ｇ）あたりの基準栄養価（エネルギー：３００ｋｃａｌ、たんぱく質・・・など）の情報が記憶されている。また、記憶部２には、「緑黄色野菜」という具材について、基準重量（４０ｇ）あたりの基準栄養価（エネルギー：１０ｋｃａｌ、たんぱく質・・・など）の情報が記憶されている。栄養価計算部１１は、追加具材決定部８で決定された追加具材である「肉」と「緑黄色野菜」の基準栄養価に、それぞれ上記の係数αを乗算することにより、「肉」と「緑黄色野菜」という追加具材の栄養価をそれぞれ算出する。 The storage unit 2 also stores information on the nutritional value (energy, protein, etc.) per standard weight for each ingredient. For example, as shown in FIG. 8, the storage unit 2 stores information on the standard nutritional value (energy: 300 kcal, protein, etc.) per standard weight (50 g) of the ingredient "meat". There is. The storage unit 2 also stores information on the standard nutritional value (energy: 10 kcal, protein, etc.) per standard weight (40 g) of the ingredient "green and yellow vegetables." The nutritional value calculation unit 11 multiplies the standard nutritional values of the additional ingredients “meat” and “green and yellow vegetables” determined by the additional ingredient determination unit 8 by the above-mentioned coefficient α. Calculate the nutritional value of the additional ingredients ``green and yellow vegetables.''
そして、栄養価計算部１１は、上記のように算出した「しょうゆラーメン」の料理メニューの栄養価と、「肉」と「緑黄色野菜」という追加具材の栄養価とを、合算することにより、料理画像に写っている「しょうゆラーメン」の栄養価を算出する。 Then, the nutritional value calculation unit 11 adds up the nutritional value of the food menu of "soy sauce ramen" calculated as described above and the nutritional value of the additional ingredients "meat" and "green and yellow vegetables". Calculate the nutritional value of "Soy Sauce Ramen" shown in the food image.
出力部１２は、栄養価計算部１１で算出された栄養価（例えば、料理画像に写っている「しょうゆラーメン」の栄養価）を外部装置に出力する。外部装置には、例えば、ユーザ端末や、栄養アドバイスを行う管理栄養士の端末などが含まれる。 The output unit 12 outputs the nutritional value calculated by the nutritional value calculation unit 11 (for example, the nutritional value of “soy sauce ramen” shown in the food image) to an external device. External devices include, for example, user terminals and terminals of registered dietitians who provide nutritional advice.
以上のように構成された装置１について、図面を参照してその動作を説明する。 The operation of the apparatus 1 configured as described above will be explained with reference to the drawings.
本実施の形態の装置１では、ユーザによって撮影された食事画像（例えば「しょうゆラーメン」の食事画像）が入力されると（Ｓ１）、入力された食事画像から、その食事画像に含まれる料理画像（例えば「しょうゆラーメン」の料理画像）が抽出される（Ｓ２）。また、入力された食事画像から、その食事画像に含まれるカトラリー画像（例えば「箸」のカトラリー画像）が抽出される（Ｓ３）。 In the device 1 of the present embodiment, when a meal image photographed by a user (for example, a meal image of "soy sauce ramen") is input (S1), food images included in the meal image are selected from the input meal images. (For example, a food image of "soy sauce ramen") is extracted (S2). Further, from the input meal image, a cutlery image (for example, a cutlery image of "chopsticks") included in the meal image is extracted (S3).
つぎに、本実施の形態の装置１では、抽出した料理画像を画像分析することにより、その料理画像に写っていると推定される料理メニュー（例えば「しょうゆラーメン」）が特定される（Ｓ４）。また、料理画像を画像分析することにより、その料理画像に写っていると推定される具材（例えば「肉」と「緑黄色野菜」と「果物」）が、候補具材として特定される（Ｓ５）。そして、記憶部２に記憶された料理ごとの追加され得る具材の情報に基づいて、特定された料理メニューに追加されている具材（例えば「肉」と「緑黄色野菜」）が、追加具材として決定される（Ｓ６）。 Next, in the device 1 of the present embodiment, the extracted food image is analyzed to identify a food menu (for example, "soy sauce ramen") that is estimated to be included in the food image (S4). . Furthermore, by image analysis of the food image, ingredients estimated to be included in the food image (for example, "meat," "green and yellow vegetables," and "fruit") are identified as candidate ingredients (S5 ). Based on the information on the ingredients that can be added for each dish stored in the storage unit 2, the ingredients added to the specified dish menu (for example, "meat" and "green and yellow vegetables") are added as additional ingredients. It is determined as a material (S6).
また、本実施の形態の装置１では、料理画像とカトラリー画像を画像分析することにより、カトラリー画像から特定されるカトラリー（例えば「箸」）のサイズを基準として、料理画像に写っている料理の面積（例えば「しょうゆラーメン」の面積「３８５２４ｍｍ2」）が推定される（Ｓ７）。そして、記憶部２に記憶された単位面積あたりの料理の重
量の情報に基づいて、推定された料理の面積からその料理の重量（例えば「しょうゆラーメン」の重量「６５０ｇ」）が算出される（Ｓ８）。
In addition, in the device 1 of the present embodiment, by image-analyzing the food image and the cutlery image, the size of the cutlery (for example, "chopsticks") identified from the cutlery image is used as a reference to determine the size of the food in the food image. The area (for example, the area of ``Soy Sauce Ramen'' is ``38524 mm2 '') is estimated (S7). Then, based on the information on the weight of the dish per unit area stored in the storage unit 2, the weight of the dish (for example, the weight of "Soy Sauce Ramen""650g") is calculated from the estimated area of the dish ( S8).
そして、本実施の形態の装置１では、特定された料理メニューに基づいて算出されるその料理メニューの栄養価（例えば「しょうゆラーメン」の栄養価）と、決定された追加具材に基づいて算出されるその追加具材の栄養価（例えば「肉」と「緑黄色野菜」の栄養価）とに基づいて、料理画像に写っている料理の栄養価が計算される（Ｓ９）。 In the device 1 of the present embodiment, the nutritional value of the specified food menu is calculated based on the nutritional value of the food menu (for example, the nutritional value of "soy sauce ramen") and the determined additional ingredients are used. Based on the nutritional value of the added ingredients (for example, the nutritional value of "meat" and "green and yellow vegetables"), the nutritional value of the dish shown in the food image is calculated (S9).
このような本実施の形態の装置１によれば、ユーザによって撮影された食事画像から、その食事画像に含まれる料理画像（料理が写っている部分画像。料理領域の画像ともいえる）とカトラリー画像（カトラリーが写っている部分画像。カトラリー領域の画像ともいえる）が抽出される。そして、料理画像を画像分析することにより、料理画像に写っていると推定される料理メニュー（例えば、しょうゆラーメン）が特定される。また、料理画像とカトラリー画像を画像分析することにより、カトラリー画像から特定されるカトラリーのサイズを基準として、料理画像に写っている料理の面積が推定される。そして、推定された料理の面積から料理の重量が算出される。 According to the device 1 of the present embodiment, a food image (a partial image showing the food, which can also be called an image of the cooking area) and a cutlery image included in the meal image are extracted from the meal image photographed by the user. (A partial image in which the cutlery is shown. It can also be said to be an image of the cutlery area) is extracted. Then, by image-analyzing the food image, a food menu (for example, soy sauce ramen) that is presumed to be included in the food image is identified. Furthermore, by performing image analysis on the food image and the cutlery image, the area of the food in the food image is estimated based on the size of the cutlery identified from the cutlery image. Then, the weight of the dish is calculated from the estimated area of the dish.
容器のサイズは、容器によって様々である（例えば、皿のサイズは、皿によって様々である）のに対して、カトラリーのサイズは、それほど大きく異ならない（例えば、箸の長さは、どの箸でもほとんど同じである）。本実施の形態の装置１によれば、カトラリーのサイズを基準として、料理画像に写っている料理の面積を推定し、料理の重量（容器に入れられた料理の重量）を算出することが可能になる。この場合、容器のサイズを基準としないので、様々なサイズや形状の容器に料理が盛り付けられている場合でも、容器のサイズや形状に影響を受けることなく、料理の重量を正確に計算することができる。しかも、撮影角度の検出や容器の高さの推定を行う必要がなく、料理の重量を正確に計算することができる。 While the size of containers varies from container to container (e.g., the size of plates varies from plate to plate), the size of cutlery does not vary significantly (e.g., the length of chopsticks is the same for all chopsticks). almost the same). According to the device 1 of the present embodiment, it is possible to estimate the area of the food in the food image based on the size of the cutlery and calculate the weight of the food (the weight of the food placed in the container). become. In this case, the size of the container is not used as a standard, so even if the food is served in containers of various sizes and shapes, the weight of the food can be calculated accurately without being affected by the size or shape of the container. Can be done. Moreover, there is no need to detect the photographing angle or estimate the height of the container, and the weight of the dish can be calculated accurately.
また、本実施の形態の装置１によれば、料理の重量の計算結果に基づいて、料理の栄養価を正確に計算することができる。 Further, according to the device 1 of the present embodiment, the nutritional value of the dish can be accurately calculated based on the calculation result of the weight of the dish.
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。 Although the embodiments of the present invention have been described above by way of example, the scope of the present invention is not limited thereto, and can be modified and transformed according to the purpose within the scope of the claims. be.
以上のように、本発明にかかる料理重量計算装置は、ユーザによって撮影された料理画像から料理の重量を適切に推定することができるという効果を有し、ユーザの健康を管理する健康管理システム等に利用され、有用である。 As described above, the food weight calculation device according to the present invention has the effect of being able to appropriately estimate the weight of the food from the food image taken by the user, and can be used as a health management system for managing the user's health. It is used and useful.
１ 装置
２ 記憶部
３ 食事画像入力部
４ 料理画像抽出部
５ カトラリー画像抽出部
６ 料理メニュー特定部
７ 候補具材特定部
８ 追加具材決定部
９ 面積推定部
１０ 重量算出部
１１ 栄養価計算部
１２ 出力部
1 Apparatus 2 Storage unit 3 Meal image input unit 4 Food image extraction unit 5 Cutlery image extraction unit 6 Food menu identification unit 7 Candidate ingredient identification unit 8 Additional ingredient determination unit 9 Area estimation unit 10 Weight calculation unit 11 Nutritional value calculation unit 12 Output section
Claims (6)
入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出する料理画像抽出部と、
入力された前記食事画像から、当該食事画像に含まれる基準物体の画像を抽出する画像抽出部と、
前記料理画像と前記基準物体の画像を画像分析することにより、前記基準物体の画像から特定される基準物体のサイズを基準として、前記料理画像に写っている料理の面積を推定する面積推定部と、
を備え、
前記基準物体は、前記食事画像に含まれる物体のうち、当該物体によってサイズが異ならない物体であることを特徴とする料理面積推定装置。 a meal image input unit into which a meal image photographed by the user is input;
a food image extraction unit that extracts a food image included in the input meal image from the input meal image;
an image extraction unit that extracts an image of a reference object included in the input meal image from the input meal image;
an area estimating unit that estimates the area of the food in the food image based on the size of the reference object identified from the image of the reference object by performing image analysis on the image of the food and the image of the reference object; ,
Equipped with
The cooking area estimating device is characterized in that the reference object is an object whose size does not differ depending on the object among the objects included in the meal image.
前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定する料理メニュー特定部と、
前記記憶された単位面積あたりの料理の重量の情報に基づいて、前記推定された料理の面積から当該料理の重量を算出する重量算出部と、
を備える、請求項１に記載の料理面積推定装置。 a storage unit that stores information on the weight of food per unit area for each food menu;
a food menu identification unit that identifies a food menu that is estimated to be included in the food image by analyzing the food image;
a weight calculation unit that calculates the weight of the dish from the estimated area of the dish based on the stored information on the weight of the dish per unit area;
The cooking area estimating device according to claim 1, comprising:
前記方法は、
ユーザによって撮影された食事画像が入力されると、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出するステップと、
入力された前記食事画像から、当該食事画像に含まれる基準物体の画像を抽出するステ
ップと、
前記料理画像と前記基準物体の画像を画像分析することにより、前記基準物体の画像から特定される基準物体のサイズを基準として、前記料理画像に写っている料理の面積を推定するステップと、
を含み、
前記基準物体は、前記食事画像に含まれる物体のうち、当該物体によってサイズが異ならない物体であることを特徴とする方法。 A method performed by a cooking area estimating device, the method comprising:
The method includes:
When a meal image photographed by a user is input, extracting a food image included in the input meal image from the input meal image;
extracting an image of a reference object included in the input meal image from the input meal image;
estimating the area of the food in the food image based on the size of the reference object identified from the image of the reference object by performing image analysis on the food image and the image of the reference object;
including;
The method characterized in that the reference object is an object whose size does not differ depending on the object among the objects included in the meal image.
前記プログラムは、前記料理面積推定装置に、
ユーザによって撮影された食事画像が入力されると、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出する処理と、
入力された前記食事画像から、当該食事画像に含まれる基準物体の画像を抽出する処理と、
前記料理画像と前記基準物体の画像を画像分析することにより、前記基準物体の画像から特定される基準物体のサイズを基準として、前記料理画像に写っている料理の面積を推定する処理と、
を実行させるものであり、
前記基準物体は、前記食事画像に含まれる物体のうち、当該物体によってサイズが異ならない物体であることを特徴とするプログラム。 A program executed by a cooking area estimating device,
The program causes the cooking area estimating device to:
When a meal image photographed by a user is input, a process of extracting a dish image included in the input meal image from the input meal image;
A process of extracting an image of a reference object included in the input meal image from the input meal image;
A process of estimating the area of the food in the food image based on the size of the reference object identified from the image of the reference object by performing image analysis on the food image and the image of the reference object;
It is used to execute
The program is characterized in that the reference object is an object whose size does not differ depending on the object among the objects included in the meal image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024009129A JP2024038478A (en) | 2019-10-03 | 2024-01-25 | Cooking area estimation device |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019182617A JP6745962B1 (en) | 2019-10-03 | 2019-10-03 | Cooking weight calculator |
| JP2020132175A JP7428609B2 (en) | 2019-10-03 | 2020-08-04 | Cooking area estimation device |
| JP2024009129A JP2024038478A (en) | 2019-10-03 | 2024-01-25 | Cooking area estimation device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020132175A Division JP7428609B2 (en) | 2019-10-03 | 2020-08-04 | Cooking area estimation device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024038478A true JP2024038478A (en) | 2024-03-19 |
Family
ID=89771108
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020132175A Active JP7428609B2 (en) | 2019-10-03 | 2020-08-04 | Cooking area estimation device |
| JP2024009129A Pending JP2024038478A (en) | 2019-10-03 | 2024-01-25 | Cooking area estimation device |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020132175A Active JP7428609B2 (en) | 2019-10-03 | 2020-08-04 | Cooking area estimation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7428609B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114408232B (en) | 2021-12-01 | 2024-04-09 | 江苏大学 | Self-adaptive quantitative split charging method and device for multi-side dish fried rice in central kitchen |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017211691A (en) | 2016-05-23 | 2017-11-30 | 株式会社ツクタ技研 | Image processing device, image processing method, and image processing program |
| JP7064853B2 (en) | 2017-12-01 | 2022-05-11 | トヨタホーム株式会社 | Cooking content discrimination system and intake content discrimination system |
| CN108573503B (en) | 2018-04-12 | 2020-09-18 | 徐州乐健天合健康科技有限公司 | Dish quantity measuring and calculating method based on photographing |
-
2020
- 2020-08-04 JP JP2020132175A patent/JP7428609B2/en active Active
-
2024
- 2024-01-25 JP JP2024009129A patent/JP2024038478A/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021060387A (en) | 2021-04-15 |
| JP7428609B2 (en) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2024038478A (en) | Cooking area estimation device | |
| US9589341B2 (en) | Information processor, information processing method, and program | |
| US9703928B2 (en) | Information processing apparatus, method, and computer-readable storage medium for generating food item images | |
| CN106998710B (en) | Method and apparatus for meat products such as sirloin to be automatically cut into part | |
| JP2010061382A (en) | Automatic recipe creation apparatus and program | |
| JP7125929B2 (en) | nutrition calculator | |
| CN112053428A (en) | Method and device for identifying nutritional information contained in food | |
| US11478096B2 (en) | Food monitoring system | |
| US20200159750A1 (en) | System for measuring food weight | |
| CN111832590B (en) | Article identification method and system | |
| JP2018147416A (en) | Meal identification system, identification method and identification program | |
| JP2017211691A (en) | Image processing device, image processing method, and image processing program | |
| JP6745962B1 (en) | Cooking weight calculator | |
| JP2020135417A (en) | Information device, program and method for estimating usage of food or seasoning | |
| CN109636268B (en) | Goods monitoring system, method and device, electronic equipment and storage equipment | |
| JP6306785B1 (en) | Information processing system, information processing method, and information processing program | |
| JP2023054824A (en) | Food disposal timing management device, food disposal timing management system, and food disposal timing management method | |
| Yamakata et al. | Cooking ingredient recognition based on the load on a chopping board during cutting | |
| JP7064853B2 (en) | Cooking content discrimination system and intake content discrimination system | |
| JP2021060387A5 (en) | Cooking area estimation device | |
| US20180068585A1 (en) | Apparatus and method for estimating actual dietary content of meal of user | |
| CN112419432A (en) | Method and device for controlling food in refrigerator, electronic equipment and storage medium | |
| JP7284829B2 (en) | Information processing equipment | |
| US20220183505A1 (en) | Food processing device and recipe guidance methods | |
| KR102611452B1 (en) | Artificial Intelligence (AI)-based untact QSC inspection solution system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240222 |