JP6598930B1 - Calorie estimation device, calorie estimation method, and calorie estimation program - Google Patents

Calorie estimation device, calorie estimation method, and calorie estimation program Download PDF

Info

Publication number
JP6598930B1
JP6598930B1 JP2018118494A JP2018118494A JP6598930B1 JP 6598930 B1 JP6598930 B1 JP 6598930B1 JP 2018118494 A JP2018118494 A JP 2018118494A JP 2018118494 A JP2018118494 A JP 2018118494A JP 6598930 B1 JP6598930 B1 JP 6598930B1
Authority
JP
Japan
Prior art keywords
information
calorie
imaging
imaging information
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018118494A
Other languages
Japanese (ja)
Other versions
JP2019220051A (en
Inventor
尚志 永田
伸 佐分利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone West Corp
Original Assignee
Nippon Telegraph and Telephone West Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone West Corp filed Critical Nippon Telegraph and Telephone West Corp
Priority to JP2018118494A priority Critical patent/JP6598930B1/en
Application granted granted Critical
Publication of JP6598930B1 publication Critical patent/JP6598930B1/en
Publication of JP2019220051A publication Critical patent/JP2019220051A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】撮像情報から被写体のカロリーを高い精度で推定する、カロリー推定装置、カロリー推定方法、およびカロリー推定プログラムを提供する。【解決手段】料理カテゴリごとに予め取得された、所定の焦点距離の撮像情報を用いた基準画像情報と、当該撮像情報の被写体である料理のカロリー情報とを記憶する学習データ記憶部と、ユーザ端末から送信された料理の撮像情報を取得すると、当該撮像情報に含まれる焦点距離情報に基づいて当該撮像情報の大きさを調整し、当該大きさが調整された撮像情報を用いた登録画像情報を生成する撮像情報調整部と、登録画像情報と同じ料理カテゴリの基準画像情報を特定し、特定した基準画像情報に対応するカロリー情報を取得し、当該カロリー情報を、取得した撮像情報の被写体である料理の推定カロリーとして算出するカロリー情報推定部とを備える。【選択図】図1A calorie estimation device, a calorie estimation method, and a calorie estimation program for estimating calories of a subject with high accuracy from imaging information are provided. A learning data storage unit that stores reference image information using imaging information of a predetermined focal length acquired in advance for each cooking category, and calorie information of a dish that is a subject of the imaging information, and a user When the imaging information of the dish transmitted from the terminal is acquired, the size of the imaging information is adjusted based on the focal length information included in the imaging information, and the registered image information using the imaging information whose size is adjusted An imaging information adjustment unit that generates the reference image information of the same cooking category as the registered image information, obtains calorie information corresponding to the identified reference image information, and obtains the calorie information by the subject of the obtained imaging information A calorie information estimation unit that calculates the estimated calories of a certain dish. [Selection] Figure 1

Description

本発明は、撮像情報から被写体のカロリーを推定するカロリー推定装置、カロリー推定方法、およびカロリー推定プログラムに関する。   The present invention relates to a calorie estimation device, a calorie estimation method, and a calorie estimation program for estimating the calorie of a subject from imaging information.

近年、健康意識の高まりにより、様々な食事管理アプリケーションが開発されている。食事管理アプリケーションの中には、摂取する料理を撮影した撮像情報から当該料理のカロリーを推定するカロリー推定機能が搭載されたものがある。   In recent years, various meal management applications have been developed due to an increase in health consciousness. Some meal management applications are equipped with a calorie estimation function for estimating the calories of the food from imaging information obtained by photographing the food to be ingested.

このようなカロリー機能が搭載された食事管理アプリケーションを利用することにより、ユーザは栄養学の知識がなくても自身が摂取した料理のカロリーを簡易に記録することができる。   By using a meal management application equipped with such a calorie function, the user can easily record the calories of the food taken by the user without knowledge of nutrition.

Multi-task CNNを用いた食材および調理手順情報を利用した食事画像カロリー推定 第20回 画像の認識・理解シンポジウム 電気通信大学情報理工学部総合情報学Meal image calorie estimation using food and cooking procedure information using Multi-task CNN 20th Symposium on Image Recognition and Understanding 「簡単!栄養andカロリー計算」[平成30年5月30日検索]、インターネット〈URL: http://www.eiyoukeisan.com/calorie/nut_list/calorie.html〉,〈URL: https://www.eiyoukeisan.com/dietary_logs/multi_edit_food〉“Easy! Nutrition and Calorie Calculation” [Search May 30, 2018], Internet <URL: http://www.eiyoukeisan.com/calorie/nut_list/calorie.html>, <URL: https: // www .eiyoukeisan.com / dietary_logs / multi_edit_food> あすけん「カロリー計算」[平成30年5月30日検索]、インターネット〈URL: https://www.asken.jp/calculate/〉Asken "Calculation of Calories" [Search May 30, 2018], Internet <URL: https://www.asken.jp/calculate/> 「カロリー管理アプリ『カロリー管理(痩せるアプリ)』で簡単ダイエット」[平成30年5月30日検索]、インターネット〈URL: https://jp.appbase.info/diet-app-calorie-management/〉“Easy diet with calorie management app“ Calories management ”application [Search May 30, 2018], Internet <URL: https://jp.appbase.info/diet-app-calorie-management/> 「これで痩せる!カロリーを管理してダイエットに使えるアプリ4選」、株式会社LIG、[平成30年5月30日検索]、インターネット〈URL: http://liginc.co.jp/life/useful-info/75162〉“You can lose weight! 4 apps for managing your calories and for dieting”, LIG, Inc. [Search May 30, 2018], Internet <URL: http://liginc.co.jp/life/useful -info / 75162> 「FoodLog」[平成30年5月30日検索]、インターネット〈URL: https://foo-log.co.jp/business-foodlog.html〉,〈URL: https://www.jst.go.jp/pr/jst-news/pdf/2012/2013_01_p12.pdf〉“FoodLog” [searched on May 30, 2018], Internet <URL: https://foo-log.co.jp/business-foodlog.html>, <URL: https: //www.jst.go. jp / pr / jst-news / pdf / 2012 / 2013_01_p12.pdf>

上述したようなカロリー推定機能を利用する際、ユーザはまず摂取する料理を撮影し、生成された撮像情報を食事管理アプリケーションに入力する。そして、入力された撮像情報が当該食事管理アプリケーションのカロリー推定機能により解析され、当該料理の推定カロリーが算出される。   When using the calorie estimation function as described above, the user first captures the food to be ingested and inputs the generated imaging information to the meal management application. Then, the input imaging information is analyzed by the calorie estimation function of the meal management application, and the estimated calorie of the dish is calculated.

しかし、ユーザにより撮影される撮像情報は、都度焦点距離が異なるため撮像情報内における料理の大きさにばらつきがあり、算出されるカロリーの推定精度が低くなってしまうという問題があった。   However, the imaging information photographed by the user has a different focal length each time, so that there is a variation in the size of the dish in the imaging information, and there is a problem that the accuracy of calculating the calculated calories is low.

本発明は上記事情を鑑みてなされたものであり、撮像情報から被写体のカロリーを高い精度で推定することが可能な、カロリー推定装置、カロリー推定方法、およびカロリー推定プログラムを提供することを目的とする。   The present invention has been made in view of the above circumstances, and an object thereof is to provide a calorie estimation device, a calorie estimation method, and a calorie estimation program capable of estimating the calorie of a subject with high accuracy from imaging information. To do.

上記の課題を解決するための、本発明のカロリー推定装置は、撮影時のレンズの焦点距離情報を含む撮像情報を生成するカメラ装置を内蔵したユーザ端末と通信可能に接続された料理のカロリー推定装置において、料理カテゴリごとに予め取得された、所定の焦点距離の撮像情報を用いた基準画像情報と、当該撮像情報の被写体である料理のカロリー情報とを記憶する学習データ記憶部と、前記ユーザ端末から送信された、前記カメラ装置で撮影された料理の撮像情報を取得すると、当該撮像情報に含まれる焦点距離情報が予め設定された最小焦点距離を超えるときには、当該撮像情報内の被写体の大きさが前記基準画像情報の焦点距離で撮影した場合の被写体の大きさと同程度になるように当該撮像情報の大きさを調整し、当該大きさが調整された撮像情報を用いた登録画像情報を生成する撮像情報調整部と、前記撮像情報調整部で生成された登録画像情報と、前記学習データ記憶部に記憶された料理カテゴリごとの基準画像情報とを比較することにより、前記登録画像情報と同じ料理カテゴリの基準画像情報を特定し、特定した基準画像情報に対応するカロリー情報を取得し、当該カロリー情報を、取得した撮像情報の被写体である料理の推定カロリーとして算出するカロリー情報推定部とを備えることを特徴とする。 In order to solve the above problem, the calorie estimation apparatus of the present invention is a calorie estimation of a dish connected to be communicable with a user terminal incorporating a camera device that generates imaging information including focal length information of a lens at the time of shooting. In the apparatus, a learning data storage unit that stores reference image information acquired in advance for each cooking category using imaging information of a predetermined focal length, and calorie information of a dish that is a subject of the imaging information, and the user When acquiring imaging information of a dish taken by the camera device transmitted from the terminal, when the focal length information included in the imaging information exceeds a preset minimum focal length, the size of the subject in the imaging information is it adjusts the size of the imaging information so that the size about the same subject when taken with the focal length of the reference image information, the size is adjusted An imaging information adjustment unit that generates registered image information using the acquired imaging information, registered image information generated by the imaging information adjustment unit, and reference image information for each cooking category stored in the learning data storage unit, Are compared, the reference image information of the same cooking category as the registered image information is specified, the calorie information corresponding to the specified reference image information is acquired, and the calorie information is the subject of the acquired imaging information. It is provided with the calorie information estimation part computed as a presumed calorie.

また、本発明のカロリー推定方法は、撮影時のレンズの焦点距離情報を含む撮像情報を生成するカメラ装置を内蔵したユーザ端末と通信可能に接続されたカロリー推定装置が、料理カテゴリごとに予め取得された、所定の焦点距離の撮像情報を用いた基準画像情報と、当該撮像情報の被写体である料理のカロリー情報とを記憶する学習データ記憶ステップと、前記ユーザ端末から送信された、前記カメラ装置で撮影された料理の撮像情報を取得すると、当該撮像情報に含まれる焦点距離情報が予め設定された最小焦点距離を超えるときには、当該撮像情報内の被写体の大きさが前記基準画像情報の焦点距離で撮影した場合の被写体の大きさと同程度になるように当該撮像情報の大きさを調整し、当該大きさが調整された撮像情報を用いた登録画像情報を生成する撮像情報調整ステップと、前記撮像情報調整ステップで生成された登録画像情報と、前記学習データ記憶ステップにより記憶された料理カテゴリごとの基準画像情報とを比較することにより、前記登録画像情報と同じ料理カテゴリの基準画像情報を特定し、特定した基準画像情報に対応するカロリー情報を取得し、当該カロリー情報を、取得した撮像情報の被写体である料理の推定カロリーとして算出するカロリー情報推定ステップとを有することを特徴とする。 In addition, the calorie estimation method of the present invention is obtained in advance for each dish category by a calorie estimation device that is communicably connected to a user terminal including a camera device that generates imaging information including focal length information of a lens at the time of shooting. A learning data storing step for storing reference image information using imaging information of a predetermined focal length and calorie information of a dish that is a subject of the imaging information, and the camera device transmitted from the user terminal When the imaging information of the dish photographed in step S3 is acquired, when the focal length information included in the imaging information exceeds a preset minimum focal length, the size of the subject in the imaging information is the focal length of the reference image information. in size of the imaging information so that the size about the same subject when photographing was adjusted using the imaging information which the magnitude has been adjusted registered The registration is performed by comparing the imaging information adjustment step for generating image information, the registered image information generated in the imaging information adjustment step, and the reference image information for each cooking category stored in the learning data storage step. Calorie information that specifies reference image information of the same cooking category as the image information, acquires calorie information corresponding to the specified reference image information, and calculates the calorie information as an estimated calorie of the dish that is the subject of the acquired imaging information And an estimation step.

また、本発明のカロリー推定プログラムは、請求項1から3に記載したカロリー推定装置としてコンピュータを機能させるためのコンピュータプログラムであることを特徴とする。   The calorie estimation program of the present invention is a computer program for causing a computer to function as the calorie estimation apparatus according to claims 1 to 3.

本発明のカロリー推定装置、カロリー推定方法、およびカロリー推定プログラムによれば、撮像情報から被写体のカロリーを高い精度で推定することができる。   According to the calorie estimation device, the calorie estimation method, and the calorie estimation program of the present invention, the calorie of the subject can be estimated from the imaging information with high accuracy.

本発明の一実施形態によるカロリー推定装置としての食事管理サーバを用いた食事管理システムの構成を示すブロック図である。It is a block diagram which shows the structure of the meal management system using the meal management server as a calorie estimation apparatus by one Embodiment of this invention. 本発明の一実施形態によるカロリー推定装置としての食事管理サーバで実行される学習データ処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the learning data process performed with the meal management server as a calorie estimation apparatus by one Embodiment of this invention. 本発明の一実施形態によるカロリー推定装置としての食事管理サーバで実行される料理の撮像情報を縮小させるためのサイズ値の一例を示す表である。It is a table | surface which shows an example of the size value for reducing the imaging information of the dish performed with the meal management server as a calorie estimation apparatus by one Embodiment of this invention. 本発明の一実施形態によるカロリー推定装置としての食事管理サーバで実行されるリサイズ処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the resizing process performed with the meal management server as a calorie estimation apparatus by one Embodiment of this invention. 本発明の一実施形態によるカロリー推定装置としての食事管理サーバで、同じ大きさの料理を異なる焦点距離で撮影した撮像情報をリサイズ処理して生成した基準画像情報を示す説明図である。It is explanatory drawing which shows the reference | standard image information produced | generated by resizing the imaging information which image | photographed the food of the same magnitude | size with a different focal distance with the meal management server as a calorie estimation apparatus by one Embodiment of this invention. 本発明の一実施形態によるカロリー推定装置としての食事管理サーバで、異なる大きさの料理を異なる焦点距離で撮影した撮像情報をリサイズ処理して生成した基準画像情報を示す説明図である。It is explanatory drawing which shows the reference image information produced | generated by resizing the imaging information which image | photographed the food of a different magnitude | size with a different focal distance with the meal management server as a calorie estimation apparatus by one Embodiment of this invention. 本発明の一実施形態によるカロリー推定装置としての食事管理サーバを用いた食事管理システムをユーザが利用する際に実行される処理を示すシーケンス図である。It is a sequence diagram which shows the process performed when a user utilizes the meal management system using the meal management server as a calorie estimation apparatus by one Embodiment of this invention. 発明の一実施形態によるカロリー推定装置としての食事管理サーバで生成されるユーザ別の食事情報の一例を示す表である。It is a table | surface which shows an example of the meal information according to user produced | generated with the meal management server as a calorie estimation apparatus by one Embodiment of invention.

〈一実施形態によるカロリー推定装置を用いた食事管理システムの構成〉
本発明の一実施形態によるカロリー推定装置を用いた食事管理システムの構成について、図1を参照して説明する。
<Configuration of meal management system using calorie estimation apparatus according to one embodiment>
The structure of the meal management system using the calorie estimation apparatus by one Embodiment of this invention is demonstrated with reference to FIG.

本実施形態による食事管理システム1は、ユーザ端末10と、料理情報Webサーバ20と、カロリー推定装置としての機能を有する食事管理サーバ30とが、通信ネットワーク40を介して接続されて構成される。図1においては、食事管理システム1内に1台のユーザ端末10が接続されている場合について示しているが、実際には複数のユーザ端末10が通信ネットワーク40に接続されている。   The meal management system 1 according to the present embodiment is configured by connecting a user terminal 10, a dish information Web server 20, and a meal management server 30 having a function as a calorie estimation apparatus via a communication network 40. Although FIG. 1 shows the case where one user terminal 10 is connected in the meal management system 1, a plurality of user terminals 10 are actually connected to the communication network 40.

ユーザ端末10は、例えばスマートフォンやタブレット端末等であり、タッチパネル11と、カメラ装置12と、端末通信部13とを有し、食事管理アプリケーション14が搭載されている。   The user terminal 10 is, for example, a smartphone or a tablet terminal, and includes a touch panel 11, a camera device 12, and a terminal communication unit 13, and a meal management application 14 is mounted.

タッチパネル11は、ユーザの操作情報を入力するとともに、ユーザに提供する情報を表示する。カメラ装置12は、撮像レンズを内蔵し、ユーザによりタッチパネル11で撮影操作が行われると撮影処理を行い、撮影時の焦点距離情報を含むExif(Exchangeable image file format)情報を付加した撮像情報を生成する。端末通信部13は、通信ネットワーク40を介して食事管理サーバ30との通信を行う。   The touch panel 11 inputs user operation information and displays information provided to the user. The camera device 12 has a built-in imaging lens, performs a shooting process when a user performs a shooting operation on the touch panel 11, and generates imaging information with Exif (Exchangeable image file format) information including focal length information at the time of shooting. To do. The terminal communication unit 13 communicates with the meal management server 30 via the communication network 40.

食事管理アプリケーション14は、登録要求部141と、ユーザ情報要求部142と、表示情報生成部143とを有する。登録要求部141は、ユーザによりタッチパネル11で、カメラ装置12により撮影された料理を食事情報として登録するための登録要求操作が行われると、該当する撮像情報とともに登録要求信号を端末通信部13から食事管理サーバ30宛てに送信する。   The meal management application 14 includes a registration request unit 141, a user information request unit 142, and a display information generation unit 143. When a registration request operation for registering a dish photographed by the camera device 12 as meal information is performed on the touch panel 11 by the user, the registration request unit 141 sends a registration request signal together with corresponding imaging information from the terminal communication unit 13. It transmits to the meal management server 30 addressed.

ユーザ情報要求部142は、ユーザによりタッチパネル11で、ユーザの食事情報を閲覧するためのユーザ情報要求操作が行われると、端末通信部13から食事管理サーバ30宛てにユーザ情報要求信号を送信する。表示情報生成部143は、ユーザ情報要求信号に応答して食事管理サーバ30から送信されたユーザの食事情報を表示させるための表示情報を生成し、タッチパネル11に表示させる。   When a user information request operation for browsing the user's meal information is performed on the touch panel 11 by the user, the user information request unit 142 transmits a user information request signal from the terminal communication unit 13 to the meal management server 30. The display information generation unit 143 generates display information for displaying the user's meal information transmitted from the meal management server 30 in response to the user information request signal, and causes the touch panel 11 to display the display information.

料理情報Webサーバ20は、料理のカテゴリごとの撮像情報、当該撮像情報の被写体である料理のカロリー情報、および当該撮像情報の被写体である料理が何人前かを示す量の情報を含む料理Webサイト情報を保持する。当該料理Webサイト情報の撮像情報には、該当するExif情報が付加されている。   The dish information Web server 20 includes imaging information for each category of cooking, calorie information of the dish that is the subject of the imaging information, and information on the amount of information indicating how many dishes are the subject of the imaging information. Keep information. Corresponding Exif information is added to the imaging information of the cooking website information.

食事管理サーバ30は、サーバ通信部31と、Webサイト情報取得部32と、撮像情報調整部33と、学習データ記憶部34と、登録要求取得部35と、カロリー情報推定部36と、ユーザ別情報登録部37とを有する。   The meal management server 30 includes a server communication unit 31, a website information acquisition unit 32, an imaging information adjustment unit 33, a learning data storage unit 34, a registration request acquisition unit 35, a calorie information estimation unit 36, and a user-specific information. And an information registration unit 37.

サーバ通信部31は、通信ネットワーク40を介して、ユーザ端末10および料理情報Webサーバ20と通信を行う。Webサイト情報取得部32は、サーバ通信部31を介して料理情報Webサーバ20から料理Webサイト情報を取得する。撮像情報調整部33は、取得された料理Webサイト情報内の撮像情報に付加されたExif情報に基づいて当該撮像情報の大きさを調整して、該当する料理カテゴリの基準画像情報を生成する。また撮像情報調整部33は、後述する登録要求取得部35で取得される撮像情報に付加されたExif情報に基づいて当該撮像情報の大きさを調整して、食事情報の登録処理対象とする登録画像情報を生成する。   The server communication unit 31 communicates with the user terminal 10 and the dish information Web server 20 via the communication network 40. The website information acquisition unit 32 acquires the dish website information from the dish information web server 20 via the server communication unit 31. The imaging information adjustment unit 33 adjusts the size of the imaging information based on the Exif information added to the imaging information in the acquired cooking website information, and generates reference image information of the corresponding cooking category. The imaging information adjustment unit 33 adjusts the size of the imaging information based on Exif information added to the imaging information acquired by the registration request acquisition unit 35 to be described later, and registers it as a meal information registration processing target. Generate image information.

学習データ記憶部34は、Webサイト情報取得部32で取得された料理Webサイト情報に関し、料理のカテゴリごとに、カロリー情報と、何人前かを示す量の情報と、撮像情報調整部33で生成された基準画像情報とを対応付けて、学習データとして記憶する。   The learning data storage unit 34 generates the calorie information, the amount information indicating the number of servings, and the imaging information adjustment unit 33 for each cooking category regarding the cooking website information acquired by the website information acquisition unit 32. The obtained reference image information is associated with each other and stored as learning data.

登録要求取得部35は、サーバ通信部31を介してユーザ端末10から送信された登録要求信号およびこれに付加された撮像情報を取得する。カロリー情報推定部36は、登録要求取得部35で登録要求信号が取得されると、当該撮像情報に基づいて撮像情報調整部33で生成された登録画像情報に対応する基準画像情報を学習データ記憶部34に記憶された学習データの中から特定し、特定した基準撮像情報に対応するカロリー情報および量の情報を取得する。そして、取得した情報に基づいて、当該撮像情報内の料理の推定カロリー、および量の情報(何人前)を算出する。ユーザ別情報登録部37は、カロリー情報推定部36で算出された料理の推定カロリーおよび量の情報を、該当するユーザの食事情報として料理カテゴリとともに登録する。   The registration request acquisition unit 35 acquires a registration request signal transmitted from the user terminal 10 via the server communication unit 31 and imaging information added thereto. When the registration request signal is acquired by the registration request acquisition unit 35, the calorie information estimation unit 36 stores reference image information corresponding to the registered image information generated by the imaging information adjustment unit 33 based on the imaging information as learning data. The learning data stored in the unit 34 is specified, and calorie information and quantity information corresponding to the specified reference imaging information are acquired. And based on the acquired information, the estimated calorie of the dish in the said imaging information, and the information (how many) are calculated. The per-user information registration unit 37 registers the estimated calorie and quantity information of the dish calculated by the calorie information estimation unit 36 together with the dish category as the corresponding user meal information.

〈一実施形態によるカロリー推定装置を用いた食事管理システムの動作〉
次に、本実施形態による食事管理システム1の動作について説明する。まず、ユーザが当該食事管理システム1を利用する前に、食事管理サーバ30で実行される学習データ処理について、図2のフローチャートを参照して説明する。
<Operation of meal management system using calorie estimation apparatus according to one embodiment>
Next, operation | movement of the meal management system 1 by this embodiment is demonstrated. First, learning data processing executed by the meal management server 30 before the user uses the meal management system 1 will be described with reference to the flowchart of FIG.

[学習データ処理]
食事管理サーバ30で学習データ処理が開始されると、Webサイト情報取得部32からサーバ通信部31、通信ネットワーク40を介して料理情報Webサーバ20にアクセスされ、様々な料理に関する料理Webサイト情報が取得される(S1)。取得された料理Webサイト情報には、料理のカテゴリごとの撮像情報、当該撮像情報の被写体である料理のカロリー情報、および当該撮像情報の被写体である料理が何人前かを示す量の情報が含まれている。
[Learning data processing]
When the learning data processing is started in the meal management server 30, the dish information Web server 20 is accessed from the website information acquisition unit 32 via the server communication unit 31 and the communication network 40, and dish website information regarding various dishes is obtained. Obtained (S1). The acquired cooking website information includes imaging information for each category of cooking, calorie information of the dish that is the subject of the imaging information, and information on the amount that indicates the serving of the cooking that is the subject of the imaging information. It is.

Webサイト情報取得部32で様々な料理カテゴリに関する料理Webサイト情報が取得されると、撮像情報調整部33により、取得された料理Webサイト情報内のn個の料理カテゴリそれぞれに関するn枚の撮像情報P(1)〜P(n)が取得される。取得されたn枚の撮像情報P(1)〜P(n)は、それぞれ撮影時の焦点距離が異なる。料理が撮影される際のカメラ装置の焦点距離について、以下に説明する。   When the dish website information relating to various dish categories is obtained by the website information obtaining unit 32, the imaging information adjusting part 33 performs n pieces of imaging information relating to each of the n dish categories in the obtained dish website information. P (1) to P (n) are acquired. The acquired n pieces of imaging information P (1) to P (n) have different focal lengths at the time of shooting. The focal length of the camera device when a dish is photographed will be described below.

一般的に、料理を撮影する際は、撮影者が座った状態で机上に置かれた料理を撮影すると想定されるため、カメラ装置のレンズと被写体である料理との距離(以下、「撮影距離」と記載する)はある程度限定される。   In general, when shooting a dish, it is assumed that the photographer is sitting on the desk with the photographer sitting, so the distance between the lens of the camera device and the subject dish (hereinafter referred to as “shooting distance”). ") Is limited to some extent.

これに基づいて、料理が撮影される際の最大焦点距離は、以下のように算出される。料理を撮影する際は撮影者が座って撮影することに着目すると、撮影距離は最大で0.65m程度であると想定される。この最大撮影距離は、男女平均身長から人間工学に基づいて算出された、平均座高長とこれに適した机の高さとに基づいて算出されたものである。また、料理を撮像する際の撮影範囲は、一般的なランチョンマットの大きさに対応した、水平方向0.5m×垂直方向0.3m程度が想定される。また、35mフルサイズのカメラ装置の撮像センサの水平サイズは36mmであり、垂直サイズは24mmである。   Based on this, the maximum focal length when the dish is photographed is calculated as follows. Focusing on the fact that the photographer sits down when shooting food, the shooting distance is assumed to be about 0.65m at maximum. This maximum shooting distance is calculated based on the average sitting height calculated from the average height of men and women based on ergonomics and the height of the desk suitable for this. In addition, it is assumed that the shooting range when shooting a dish is about 0.5 m in the horizontal direction and about 0.3 m in the vertical direction corresponding to the size of a general place mat. In addition, the horizontal size of the imaging sensor of the 35 m full size camera device is 36 mm, and the vertical size is 24 mm.

一方、撮像情報の撮影範囲を示す水平方向の長さは以下の式(1)により算出され、垂直方向の長さは式(2)により算出することができる。   On the other hand, the horizontal length indicating the imaging range of the imaging information can be calculated by the following formula (1), and the vertical length can be calculated by the formula (2).

Figure 0006598930
Figure 0006598930

式(1)に、上述した最大撮影距離の想定値0.65m、料理を撮影する際の撮影範囲の水平方向の長さの想定値0.5m、撮像センサの水平サイズ36mmを代入すると、レンズの焦点距離が46.8mmとして算出される。このときの撮影範囲の垂直方向の長さは0.33mとなり、一般的なランチョンマットの大きさにほぼ対応する。また、式(2)に、上述した最大撮影距離の想定値0.65m、料理を撮影する際の撮影範囲の垂直方向の長さの想定値0.3m、撮像センサの垂直サイズ24mmを代入すると、レンズの焦点距離が52mmとして算出される。このときの撮影範囲の水平方向の長さは0.45mとなり、一般的なランチョンマットよりも小さくなってしまう。そのため、撮影範囲の水平方向、垂直方向ともに一般的なランチョンマットの大きさに対応する、式(1)により算出された焦点距離46.8mmを基準とし、この焦点距離46.8mm以上で市販品に広く用いられている50mmが、料理を撮影する際の最大焦点距離として算出される。 また、料理が撮影される際の最小焦点距離は、例えば、35mフルサイズのカメラ装置による画角180度撮影時の焦点距離の最小限界値である「8mm」である。   Substituting into formula (1) the assumed maximum shooting distance value of 0.65m, the assumed horizontal length of the shooting range when shooting food, and the horizontal size of the imaging sensor of 36mm, the lens focus The distance is calculated as 46.8mm. At this time, the vertical length of the shooting range is 0.33 m, which roughly corresponds to the size of a general place mat. In addition, when the assumed value of the maximum shooting distance of 0.65 m, the assumed length of the shooting range in shooting in the vertical direction of 0.3 m, and the vertical size of the imaging sensor of 24 mm are substituted into the equation (2), the lens The focal length is calculated as 52 mm. The horizontal length of the shooting range at this time is 0.45 m, which is smaller than a general place mat. For this reason, the focal length of 46.8 mm calculated by Equation (1), which corresponds to the size of a general place mat, in both the horizontal and vertical directions of the shooting range is used as a reference, and is widely available on the market. The 50 mm used is calculated as the maximum focal length when shooting a dish. Further, the minimum focal length when the dish is photographed is, for example, “8 mm” which is the minimum limit value of the focal length when photographing the angle of view by 180 degrees with a 35 m full size camera device.

一方、所定の被写体を同一の撮影距離により、異なる焦点距離で撮影した場合、焦点距離が短いときは撮影範囲が広くなるため撮像情報内での被写体が小さくなり、焦点距離が長いときには撮影範囲が狭くなるため撮像情報内での被写体の大きさが大きくなる。そのため、予め設定された基準の焦点距離よりも長い焦点距離で撮影した場合には、撮像情報を適宜縮小させることで、撮像情報内の被写体の大きさを当該基準の焦点距離で撮影した場合と同程度に揃えることができる。   On the other hand, when a predetermined subject is shot at different focal lengths with the same shooting distance, the shooting range is wide when the focal length is short, so the subject in the imaging information is small, and when the focal length is long, the shooting range is Since it becomes narrow, the size of the subject in the imaging information increases. Therefore, when shooting with a focal length longer than a preset reference focal length, by appropriately reducing the imaging information, the subject size in the imaging information is shot with the reference focal length. Can be aligned to the same degree.

一例として、図3に、35m換算において基準の焦点距離を10mmとし、10mmを超える各焦点距離で撮影した撮像情報を、10mmの焦点距離で撮影した場合と被写体の大きさが同程度になるように縮小させるための撮像情報のサイズ値を示す。図3に示すように、撮像情報の画面の横:縦の比が3:2の場合、4:3の場合ともに、焦点距離10mmで撮影されたときの撮像情報のサイズ値を横1.00、縦1.00とすると、焦点距離が長くなるにつれて縦横ともにサイズ値が小さくなり、撮像情報の縮小率が高くなる。   As an example, in Fig. 3, the reference focal length is set to 10mm in 35m equivalent, and the subject size is about the same as when shooting information taken at each focal length exceeding 10mm with a focal length of 10mm. Indicates the size value of the imaging information for reduction. As shown in FIG. 3, when the horizontal / vertical ratio of the imaging information screen is 3: 2, the size value of the imaging information when the focal length is 10 mm is set to 1.00 horizontal and vertical in both cases of 4: 3. Assuming 1.00, the size value decreases both vertically and horizontally as the focal length increases, and the reduction rate of the imaging information increases.

本実施形態においては、上述した料理を撮影する際の最小焦点距離である「8mm」を基準の焦点距離として、撮像情報調整部33において、料理Webサイト情報から取得された撮像情報P(1)〜P(n)の大きさが調整(リサイズ)される場合について説明する。つまり、撮像情報P(1)〜(n)のうち焦点距離が8mmを超える撮像情報が、当該基準の焦点距離8mmで撮影された場合と被写体の大きさが同程度になるように、リサイズ処理される。以下に、撮像情報(1)〜(n)のリサイズ処理について説明する。   In the present embodiment, the imaging information adjustment unit 33 uses the imaging information P (1) acquired from the cooking website information with “8 mm”, which is the minimum focal length when shooting a dish, as a reference focal length. A case where the size of P (n) is adjusted (resized) will be described. That is, resizing processing is performed so that imaging information having a focal length of more than 8 mm among the imaging information P (1) to (n) has the same size as the subject when the imaging information is captured at the reference focal length of 8 mm. Is done. Hereinafter, the resizing process of the imaging information (1) to (n) will be described.

まず、取得されたn枚の撮像情報P(1)〜P(n)の中から、処理対象とする撮像情報が選択される。処理対象とする撮像情報が選択される前の初期状態においては、処理対象の撮像情報Pを示す要素がi=0として設定されており(S2)、処理が開始されると当該要素がインクリメントされて(i=i+1)処理対象がP(1)に設定される(S3)。   First, imaging information to be processed is selected from the acquired n pieces of imaging information P (1) to P (n). In an initial state before the imaging information to be processed is selected, an element indicating the imaging information P to be processed is set as i = 0 (S2), and the element is incremented when the process is started. (I = i + 1), the processing target is set to P (1) (S3).

撮像情報調整部33において、当該撮像情報P(1)に対し、図4に示すようにリサイズ処理が実行される。リサイズ処理が開始されると、まず、当該撮像情報P(1)のExif情報から、撮影時の焦点距離情報が取得される(S41)。そして、取得された焦点距離情報に基づいて、撮影時の焦点距離が、予め設定された最小焦点距離8mm以下であるか否かが判定される(S42)。   In the imaging information adjustment unit 33, a resizing process is performed on the imaging information P (1) as shown in FIG. When the resizing process is started, first, focal length information at the time of shooting is acquired from the Exif information of the imaging information P (1) (S41). Then, based on the acquired focal length information, it is determined whether or not the focal length at the time of shooting is equal to or less than a preset minimum focal length of 8 mm (S42).

撮像情報P(1)の撮影時の焦点距離が最小焦点距離8mm以下であると判定されたときには(S42の「YES」)、焦点距離の最小限界値以下であるため、当該撮像情報P(1)のリサイズ処理は実行されない。焦点距離8mm以下の撮像情報をリサイズ処理しないようにすることで、撮像情報内の料理部分がカットされてしまうことを防ぐことができる。   When it is determined that the focal length at the time of shooting of the imaging information P (1) is equal to or less than the minimum focal length of 8 mm (“YES” in S42), the imaging information P (1) is equal to or less than the minimum limit value of the focal length. ) Resizing process is not executed. By not resizing imaging information having a focal length of 8 mm or less, it is possible to prevent the cooking portion in the imaging information from being cut.

また、撮像情報P(1)の撮影時の焦点距離が8mmを超えると判定されたときには(S42の「NO」)、当該撮像情報P(1)の焦点距離に基づいて、当該撮像情報の大きさが、基準の焦点距離「8mm」で撮影した場合と被写体の大きさが同程度になるようにリサイズされる(S43)。   When it is determined that the focal length at the time of shooting of the imaging information P (1) exceeds 8 mm (“NO” in S42), the magnitude of the imaging information is based on the focal length of the imaging information P (1). However, the image is resized so that the size of the subject is approximately the same as when the image is taken at the reference focal length “8 mm” (S43).

図2のフローチャートに戻り、撮像情報調整部33において、上述したように必要に応じてリサイズ処理が実行された撮像情報(1)を用いて、当該料理カテゴリの基準画像情報p(1)が生成される(S5)。基準画像情報p(1)は撮像情報P(1)と同サイズの画像情報であり、撮像情報P(1)のリサイズ処理が行われていないとき(焦点距離が8mm以下であったとき)には当該撮像情報P(1)がそのまま基準画像情報(1)として用いられる。また、撮像情報(1)の焦点距離が8mmを超えていたことによりリサイズ処理が実行されて縮小されているときには、撮像情報P(1)以外のエリアを余白として、基準画像情報p(1)が生成される。   Returning to the flowchart of FIG. 2, the imaging information adjustment unit 33 generates the reference image information p (1) of the dish category using the imaging information (1) subjected to resizing processing as necessary as described above. (S5). The reference image information p (1) is image information having the same size as the imaging information P (1), and when the imaging information P (1) is not resized (when the focal length is 8 mm or less). The imaging information P (1) is directly used as the reference image information (1). Further, when the resizing process is executed and the image information (1) has been reduced because the focal length has exceeded 8 mm, the reference image information p (1) is set with the area other than the image information P (1) as a margin. Is generated.

ここで、基準画像情報p内の余白部分は、後述する画像認識処理において料理として認識されないようにするために、以下の(a)または(b)のように処理が施される。   Here, the blank portion in the reference image information p is processed as shown in the following (a) or (b) so as not to be recognized as a dish in the image recognition process described later.

(a) 余白部分を、料理の色にない色(例えば、黒、グレー、紫等)で構成し、画像認識処理時に、当該余白部分に用いた色の部分を0カロリーとして認識するように設定しておく。   (a) The margin part is configured with a color that is not in the cooking color (for example, black, gray, purple, etc.), and the color part used for the margin part is set to be recognized as 0 calories during image recognition processing. Keep it.

(b) 余白部分を、料理の色にない色(例えば、黒、グレー、紫等)で構成し、画像認識処理時に、当該余白部分に用いた色の部分を料理の画像部分として認識しないように設定しておく。例えば、料理の色として認識する色(赤、黄、緑等)の画素を「1」とし、料理の色として認識しない色(黒、グレー、紫等)の画素を「0」として設定し、「0」の画素は料理の画像部分として認識しないように予め設定しておく。   (b) The margin part is configured with a color that is not in the color of the dish (for example, black, gray, purple, etc.), and the color part used for the margin part is not recognized as the image part of the dish during the image recognition process. Set to. For example, set the pixel that recognizes the color of the dish (red, yellow, green, etc.) to "1", and the pixel that does not recognize the color of the dish (black, gray, purple, etc.) to "0" The pixel “0” is set in advance so as not to be recognized as an image portion of a dish.

上述した処理により生成される基準画像情報の例について、図5および図6を参照して説明する。図5は、同じ大きさの同じ料理を同じ撮影距離で、異なる焦点距離(8mm、32mm、および50mm)で撮影した3枚の撮像情報P(A1)、P(B1)、およびP(C1)から、それぞれ基準画像情報p(a1)、p(b1)、およびp(c1)を生成する場合の例を示している。   An example of the reference image information generated by the processing described above will be described with reference to FIGS. FIG. 5 shows three pieces of imaging information P (A1), P (B1), and P (C1) obtained by photographing the same dish of the same size at the same shooting distance and at different focal lengths (8 mm, 32 mm, and 50 mm). In the example, reference image information p (a1), p (b1), and p (c1) are generated.

この場合、焦点距離8mmの撮像情報P(A1)に対しては、リサイズ処理は行われないため、撮像情報(A1)がそのまま基準画像情報p(a1)として用いられる。また、焦点距離32mmの撮像情報P(B1)に対しては、所定の縮小率でリサイズが実行され、基準画像情報p(b1)が生成される。この縮小率は、撮像情報P(b1)内の被写体の大きさが、焦点距離8mmで撮影された撮像情報P(A1)内の被写体の大きさと同程度になるように設定されている。また、焦点距離50mmの撮像情報P(C1)に対しては、撮像情報P(B1)のリサイズ処理時よりも高い縮小率でリサイズ処理が実行され、基準画像情報p(c1)が生成される。この縮小率も、撮像情報P(c1)内の被写体の大きさが、焦点距離8mmで撮影された撮像情報P(A1)内の被写体の大きさと同程度になるように設定されている。   In this case, since the resizing process is not performed on the imaging information P (A1) having a focal length of 8 mm, the imaging information (A1) is used as it is as the reference image information p (a1). Further, resizing is performed on the imaging information P (B1) having a focal length of 32 mm at a predetermined reduction rate, and reference image information p (b1) is generated. The reduction ratio is set so that the size of the subject in the imaging information P (b1) is approximately the same as the size of the subject in the imaging information P (A1) captured at a focal length of 8 mm. For the imaging information P (C1) having a focal length of 50 mm, the resizing process is executed at a higher reduction rate than that during the resizing process of the imaging information P (B1), and the reference image information p (c1) is generated. . This reduction ratio is also set so that the size of the subject in the imaging information P (c1) is approximately the same as the size of the subject in the imaging information P (A1) captured at a focal length of 8 mm.

また図6は、異なる大きさ(3人前、2人前、および1人前)の同じ料理を同じ撮影距離で、異なる焦点距離(8mm、32mm、および50mm)で撮影した3枚の撮像情報P(A2)、P(B2)、およびP(C2)から、それぞれ基準画像情報p(a2)、p(b2)、およびp(c2)を生成する場合の例を示している。   Also, FIG. 6 shows three pieces of imaging information P (A2) obtained by photographing the same dish of different sizes (3 servings, 2 servings, and 1 serving) at the same shooting distance and at different focal lengths (8 mm, 32 mm, and 50 mm). ), P (B2), and P (C2), reference image information p (a2), p (b2), and p (c2) are generated.

この場合も、焦点距離8mmの撮像情報P(A2)に対してはリサイズ処理が行われず、焦点距離32mmの撮像情報P(B2)および焦点距離50mmの撮像情報P(C1)に対しては、上述した図5の例と同様の縮小率でリサイズ処理が行われ、基準画像情報p(a1)、p(b2)、およびp(c2)が生成される。この場合、リサイズ処理前の撮像情報P(A2)、撮像情報P(B2)、および撮像情報P(C2)内の被写体の大きさはほぼ同じであるが、リサイズ後の基準画像情報p(b2)内の被写体の大きさは基準画像情報p(a2)よりも小さく、基準画像情報p(c2)内の被写体の大きさは基準画像情報p(b2)よりも小さい。つまり、図5の場合および図6の場合ともに、リサイズ処理後の基準画像情報内の被写体の大きさは、実際の料理の大きさに対応している。   Also in this case, the resizing process is not performed on the imaging information P (A2) with the focal length of 8 mm, and the imaging information P (B2) with the focal length of 32 mm and the imaging information P (C1) with the focal length of 50 mm are Resizing processing is performed at the same reduction ratio as in the example of FIG. 5 described above, and reference image information p (a1), p (b2), and p (c2) are generated. In this case, the sizes of the subjects in the imaging information P (A2), the imaging information P (B2), and the imaging information P (C2) before the resizing process are substantially the same, but the reference image information p (b2 after the resizing is performed. ) Is smaller than the reference image information p (a2), and the subject in the reference image information p (c2) is smaller than the reference image information p (b2). That is, in both the cases of FIG. 5 and FIG. 6, the size of the subject in the reference image information after the resizing process corresponds to the size of the actual dish.

以降、撮像情報P(2)〜P(n)についても同様にリサイズ処理および基準画像情報p(2)〜p(n)の生成処理が実行される(S6の「NO」→S3〜S5)。そして、最後の撮像情報P(n)に対する処理が終了すると(S5の「YES」)、それぞれ生成された料理カテゴリごとの基準画像情報p(1)〜p(n)に、該当する料理Webサイト情報で取得された、該当する料理のカロリ−情報および何人前かを示す量の情報が対応付けられて学習データ記憶部34に記憶される(S7)。以上で、食事管理サーバ30で実行される学習データ処理の説明を終了する。   Thereafter, the resizing process and the generation process of the reference image information p (2) to p (n) are similarly executed for the imaging information P (2) to P (n) (“NO” in S6 → S3 to S5). . Then, when the processing for the last imaging information P (n) is completed (“YES” in S5), the corresponding dish Web site corresponds to the generated reference image information p (1) to p (n) for each dish category. The calorie information of the corresponding dish acquired in the information and the amount of information indicating the number of servings are associated with each other and stored in the learning data storage unit 34 (S7). Above, description of the learning data process performed with the meal management server 30 is complete | finished.

次に、ユーザが当該食事管理システム1を利用する際に実行される処理について、図7のシーケンス図を参照して説明する。まず、ユーザが食事管理システム1を利用するために、ユーザ端末10のタッチパネル11上で食事管理アプリケーション14を起動させる操作を行う(S11)。さらに、ユーザがカメラ装置12を用いて摂取する料理を撮影し、撮影した料理を食事情報として食事管理システム1に登録するための登録要求操作を行う(S12)。登録要求操作が行われると、登録要求部141により登録要求信号が生成され、撮影により生成された撮像情報Qとともに端末通信部13から食事管理サーバ30宛てに送信される(S13)。   Next, processing executed when the user uses the meal management system 1 will be described with reference to the sequence diagram of FIG. First, in order to use the meal management system 1, the user performs an operation of starting the meal management application 14 on the touch panel 11 of the user terminal 10 (S11). Furthermore, the user takes a picture of food taken using the camera device 12, and performs a registration request operation for registering the shot food as meal information in the meal management system 1 (S12). When a registration request operation is performed, a registration request signal is generated by the registration request unit 141 and transmitted from the terminal communication unit 13 to the meal management server 30 together with the imaging information Q generated by photographing (S13).

食事管理サーバ30では、ユーザ端末10から送信された登録要求信号および撮像情報Qが、サーバ通信部31を介して登録要求取得部35で取得される。登録要求取得部35で取得された情報のうち、撮像情報Qが撮像情報調整部33に送出され、図4の処理が実行される(S14)。そして、必要に応じてリサイズ処理が実行された撮像情報Qを用いて、上述した基準画像情報の生成処理と同様の処理により、登録画像情報qが生成される(S15)。   In the meal management server 30, the registration request signal and the imaging information Q transmitted from the user terminal 10 are acquired by the registration request acquisition unit 35 via the server communication unit 31. Of the information acquired by the registration request acquisition unit 35, the imaging information Q is sent to the imaging information adjustment unit 33, and the process of FIG. 4 is executed (S14). Then, the registered image information q is generated by the same processing as the reference image information generation processing described above using the imaging information Q that has been subjected to resizing processing as necessary (S15).

次に、カロリー情報推定部36において、生成された登録画像情報qと学習データ記憶部34の学習データ内の基準画像情報p(1)〜p(n)とが比較され、登録画像情報qと同じ料理カテゴリの基準画像情報p(i)が特定される。基準画像情報p(1)〜p(n)の中から登録画像情報qと同じ料理カテゴリの情報を特定する処理には、例えば、Muti-task CNN(Deep Convolutional Neural Network)技術を用いた画像認識処理が利用される。そして、特定された基準画像情報p(i)に対応づけられた料理のカロリー情報および量の情報が、学習データ記憶部34から取得される。   Next, in the calorie information estimation unit 36, the generated registered image information q is compared with the reference image information p (1) to p (n) in the learning data of the learning data storage unit 34, and the registered image information q and The reference image information p (i) of the same dish category is specified. For example, image recognition using the Muti-task CNN (Deep Convolutional Neural Network) technology is used for the process of identifying information of the same cooking category as the registered image information q from the reference image information p (1) to p (n). Processing is used. Then, the calorie information and amount information of the dishes associated with the specified reference image information p (i) are acquired from the learning data storage unit 34.

さらに、[登録画像情報q内の被写体の大きさ]/[基準画像情報p(i)内の被写体の大きさ]×[基準画像情報p(i)内の料理のカロリー情報]により、登録画像情報qの被写体である料理の推定カロリーが算出される。つまり、基準画像情報p(i)内の料理のカロリー情報に、基準画像情報p(i)内の被写体の大きさに対する登録画像情報q内の被写体の大きさを示す数値を掛けることで、登録画像情報qの被写体である料理の推定カロリーが算出される。   Furthermore, a registered image is obtained by [size of subject in registered image information q] / [size of subject in reference image information p (i)] × [calorie information of dish in reference image information p (i)]. The estimated calorie of the dish that is the subject of the information q is calculated. That is, registration is performed by multiplying the calorie information of the dish in the reference image information p (i) by the numerical value indicating the size of the subject in the registered image information q with respect to the size of the subject in the reference image information p (i). The estimated calorie of the dish that is the subject of the image information q is calculated.

また、[登録画像情報q内の被写体の大きさ]/[基準画像情報p(i)内の被写体の大きさ]×[基準画像情報p(i)内の料理の量の情報(何人前)]により、登録画像情報qの被写体である料理の量の情報(何人前)が算出される(S16)。つまり、基準画像情報p(i)内の料理の量の情報に、基準画像情報p(i)内の被写体の大きさに対する登録画像情報q内の被写体の大きさを示す数値を掛けることで、登録画像情報qの被写体である料理の量が算出される。   In addition, [size of subject in registered image information q] / [size of subject in reference image information p (i)] × [information on the amount of dishes in reference image information p (i) (for several persons) ], The information (the number of servings) of the amount of food that is the subject of the registered image information q is calculated (S16). That is, by multiplying the information on the amount of food in the reference image information p (i) by a numerical value indicating the size of the subject in the registered image information q with respect to the size of the subject in the reference image information p (i), The amount of food that is the subject of the registered image information q is calculated.

算出された当該料理の推定カロリー、および取得された撮像情報の被写体である料理の量の情報(何人前)は、料理のカテゴリを示す情報とともに該当するユーザの食事情報としてユーザ別情報登録部37に登録される(S17)。   The calculated estimated calorie of the dish and the information on the amount of dish that is the subject of the acquired imaging information (number of servings), together with information indicating the category of the dish, as the meal information of the corresponding user, is registered by user information 37 (S17).

ユーザ別情報登録部37に登録されたユーザ別の食事情報の一例を、図8に示す。図8のユーザ別の食事情報には、ID「0001」で示されるユーザの食事情報として、登録要求信号を取得した日時を示すタイムスタンプ情報「2018年1月11日 11時20分」と、予め登録された当該ユーザのプロフィール情報である身長「xxcm」および体重「xxKg」の情報と、ユーザから送信された撮像情報に関して画像認識処理により取得された、料理カテゴリ「オムライス」、推定カロリー「312cal」、および量の情報「1人前」が格納されている。   An example of meal information for each user registered in the information registration section 37 for each user is shown in FIG. The meal information for each user in FIG. 8 includes time stamp information “11:20 on January 11, 2018” indicating the date and time when the registration request signal is acquired as the meal information of the user indicated by the ID “0001”. Pre-registered information on the user's profile, height “xxcm” and weight “xxKg”, and image information regarding the imaging information transmitted from the user, the cooking category “Omurice”, estimated calorie “312cal ”And quantity information“ one serving ”are stored.

そして、ユーザがタッチパネル11上で当該ユーザの食事情報を閲覧するためのユーザ情報要求操作を行うと、ユーザ情報要求部142によりユーザ情報要求信号が生成され、端末通信部13から食事管理サーバ30宛てに送信される(S18)。   When the user performs a user information request operation for browsing the user's meal information on the touch panel 11, a user information request signal is generated by the user information request unit 142, and is sent from the terminal communication unit 13 to the meal management server 30. (S18).

食事管理サーバ30では、ユーザ端末10から送信されたユーザ情報要求信号に基づいてサーバ通信部31を介してユーザ別情報登録部37から当該ユーザに関する食事情報が読み出され、ユーザ端末10に送信される(S19)。ユーザ端末10では、食事管理サーバ30から送信された当該ユーザに関する食事情報が端末通信部13から受信され、受信された情報を表示させるための表示情報が表示情報生成部143で生成される。生成された表示情報はタッチパネル11に表示される(S20)。   In the meal management server 30, meal information related to the user is read from the user-specific information registration unit 37 via the server communication unit 31 based on the user information request signal transmitted from the user terminal 10 and transmitted to the user terminal 10. (S19). In the user terminal 10, the meal information regarding the user transmitted from the meal management server 30 is received from the terminal communication unit 13, and display information for displaying the received information is generated by the display information generation unit 143. The generated display information is displayed on the touch panel 11 (S20).

ユーザは、タッチパネル11に表示された自身の食事情報を閲覧することで、いつ、何カロリーで何人前の食事を摂ったかを認識することができる。   The user can recognize when and how many calories and how many people have eaten by browsing his / her own meal information displayed on the touch panel 11.

以上の実施形態によれば、撮像情報から、被写体である料理のカロリーを高い精度で推定することで、ユーザが簡易な操作で精度の高い自身の食事情報を閲覧することができる。   According to the above embodiment, the user can browse his / her own meal information with high accuracy by a simple operation by estimating the calorie of the dish as a subject with high accuracy from the imaging information.

上述した実施形態においては、学習データ処理およびユーザが当該食事管理システム1を利用する際に実行される処理において、料理を撮影する際の最小焦点距離である「8mm」を基準の焦点距離としてリサイズ処理を行う場合について説明したが、一般的に料理の撮影で使用される焦点距離24〜50mmの範囲の中から基準の焦点距離を設定して撮像情報の縮小をなるべく抑えることで、より精度の高いカロリー推定処理を行うようにしてもよい。   In the above-described embodiment, in the learning data process and the process executed when the user uses the meal management system 1, the resize is performed using “8 mm” that is the minimum focal length when shooting a dish as a reference focal length. I explained the case of processing, but by setting the reference focal length from the focal length range of 24 to 50 mm that is generally used for cooking photography, it is possible to reduce the reduction of imaging information as much as possible. You may make it perform a high calorie estimation process.

上述した食事管理サーバが有する学習データ記憶機能、撮像情報調整機能、およびカロリー情報推定機能を、コンピュータに搭載することにより、当該コンピュータをカロリー推定装置として機能させるためのカロリー推定プログラムを構築することも可能である。   It is also possible to construct a calorie estimation program for causing the computer to function as a calorie estimation device by mounting the above-described learning data storage function, imaging information adjustment function, and calorie information estimation function of the meal management server. Is possible.

1 食事管理システム
10 ユーザ端末
11 タッチパネル
12 カメラ装置
13 端末通信部
14 食事管理アプリケーション
20 料理情報Webサーバ
30 食事管理サーバ
31 サーバ通信部
32 Webサイト情報取得部
33 撮像情報調整部
34 学習データ記憶部
35 登録要求取得部
36 カロリー情報推定部
37 ユーザ別情報登録部
40 通信ネットワーク
141 登録要求部
142 ユーザ情報要求部
143 表示情報生成部
DESCRIPTION OF SYMBOLS 1 Meal management system 10 User terminal 11 Touch panel 12 Camera apparatus 13 Terminal communication part 14 Meal management application 20 Cooking information Web server 30 Meal management server 31 Server communication part 32 Website information acquisition part 33 Imaging information adjustment part 34 Learning data storage part 35 Registration request acquisition unit 36 Calorie information estimation unit 37 User-specific information registration unit 40 Communication network 141 Registration request unit 142 User information request unit 143 Display information generation unit

Claims (5)

撮影時のレンズの焦点距離情報を含む撮像情報を生成するカメラ装置を内蔵したユーザ端末と通信可能に接続されたカロリー推定装置において、
料理カテゴリごとに予め取得された、所定の焦点距離の撮像情報を用いた基準画像情報と、当該撮像情報の被写体である料理のカロリー情報とを記憶する学習データ記憶部と、
前記ユーザ端末から送信された、前記カメラ装置で撮影された料理の撮像情報を取得すると、当該撮像情報に含まれる焦点距離情報が予め設定された最小焦点距離を超えるときには、当該撮像情報内の被写体の大きさが前記基準画像情報の焦点距離で撮影した場合の被写体の大きさと同程度になるように当該撮像情報の大きさを調整し、当該大きさが調整された撮像情報を用いた登録画像情報を生成する撮像情報調整部と、
前記撮像情報調整部で生成された登録画像情報と、前記学習データ記憶部に記憶された料理カテゴリごとの基準画像情報とを比較することにより、前記登録画像情報と同じ料理カテゴリの基準画像情報を特定し、特定した基準画像情報に対応するカロリー情報を取得し、当該カロリー情報を、取得した撮像情報の被写体である料理の推定カロリーとして算出するカロリー情報推定部と
を備えることを特徴とするカロリー推定装置。
In a calorie estimation device connected to be communicable with a user terminal incorporating a camera device that generates imaging information including focal length information of a lens at the time of shooting,
A learning data storage unit that stores reference image information obtained in advance for each cooking category using imaging information of a predetermined focal length, and calorie information of a dish that is a subject of the imaging information;
When the imaging information of the dish photographed by the camera device transmitted from the user terminal is acquired, when the focal length information included in the imaging information exceeds a preset minimum focal length, the subject in the imaging information The size of the imaging information is adjusted so that the size of the image is the same as the size of the subject when the image is captured at the focal length of the reference image information, and the registered image using the imaging information with the adjusted size An imaging information adjustment unit that generates information;
By comparing the registered image information generated by the imaging information adjustment unit and the reference image information for each cooking category stored in the learning data storage unit, the reference image information of the same cooking category as the registered image information is obtained. A calorie information estimating unit that obtains calorie information corresponding to the specified reference image information, and calculates the calorie information as an estimated calorie of a dish that is a subject of the acquired imaging information. Estimating device.
前記カロリー情報推定部は、前記特定した基準画像情報に対応するカロリー情報に、前記基準画像情報内の被写体の大きさに対する前記登録画像情報内の被写体の大きさを示す数値を掛けることで、前記登録画像情報の被写体である料理の推定カロリーを算出する
ことを特徴とする請求項1に記載のカロリー推定装置。
The calorie information estimation unit multiplies the calorie information corresponding to the identified reference image information by a numerical value indicating the size of the subject in the registered image information with respect to the size of the subject in the reference image information. The calorie estimation apparatus according to claim 1, wherein an estimated calorie of a dish which is a subject of registered image information is calculated.
前記学習データ記憶部は、料理カテゴリごとに予め取得された撮像情報の被写体である料理の量の情報をさらに記憶し、
前記カロリー情報推定部は、特定した基準画像情報に対応する料理の量の情報をさらに取得し、取得した量の情報に基づいて、取得した撮像情報の被写体である料理の量の情報を算出し、
前記カロリー情報推定部で取得された推定カロリー、および取得された撮像情報の被写体である料理の量の情報を、該当するユーザの食事情報として登録するユーザ別情報登録部をさらに備える
ことを特徴とする請求項1または2に記載のカロリー推定装置。
The learning data storage unit further stores information on the amount of cooking that is a subject of imaging information acquired in advance for each cooking category,
The calorie information estimation unit further acquires information on the amount of food corresponding to the identified reference image information, and calculates information on the amount of food that is the subject of the acquired imaging information based on the acquired amount information. ,
The apparatus further comprises a user-specific information registration unit that registers the estimated calorie acquired by the calorie information estimation unit and information on the amount of cooking that is the subject of the acquired imaging information as meal information of the corresponding user. The calorie estimation apparatus according to claim 1 or 2.
撮影時のレンズの焦点距離情報を含む撮像情報を生成するカメラ装置を内蔵したユーザ端末と通信可能に接続されたカロリー推定装置が、
料理カテゴリごとに予め取得された、所定の焦点距離の撮像情報を用いた基準画像情報と、当該撮像情報の被写体である料理のカロリー情報とを記憶する学習データ記憶ステップと、
前記ユーザ端末から送信された、前記カメラ装置で撮影された料理の撮像情報を取得すると、当該撮像情報に含まれる焦点距離情報が予め設定された最小焦点距離を超えるときには、当該撮像情報内の被写体の大きさが前記基準画像情報の焦点距離で撮影した場合の被写体の大きさと同程度になるように当該撮像情報の大きさを調整し、当該大きさが調整された撮像情報を用いた登録画像情報を生成する撮像情報調整ステップと、
前記撮像情報調整ステップで生成された登録画像情報と、前記学習データ記憶ステップにより記憶された料理カテゴリごとの基準画像情報とを比較することにより、前記登録画像情報と同じ料理カテゴリの基準画像情報を特定し、特定した基準画像情報に対応するカロリー情報を取得し、当該カロリー情報を、取得した撮像情報の被写体である料理の推定カロリーとして算出するカロリー情報推定ステップと
を有することを特徴とするカロリー推定方法。
A calorie estimation device connected to be communicable with a user terminal incorporating a camera device that generates imaging information including focal length information of a lens at the time of shooting,
A learning data storage step for storing reference image information obtained in advance for each cooking category using imaging information of a predetermined focal length, and calorie information of a dish that is a subject of the imaging information;
When the imaging information of the dish photographed by the camera device transmitted from the user terminal is acquired, when the focal length information included in the imaging information exceeds a preset minimum focal length, the subject in the imaging information The size of the imaging information is adjusted so that the size of the image is the same as the size of the subject when the image is captured at the focal length of the reference image information, and the registered image using the imaging information with the adjusted size An imaging information adjustment step for generating information;
By comparing the registered image information generated in the imaging information adjustment step with the reference image information for each cooking category stored in the learning data storage step, the reference image information of the same cooking category as the registered image information is obtained. A calorie information estimation step for obtaining and calculating calorie information corresponding to the specified reference image information and calculating the calorie information as an estimated calorie of a dish which is a subject of the acquired imaging information. Estimation method.
請求項1から3いずれか1項に記載したカロリー推定装置としてコンピュータを機能させるためのカロリー推定プログラム。   A calorie estimation program for causing a computer to function as the calorie estimation device according to any one of claims 1 to 3.
JP2018118494A 2018-06-22 2018-06-22 Calorie estimation device, calorie estimation method, and calorie estimation program Active JP6598930B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018118494A JP6598930B1 (en) 2018-06-22 2018-06-22 Calorie estimation device, calorie estimation method, and calorie estimation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018118494A JP6598930B1 (en) 2018-06-22 2018-06-22 Calorie estimation device, calorie estimation method, and calorie estimation program

Publications (2)

Publication Number Publication Date
JP6598930B1 true JP6598930B1 (en) 2019-10-30
JP2019220051A JP2019220051A (en) 2019-12-26

Family

ID=68383285

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018118494A Active JP6598930B1 (en) 2018-06-22 2018-06-22 Calorie estimation device, calorie estimation method, and calorie estimation program

Country Status (1)

Country Link
JP (1) JP6598930B1 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008059320A (en) * 2006-08-31 2008-03-13 Nec Corp Health care system, health care server, health care method, and program
JP2012014678A (en) * 2010-05-31 2012-01-19 Univ Of Tokyo Information processing device
JP2012113627A (en) * 2010-11-26 2012-06-14 Terumo Corp Portable terminal, calorie estimation method, and calorie estimation program
US20160143582A1 (en) * 2014-11-22 2016-05-26 Medibotics Llc Wearable Food Consumption Monitor
JP6075879B2 (en) * 2013-11-13 2017-02-08 日本電信電話株式会社 Information estimation apparatus and computer program
JP2017041035A (en) * 2015-08-19 2017-02-23 株式会社野村総合研究所 Health management support system and health management support program

Also Published As

Publication number Publication date
JP2019220051A (en) 2019-12-26

Similar Documents

Publication Publication Date Title
US9338311B2 (en) Image-related handling support system, information processing apparatus, and image-related handling support method
CN109361865B (en) Shooting method and terminal
US8411171B2 (en) Apparatus and method for generating image including multiple people
US8600191B2 (en) Composite imaging method and system
CN112565589B (en) Photographing preview method and device, storage medium and electronic equipment
US10110868B2 (en) Image processing to determine center of balance in a digital image
CN105787480B (en) Method and device for shooting test questions
US9554060B2 (en) Zoom images with panoramic image capture
JP2012023502A (en) Photographing support system, photographing support method, server, photographing device, and program
JP6727776B2 (en) Support system, support method, program
US20190130358A1 (en) Screen sharing system, method, and program for remote medical care
GB2588306A (en) Image processing system, imaging device, image processing device, electronic device, control method thereof, and storage medium storing control method thereof
CN103353879B (en) Image processing method and apparatus
JP7148624B2 (en) Image proposal device, image proposal method, and image proposal program
JP2014225061A (en) Information provision device, information provision system, information provision method, and program
JP6598930B1 (en) Calorie estimation device, calorie estimation method, and calorie estimation program
CN110673737B (en) Display content adjusting method and device based on intelligent home operating system
CN105678696A (en) Image acquisition method and electronic equipment
JP2010225082A (en) Image data management system and image data management method
US8629911B2 (en) Automatic photographing system and method thereof
CN116363725A (en) Portrait tracking method and system for display device, display device and storage medium
JP6411640B2 (en) Skin condition measurement analysis system and skin condition measurement analysis method
WO2023286652A1 (en) Learning apparatus, prediction appraratus, and imaging appraratus
KR102469244B1 (en) Method of collecting results of offline advertisement based on image processing
JP2004000341A (en) Method, server, and program for determining compatibility and recording medium recording the program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191001

R150 Certificate of patent or registration of utility model

Ref document number: 6598930

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250