JP6598930B1 - Calorie estimation device, calorie estimation method, and calorie estimation program - Google Patents
Calorie estimation device, calorie estimation method, and calorie estimation program Download PDFInfo
- Publication number
- JP6598930B1 JP6598930B1 JP2018118494A JP2018118494A JP6598930B1 JP 6598930 B1 JP6598930 B1 JP 6598930B1 JP 2018118494 A JP2018118494 A JP 2018118494A JP 2018118494 A JP2018118494 A JP 2018118494A JP 6598930 B1 JP6598930 B1 JP 6598930B1
- Authority
- JP
- Japan
- Prior art keywords
- information
- calorie
- imaging
- imaging information
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000003384 imaging method Methods 0.000 claims abstract description 161
- 238000010411 cooking Methods 0.000 claims abstract description 33
- 238000013500 data storage Methods 0.000 claims abstract description 16
- 235000012054 meals Nutrition 0.000 claims description 65
- 235000013305 food Nutrition 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 11
- 238000007726 management method Methods 0.000 description 50
- 230000008569 process Effects 0.000 description 26
- 238000004891 communication Methods 0.000 description 22
- 230000009467 reduction Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 235000016709 nutrition Nutrition 0.000 description 2
- 230000035764 nutrition Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000001916 dieting Nutrition 0.000 description 1
- 230000037228 dieting effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
Abstract
【課題】撮像情報から被写体のカロリーを高い精度で推定する、カロリー推定装置、カロリー推定方法、およびカロリー推定プログラムを提供する。【解決手段】料理カテゴリごとに予め取得された、所定の焦点距離の撮像情報を用いた基準画像情報と、当該撮像情報の被写体である料理のカロリー情報とを記憶する学習データ記憶部と、ユーザ端末から送信された料理の撮像情報を取得すると、当該撮像情報に含まれる焦点距離情報に基づいて当該撮像情報の大きさを調整し、当該大きさが調整された撮像情報を用いた登録画像情報を生成する撮像情報調整部と、登録画像情報と同じ料理カテゴリの基準画像情報を特定し、特定した基準画像情報に対応するカロリー情報を取得し、当該カロリー情報を、取得した撮像情報の被写体である料理の推定カロリーとして算出するカロリー情報推定部とを備える。【選択図】図1A calorie estimation device, a calorie estimation method, and a calorie estimation program for estimating calories of a subject with high accuracy from imaging information are provided. A learning data storage unit that stores reference image information using imaging information of a predetermined focal length acquired in advance for each cooking category, and calorie information of a dish that is a subject of the imaging information, and a user When the imaging information of the dish transmitted from the terminal is acquired, the size of the imaging information is adjusted based on the focal length information included in the imaging information, and the registered image information using the imaging information whose size is adjusted An imaging information adjustment unit that generates the reference image information of the same cooking category as the registered image information, obtains calorie information corresponding to the identified reference image information, and obtains the calorie information by the subject of the obtained imaging information A calorie information estimation unit that calculates the estimated calories of a certain dish. [Selection] Figure 1
Description
本発明は、撮像情報から被写体のカロリーを推定するカロリー推定装置、カロリー推定方法、およびカロリー推定プログラムに関する。 The present invention relates to a calorie estimation device, a calorie estimation method, and a calorie estimation program for estimating the calorie of a subject from imaging information.
近年、健康意識の高まりにより、様々な食事管理アプリケーションが開発されている。食事管理アプリケーションの中には、摂取する料理を撮影した撮像情報から当該料理のカロリーを推定するカロリー推定機能が搭載されたものがある。 In recent years, various meal management applications have been developed due to an increase in health consciousness. Some meal management applications are equipped with a calorie estimation function for estimating the calories of the food from imaging information obtained by photographing the food to be ingested.
このようなカロリー機能が搭載された食事管理アプリケーションを利用することにより、ユーザは栄養学の知識がなくても自身が摂取した料理のカロリーを簡易に記録することができる。 By using a meal management application equipped with such a calorie function, the user can easily record the calories of the food taken by the user without knowledge of nutrition.
上述したようなカロリー推定機能を利用する際、ユーザはまず摂取する料理を撮影し、生成された撮像情報を食事管理アプリケーションに入力する。そして、入力された撮像情報が当該食事管理アプリケーションのカロリー推定機能により解析され、当該料理の推定カロリーが算出される。 When using the calorie estimation function as described above, the user first captures the food to be ingested and inputs the generated imaging information to the meal management application. Then, the input imaging information is analyzed by the calorie estimation function of the meal management application, and the estimated calorie of the dish is calculated.
しかし、ユーザにより撮影される撮像情報は、都度焦点距離が異なるため撮像情報内における料理の大きさにばらつきがあり、算出されるカロリーの推定精度が低くなってしまうという問題があった。 However, the imaging information photographed by the user has a different focal length each time, so that there is a variation in the size of the dish in the imaging information, and there is a problem that the accuracy of calculating the calculated calories is low.
本発明は上記事情を鑑みてなされたものであり、撮像情報から被写体のカロリーを高い精度で推定することが可能な、カロリー推定装置、カロリー推定方法、およびカロリー推定プログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a calorie estimation device, a calorie estimation method, and a calorie estimation program capable of estimating the calorie of a subject with high accuracy from imaging information. To do.
上記の課題を解決するための、本発明のカロリー推定装置は、撮影時のレンズの焦点距離情報を含む撮像情報を生成するカメラ装置を内蔵したユーザ端末と通信可能に接続された料理のカロリー推定装置において、料理カテゴリごとに予め取得された、所定の焦点距離の撮像情報を用いた基準画像情報と、当該撮像情報の被写体である料理のカロリー情報とを記憶する学習データ記憶部と、前記ユーザ端末から送信された、前記カメラ装置で撮影された料理の撮像情報を取得すると、当該撮像情報に含まれる焦点距離情報が予め設定された最小焦点距離を超えるときには、当該撮像情報内の被写体の大きさが前記基準画像情報の焦点距離で撮影した場合の被写体の大きさと同程度になるように当該撮像情報の大きさを調整し、当該大きさが調整された撮像情報を用いた登録画像情報を生成する撮像情報調整部と、前記撮像情報調整部で生成された登録画像情報と、前記学習データ記憶部に記憶された料理カテゴリごとの基準画像情報とを比較することにより、前記登録画像情報と同じ料理カテゴリの基準画像情報を特定し、特定した基準画像情報に対応するカロリー情報を取得し、当該カロリー情報を、取得した撮像情報の被写体である料理の推定カロリーとして算出するカロリー情報推定部とを備えることを特徴とする。 In order to solve the above problem, the calorie estimation apparatus of the present invention is a calorie estimation of a dish connected to be communicable with a user terminal incorporating a camera device that generates imaging information including focal length information of a lens at the time of shooting. In the apparatus, a learning data storage unit that stores reference image information acquired in advance for each cooking category using imaging information of a predetermined focal length, and calorie information of a dish that is a subject of the imaging information, and the user When acquiring imaging information of a dish taken by the camera device transmitted from the terminal, when the focal length information included in the imaging information exceeds a preset minimum focal length, the size of the subject in the imaging information is it adjusts the size of the imaging information so that the size about the same subject when taken with the focal length of the reference image information, the size is adjusted An imaging information adjustment unit that generates registered image information using the acquired imaging information, registered image information generated by the imaging information adjustment unit, and reference image information for each cooking category stored in the learning data storage unit, Are compared, the reference image information of the same cooking category as the registered image information is specified, the calorie information corresponding to the specified reference image information is acquired, and the calorie information is the subject of the acquired imaging information. It is provided with the calorie information estimation part computed as a presumed calorie.
また、本発明のカロリー推定方法は、撮影時のレンズの焦点距離情報を含む撮像情報を生成するカメラ装置を内蔵したユーザ端末と通信可能に接続されたカロリー推定装置が、料理カテゴリごとに予め取得された、所定の焦点距離の撮像情報を用いた基準画像情報と、当該撮像情報の被写体である料理のカロリー情報とを記憶する学習データ記憶ステップと、前記ユーザ端末から送信された、前記カメラ装置で撮影された料理の撮像情報を取得すると、当該撮像情報に含まれる焦点距離情報が予め設定された最小焦点距離を超えるときには、当該撮像情報内の被写体の大きさが前記基準画像情報の焦点距離で撮影した場合の被写体の大きさと同程度になるように当該撮像情報の大きさを調整し、当該大きさが調整された撮像情報を用いた登録画像情報を生成する撮像情報調整ステップと、前記撮像情報調整ステップで生成された登録画像情報と、前記学習データ記憶ステップにより記憶された料理カテゴリごとの基準画像情報とを比較することにより、前記登録画像情報と同じ料理カテゴリの基準画像情報を特定し、特定した基準画像情報に対応するカロリー情報を取得し、当該カロリー情報を、取得した撮像情報の被写体である料理の推定カロリーとして算出するカロリー情報推定ステップとを有することを特徴とする。 In addition, the calorie estimation method of the present invention is obtained in advance for each dish category by a calorie estimation device that is communicably connected to a user terminal including a camera device that generates imaging information including focal length information of a lens at the time of shooting. A learning data storing step for storing reference image information using imaging information of a predetermined focal length and calorie information of a dish that is a subject of the imaging information, and the camera device transmitted from the user terminal When the imaging information of the dish photographed in step S3 is acquired, when the focal length information included in the imaging information exceeds a preset minimum focal length, the size of the subject in the imaging information is the focal length of the reference image information. in size of the imaging information so that the size about the same subject when photographing was adjusted using the imaging information which the magnitude has been adjusted registered The registration is performed by comparing the imaging information adjustment step for generating image information, the registered image information generated in the imaging information adjustment step, and the reference image information for each cooking category stored in the learning data storage step. Calorie information that specifies reference image information of the same cooking category as the image information, acquires calorie information corresponding to the specified reference image information, and calculates the calorie information as an estimated calorie of the dish that is the subject of the acquired imaging information And an estimation step.
また、本発明のカロリー推定プログラムは、請求項1から3に記載したカロリー推定装置としてコンピュータを機能させるためのコンピュータプログラムであることを特徴とする。
The calorie estimation program of the present invention is a computer program for causing a computer to function as the calorie estimation apparatus according to
本発明のカロリー推定装置、カロリー推定方法、およびカロリー推定プログラムによれば、撮像情報から被写体のカロリーを高い精度で推定することができる。 According to the calorie estimation device, the calorie estimation method, and the calorie estimation program of the present invention, the calorie of the subject can be estimated from the imaging information with high accuracy.
〈一実施形態によるカロリー推定装置を用いた食事管理システムの構成〉
本発明の一実施形態によるカロリー推定装置を用いた食事管理システムの構成について、図1を参照して説明する。
<Configuration of meal management system using calorie estimation apparatus according to one embodiment>
The structure of the meal management system using the calorie estimation apparatus by one Embodiment of this invention is demonstrated with reference to FIG.
本実施形態による食事管理システム1は、ユーザ端末10と、料理情報Webサーバ20と、カロリー推定装置としての機能を有する食事管理サーバ30とが、通信ネットワーク40を介して接続されて構成される。図1においては、食事管理システム1内に1台のユーザ端末10が接続されている場合について示しているが、実際には複数のユーザ端末10が通信ネットワーク40に接続されている。
The
ユーザ端末10は、例えばスマートフォンやタブレット端末等であり、タッチパネル11と、カメラ装置12と、端末通信部13とを有し、食事管理アプリケーション14が搭載されている。
The
タッチパネル11は、ユーザの操作情報を入力するとともに、ユーザに提供する情報を表示する。カメラ装置12は、撮像レンズを内蔵し、ユーザによりタッチパネル11で撮影操作が行われると撮影処理を行い、撮影時の焦点距離情報を含むExif(Exchangeable image file format)情報を付加した撮像情報を生成する。端末通信部13は、通信ネットワーク40を介して食事管理サーバ30との通信を行う。
The
食事管理アプリケーション14は、登録要求部141と、ユーザ情報要求部142と、表示情報生成部143とを有する。登録要求部141は、ユーザによりタッチパネル11で、カメラ装置12により撮影された料理を食事情報として登録するための登録要求操作が行われると、該当する撮像情報とともに登録要求信号を端末通信部13から食事管理サーバ30宛てに送信する。
The
ユーザ情報要求部142は、ユーザによりタッチパネル11で、ユーザの食事情報を閲覧するためのユーザ情報要求操作が行われると、端末通信部13から食事管理サーバ30宛てにユーザ情報要求信号を送信する。表示情報生成部143は、ユーザ情報要求信号に応答して食事管理サーバ30から送信されたユーザの食事情報を表示させるための表示情報を生成し、タッチパネル11に表示させる。
When a user information request operation for browsing the user's meal information is performed on the
料理情報Webサーバ20は、料理のカテゴリごとの撮像情報、当該撮像情報の被写体である料理のカロリー情報、および当該撮像情報の被写体である料理が何人前かを示す量の情報を含む料理Webサイト情報を保持する。当該料理Webサイト情報の撮像情報には、該当するExif情報が付加されている。
The dish
食事管理サーバ30は、サーバ通信部31と、Webサイト情報取得部32と、撮像情報調整部33と、学習データ記憶部34と、登録要求取得部35と、カロリー情報推定部36と、ユーザ別情報登録部37とを有する。
The
サーバ通信部31は、通信ネットワーク40を介して、ユーザ端末10および料理情報Webサーバ20と通信を行う。Webサイト情報取得部32は、サーバ通信部31を介して料理情報Webサーバ20から料理Webサイト情報を取得する。撮像情報調整部33は、取得された料理Webサイト情報内の撮像情報に付加されたExif情報に基づいて当該撮像情報の大きさを調整して、該当する料理カテゴリの基準画像情報を生成する。また撮像情報調整部33は、後述する登録要求取得部35で取得される撮像情報に付加されたExif情報に基づいて当該撮像情報の大きさを調整して、食事情報の登録処理対象とする登録画像情報を生成する。
The
学習データ記憶部34は、Webサイト情報取得部32で取得された料理Webサイト情報に関し、料理のカテゴリごとに、カロリー情報と、何人前かを示す量の情報と、撮像情報調整部33で生成された基準画像情報とを対応付けて、学習データとして記憶する。
The learning
登録要求取得部35は、サーバ通信部31を介してユーザ端末10から送信された登録要求信号およびこれに付加された撮像情報を取得する。カロリー情報推定部36は、登録要求取得部35で登録要求信号が取得されると、当該撮像情報に基づいて撮像情報調整部33で生成された登録画像情報に対応する基準画像情報を学習データ記憶部34に記憶された学習データの中から特定し、特定した基準撮像情報に対応するカロリー情報および量の情報を取得する。そして、取得した情報に基づいて、当該撮像情報内の料理の推定カロリー、および量の情報(何人前)を算出する。ユーザ別情報登録部37は、カロリー情報推定部36で算出された料理の推定カロリーおよび量の情報を、該当するユーザの食事情報として料理カテゴリとともに登録する。
The registration
〈一実施形態によるカロリー推定装置を用いた食事管理システムの動作〉
次に、本実施形態による食事管理システム1の動作について説明する。まず、ユーザが当該食事管理システム1を利用する前に、食事管理サーバ30で実行される学習データ処理について、図2のフローチャートを参照して説明する。
<Operation of meal management system using calorie estimation apparatus according to one embodiment>
Next, operation | movement of the
[学習データ処理]
食事管理サーバ30で学習データ処理が開始されると、Webサイト情報取得部32からサーバ通信部31、通信ネットワーク40を介して料理情報Webサーバ20にアクセスされ、様々な料理に関する料理Webサイト情報が取得される(S1)。取得された料理Webサイト情報には、料理のカテゴリごとの撮像情報、当該撮像情報の被写体である料理のカロリー情報、および当該撮像情報の被写体である料理が何人前かを示す量の情報が含まれている。
[Learning data processing]
When the learning data processing is started in the
Webサイト情報取得部32で様々な料理カテゴリに関する料理Webサイト情報が取得されると、撮像情報調整部33により、取得された料理Webサイト情報内のn個の料理カテゴリそれぞれに関するn枚の撮像情報P(1)〜P(n)が取得される。取得されたn枚の撮像情報P(1)〜P(n)は、それぞれ撮影時の焦点距離が異なる。料理が撮影される際のカメラ装置の焦点距離について、以下に説明する。
When the dish website information relating to various dish categories is obtained by the website
一般的に、料理を撮影する際は、撮影者が座った状態で机上に置かれた料理を撮影すると想定されるため、カメラ装置のレンズと被写体である料理との距離(以下、「撮影距離」と記載する)はある程度限定される。 In general, when shooting a dish, it is assumed that the photographer is sitting on the desk with the photographer sitting, so the distance between the lens of the camera device and the subject dish (hereinafter referred to as “shooting distance”). ") Is limited to some extent.
これに基づいて、料理が撮影される際の最大焦点距離は、以下のように算出される。料理を撮影する際は撮影者が座って撮影することに着目すると、撮影距離は最大で0.65m程度であると想定される。この最大撮影距離は、男女平均身長から人間工学に基づいて算出された、平均座高長とこれに適した机の高さとに基づいて算出されたものである。また、料理を撮像する際の撮影範囲は、一般的なランチョンマットの大きさに対応した、水平方向0.5m×垂直方向0.3m程度が想定される。また、35mフルサイズのカメラ装置の撮像センサの水平サイズは36mmであり、垂直サイズは24mmである。 Based on this, the maximum focal length when the dish is photographed is calculated as follows. Focusing on the fact that the photographer sits down when shooting food, the shooting distance is assumed to be about 0.65m at maximum. This maximum shooting distance is calculated based on the average sitting height calculated from the average height of men and women based on ergonomics and the height of the desk suitable for this. In addition, it is assumed that the shooting range when shooting a dish is about 0.5 m in the horizontal direction and about 0.3 m in the vertical direction corresponding to the size of a general place mat. In addition, the horizontal size of the imaging sensor of the 35 m full size camera device is 36 mm, and the vertical size is 24 mm.
一方、撮像情報の撮影範囲を示す水平方向の長さは以下の式(1)により算出され、垂直方向の長さは式(2)により算出することができる。 On the other hand, the horizontal length indicating the imaging range of the imaging information can be calculated by the following formula (1), and the vertical length can be calculated by the formula (2).
式(1)に、上述した最大撮影距離の想定値0.65m、料理を撮影する際の撮影範囲の水平方向の長さの想定値0.5m、撮像センサの水平サイズ36mmを代入すると、レンズの焦点距離が46.8mmとして算出される。このときの撮影範囲の垂直方向の長さは0.33mとなり、一般的なランチョンマットの大きさにほぼ対応する。また、式(2)に、上述した最大撮影距離の想定値0.65m、料理を撮影する際の撮影範囲の垂直方向の長さの想定値0.3m、撮像センサの垂直サイズ24mmを代入すると、レンズの焦点距離が52mmとして算出される。このときの撮影範囲の水平方向の長さは0.45mとなり、一般的なランチョンマットよりも小さくなってしまう。そのため、撮影範囲の水平方向、垂直方向ともに一般的なランチョンマットの大きさに対応する、式(1)により算出された焦点距離46.8mmを基準とし、この焦点距離46.8mm以上で市販品に広く用いられている50mmが、料理を撮影する際の最大焦点距離として算出される。 また、料理が撮影される際の最小焦点距離は、例えば、35mフルサイズのカメラ装置による画角180度撮影時の焦点距離の最小限界値である「8mm」である。 Substituting into formula (1) the assumed maximum shooting distance value of 0.65m, the assumed horizontal length of the shooting range when shooting food, and the horizontal size of the imaging sensor of 36mm, the lens focus The distance is calculated as 46.8mm. At this time, the vertical length of the shooting range is 0.33 m, which roughly corresponds to the size of a general place mat. In addition, when the assumed value of the maximum shooting distance of 0.65 m, the assumed length of the shooting range in shooting in the vertical direction of 0.3 m, and the vertical size of the imaging sensor of 24 mm are substituted into the equation (2), the lens The focal length is calculated as 52 mm. The horizontal length of the shooting range at this time is 0.45 m, which is smaller than a general place mat. For this reason, the focal length of 46.8 mm calculated by Equation (1), which corresponds to the size of a general place mat, in both the horizontal and vertical directions of the shooting range is used as a reference, and is widely available on the market. The 50 mm used is calculated as the maximum focal length when shooting a dish. Further, the minimum focal length when the dish is photographed is, for example, “8 mm” which is the minimum limit value of the focal length when photographing the angle of view by 180 degrees with a 35 m full size camera device.
一方、所定の被写体を同一の撮影距離により、異なる焦点距離で撮影した場合、焦点距離が短いときは撮影範囲が広くなるため撮像情報内での被写体が小さくなり、焦点距離が長いときには撮影範囲が狭くなるため撮像情報内での被写体の大きさが大きくなる。そのため、予め設定された基準の焦点距離よりも長い焦点距離で撮影した場合には、撮像情報を適宜縮小させることで、撮像情報内の被写体の大きさを当該基準の焦点距離で撮影した場合と同程度に揃えることができる。 On the other hand, when a predetermined subject is shot at different focal lengths with the same shooting distance, the shooting range is wide when the focal length is short, so the subject in the imaging information is small, and when the focal length is long, the shooting range is Since it becomes narrow, the size of the subject in the imaging information increases. Therefore, when shooting with a focal length longer than a preset reference focal length, by appropriately reducing the imaging information, the subject size in the imaging information is shot with the reference focal length. Can be aligned to the same degree.
一例として、図3に、35m換算において基準の焦点距離を10mmとし、10mmを超える各焦点距離で撮影した撮像情報を、10mmの焦点距離で撮影した場合と被写体の大きさが同程度になるように縮小させるための撮像情報のサイズ値を示す。図3に示すように、撮像情報の画面の横:縦の比が3:2の場合、4:3の場合ともに、焦点距離10mmで撮影されたときの撮像情報のサイズ値を横1.00、縦1.00とすると、焦点距離が長くなるにつれて縦横ともにサイズ値が小さくなり、撮像情報の縮小率が高くなる。 As an example, in Fig. 3, the reference focal length is set to 10mm in 35m equivalent, and the subject size is about the same as when shooting information taken at each focal length exceeding 10mm with a focal length of 10mm. Indicates the size value of the imaging information for reduction. As shown in FIG. 3, when the horizontal / vertical ratio of the imaging information screen is 3: 2, the size value of the imaging information when the focal length is 10 mm is set to 1.00 horizontal and vertical in both cases of 4: 3. Assuming 1.00, the size value decreases both vertically and horizontally as the focal length increases, and the reduction rate of the imaging information increases.
本実施形態においては、上述した料理を撮影する際の最小焦点距離である「8mm」を基準の焦点距離として、撮像情報調整部33において、料理Webサイト情報から取得された撮像情報P(1)〜P(n)の大きさが調整(リサイズ)される場合について説明する。つまり、撮像情報P(1)〜(n)のうち焦点距離が8mmを超える撮像情報が、当該基準の焦点距離8mmで撮影された場合と被写体の大きさが同程度になるように、リサイズ処理される。以下に、撮像情報(1)〜(n)のリサイズ処理について説明する。
In the present embodiment, the imaging
まず、取得されたn枚の撮像情報P(1)〜P(n)の中から、処理対象とする撮像情報が選択される。処理対象とする撮像情報が選択される前の初期状態においては、処理対象の撮像情報Pを示す要素がi=0として設定されており(S2)、処理が開始されると当該要素がインクリメントされて(i=i+1)処理対象がP(1)に設定される(S3)。 First, imaging information to be processed is selected from the acquired n pieces of imaging information P (1) to P (n). In an initial state before the imaging information to be processed is selected, an element indicating the imaging information P to be processed is set as i = 0 (S2), and the element is incremented when the process is started. (I = i + 1), the processing target is set to P (1) (S3).
撮像情報調整部33において、当該撮像情報P(1)に対し、図4に示すようにリサイズ処理が実行される。リサイズ処理が開始されると、まず、当該撮像情報P(1)のExif情報から、撮影時の焦点距離情報が取得される(S41)。そして、取得された焦点距離情報に基づいて、撮影時の焦点距離が、予め設定された最小焦点距離8mm以下であるか否かが判定される(S42)。
In the imaging
撮像情報P(1)の撮影時の焦点距離が最小焦点距離8mm以下であると判定されたときには(S42の「YES」)、焦点距離の最小限界値以下であるため、当該撮像情報P(1)のリサイズ処理は実行されない。焦点距離8mm以下の撮像情報をリサイズ処理しないようにすることで、撮像情報内の料理部分がカットされてしまうことを防ぐことができる。 When it is determined that the focal length at the time of shooting of the imaging information P (1) is equal to or less than the minimum focal length of 8 mm (“YES” in S42), the imaging information P (1) is equal to or less than the minimum limit value of the focal length. ) Resizing process is not executed. By not resizing imaging information having a focal length of 8 mm or less, it is possible to prevent the cooking portion in the imaging information from being cut.
また、撮像情報P(1)の撮影時の焦点距離が8mmを超えると判定されたときには(S42の「NO」)、当該撮像情報P(1)の焦点距離に基づいて、当該撮像情報の大きさが、基準の焦点距離「8mm」で撮影した場合と被写体の大きさが同程度になるようにリサイズされる(S43)。 When it is determined that the focal length at the time of shooting of the imaging information P (1) exceeds 8 mm (“NO” in S42), the magnitude of the imaging information is based on the focal length of the imaging information P (1). However, the image is resized so that the size of the subject is approximately the same as when the image is taken at the reference focal length “8 mm” (S43).
図2のフローチャートに戻り、撮像情報調整部33において、上述したように必要に応じてリサイズ処理が実行された撮像情報(1)を用いて、当該料理カテゴリの基準画像情報p(1)が生成される(S5)。基準画像情報p(1)は撮像情報P(1)と同サイズの画像情報であり、撮像情報P(1)のリサイズ処理が行われていないとき(焦点距離が8mm以下であったとき)には当該撮像情報P(1)がそのまま基準画像情報(1)として用いられる。また、撮像情報(1)の焦点距離が8mmを超えていたことによりリサイズ処理が実行されて縮小されているときには、撮像情報P(1)以外のエリアを余白として、基準画像情報p(1)が生成される。
Returning to the flowchart of FIG. 2, the imaging
ここで、基準画像情報p内の余白部分は、後述する画像認識処理において料理として認識されないようにするために、以下の(a)または(b)のように処理が施される。 Here, the blank portion in the reference image information p is processed as shown in the following (a) or (b) so as not to be recognized as a dish in the image recognition process described later.
(a) 余白部分を、料理の色にない色(例えば、黒、グレー、紫等)で構成し、画像認識処理時に、当該余白部分に用いた色の部分を0カロリーとして認識するように設定しておく。 (a) The margin part is configured with a color that is not in the cooking color (for example, black, gray, purple, etc.), and the color part used for the margin part is set to be recognized as 0 calories during image recognition processing. Keep it.
(b) 余白部分を、料理の色にない色(例えば、黒、グレー、紫等)で構成し、画像認識処理時に、当該余白部分に用いた色の部分を料理の画像部分として認識しないように設定しておく。例えば、料理の色として認識する色(赤、黄、緑等)の画素を「1」とし、料理の色として認識しない色(黒、グレー、紫等)の画素を「0」として設定し、「0」の画素は料理の画像部分として認識しないように予め設定しておく。 (b) The margin part is configured with a color that is not in the color of the dish (for example, black, gray, purple, etc.), and the color part used for the margin part is not recognized as the image part of the dish during the image recognition process. Set to. For example, set the pixel that recognizes the color of the dish (red, yellow, green, etc.) to "1", and the pixel that does not recognize the color of the dish (black, gray, purple, etc.) to "0" The pixel “0” is set in advance so as not to be recognized as an image portion of a dish.
上述した処理により生成される基準画像情報の例について、図5および図6を参照して説明する。図5は、同じ大きさの同じ料理を同じ撮影距離で、異なる焦点距離(8mm、32mm、および50mm)で撮影した3枚の撮像情報P(A1)、P(B1)、およびP(C1)から、それぞれ基準画像情報p(a1)、p(b1)、およびp(c1)を生成する場合の例を示している。 An example of the reference image information generated by the processing described above will be described with reference to FIGS. FIG. 5 shows three pieces of imaging information P (A1), P (B1), and P (C1) obtained by photographing the same dish of the same size at the same shooting distance and at different focal lengths (8 mm, 32 mm, and 50 mm). In the example, reference image information p (a1), p (b1), and p (c1) are generated.
この場合、焦点距離8mmの撮像情報P(A1)に対しては、リサイズ処理は行われないため、撮像情報(A1)がそのまま基準画像情報p(a1)として用いられる。また、焦点距離32mmの撮像情報P(B1)に対しては、所定の縮小率でリサイズが実行され、基準画像情報p(b1)が生成される。この縮小率は、撮像情報P(b1)内の被写体の大きさが、焦点距離8mmで撮影された撮像情報P(A1)内の被写体の大きさと同程度になるように設定されている。また、焦点距離50mmの撮像情報P(C1)に対しては、撮像情報P(B1)のリサイズ処理時よりも高い縮小率でリサイズ処理が実行され、基準画像情報p(c1)が生成される。この縮小率も、撮像情報P(c1)内の被写体の大きさが、焦点距離8mmで撮影された撮像情報P(A1)内の被写体の大きさと同程度になるように設定されている。 In this case, since the resizing process is not performed on the imaging information P (A1) having a focal length of 8 mm, the imaging information (A1) is used as it is as the reference image information p (a1). Further, resizing is performed on the imaging information P (B1) having a focal length of 32 mm at a predetermined reduction rate, and reference image information p (b1) is generated. The reduction ratio is set so that the size of the subject in the imaging information P (b1) is approximately the same as the size of the subject in the imaging information P (A1) captured at a focal length of 8 mm. For the imaging information P (C1) having a focal length of 50 mm, the resizing process is executed at a higher reduction rate than that during the resizing process of the imaging information P (B1), and the reference image information p (c1) is generated. . This reduction ratio is also set so that the size of the subject in the imaging information P (c1) is approximately the same as the size of the subject in the imaging information P (A1) captured at a focal length of 8 mm.
また図6は、異なる大きさ(3人前、2人前、および1人前)の同じ料理を同じ撮影距離で、異なる焦点距離(8mm、32mm、および50mm)で撮影した3枚の撮像情報P(A2)、P(B2)、およびP(C2)から、それぞれ基準画像情報p(a2)、p(b2)、およびp(c2)を生成する場合の例を示している。 Also, FIG. 6 shows three pieces of imaging information P (A2) obtained by photographing the same dish of different sizes (3 servings, 2 servings, and 1 serving) at the same shooting distance and at different focal lengths (8 mm, 32 mm, and 50 mm). ), P (B2), and P (C2), reference image information p (a2), p (b2), and p (c2) are generated.
この場合も、焦点距離8mmの撮像情報P(A2)に対してはリサイズ処理が行われず、焦点距離32mmの撮像情報P(B2)および焦点距離50mmの撮像情報P(C1)に対しては、上述した図5の例と同様の縮小率でリサイズ処理が行われ、基準画像情報p(a1)、p(b2)、およびp(c2)が生成される。この場合、リサイズ処理前の撮像情報P(A2)、撮像情報P(B2)、および撮像情報P(C2)内の被写体の大きさはほぼ同じであるが、リサイズ後の基準画像情報p(b2)内の被写体の大きさは基準画像情報p(a2)よりも小さく、基準画像情報p(c2)内の被写体の大きさは基準画像情報p(b2)よりも小さい。つまり、図5の場合および図6の場合ともに、リサイズ処理後の基準画像情報内の被写体の大きさは、実際の料理の大きさに対応している。 Also in this case, the resizing process is not performed on the imaging information P (A2) with the focal length of 8 mm, and the imaging information P (B2) with the focal length of 32 mm and the imaging information P (C1) with the focal length of 50 mm are Resizing processing is performed at the same reduction ratio as in the example of FIG. 5 described above, and reference image information p (a1), p (b2), and p (c2) are generated. In this case, the sizes of the subjects in the imaging information P (A2), the imaging information P (B2), and the imaging information P (C2) before the resizing process are substantially the same, but the reference image information p (b2 after the resizing is performed. ) Is smaller than the reference image information p (a2), and the subject in the reference image information p (c2) is smaller than the reference image information p (b2). That is, in both the cases of FIG. 5 and FIG. 6, the size of the subject in the reference image information after the resizing process corresponds to the size of the actual dish.
以降、撮像情報P(2)〜P(n)についても同様にリサイズ処理および基準画像情報p(2)〜p(n)の生成処理が実行される(S6の「NO」→S3〜S5)。そして、最後の撮像情報P(n)に対する処理が終了すると(S5の「YES」)、それぞれ生成された料理カテゴリごとの基準画像情報p(1)〜p(n)に、該当する料理Webサイト情報で取得された、該当する料理のカロリ−情報および何人前かを示す量の情報が対応付けられて学習データ記憶部34に記憶される(S7)。以上で、食事管理サーバ30で実行される学習データ処理の説明を終了する。
Thereafter, the resizing process and the generation process of the reference image information p (2) to p (n) are similarly executed for the imaging information P (2) to P (n) (“NO” in S6 → S3 to S5). . Then, when the processing for the last imaging information P (n) is completed (“YES” in S5), the corresponding dish Web site corresponds to the generated reference image information p (1) to p (n) for each dish category. The calorie information of the corresponding dish acquired in the information and the amount of information indicating the number of servings are associated with each other and stored in the learning data storage unit 34 (S7). Above, description of the learning data process performed with the
次に、ユーザが当該食事管理システム1を利用する際に実行される処理について、図7のシーケンス図を参照して説明する。まず、ユーザが食事管理システム1を利用するために、ユーザ端末10のタッチパネル11上で食事管理アプリケーション14を起動させる操作を行う(S11)。さらに、ユーザがカメラ装置12を用いて摂取する料理を撮影し、撮影した料理を食事情報として食事管理システム1に登録するための登録要求操作を行う(S12)。登録要求操作が行われると、登録要求部141により登録要求信号が生成され、撮影により生成された撮像情報Qとともに端末通信部13から食事管理サーバ30宛てに送信される(S13)。
Next, processing executed when the user uses the
食事管理サーバ30では、ユーザ端末10から送信された登録要求信号および撮像情報Qが、サーバ通信部31を介して登録要求取得部35で取得される。登録要求取得部35で取得された情報のうち、撮像情報Qが撮像情報調整部33に送出され、図4の処理が実行される(S14)。そして、必要に応じてリサイズ処理が実行された撮像情報Qを用いて、上述した基準画像情報の生成処理と同様の処理により、登録画像情報qが生成される(S15)。
In the
次に、カロリー情報推定部36において、生成された登録画像情報qと学習データ記憶部34の学習データ内の基準画像情報p(1)〜p(n)とが比較され、登録画像情報qと同じ料理カテゴリの基準画像情報p(i)が特定される。基準画像情報p(1)〜p(n)の中から登録画像情報qと同じ料理カテゴリの情報を特定する処理には、例えば、Muti-task CNN(Deep Convolutional Neural Network)技術を用いた画像認識処理が利用される。そして、特定された基準画像情報p(i)に対応づけられた料理のカロリー情報および量の情報が、学習データ記憶部34から取得される。
Next, in the calorie
さらに、[登録画像情報q内の被写体の大きさ]/[基準画像情報p(i)内の被写体の大きさ]×[基準画像情報p(i)内の料理のカロリー情報]により、登録画像情報qの被写体である料理の推定カロリーが算出される。つまり、基準画像情報p(i)内の料理のカロリー情報に、基準画像情報p(i)内の被写体の大きさに対する登録画像情報q内の被写体の大きさを示す数値を掛けることで、登録画像情報qの被写体である料理の推定カロリーが算出される。 Furthermore, a registered image is obtained by [size of subject in registered image information q] / [size of subject in reference image information p (i)] × [calorie information of dish in reference image information p (i)]. The estimated calorie of the dish that is the subject of the information q is calculated. That is, registration is performed by multiplying the calorie information of the dish in the reference image information p (i) by the numerical value indicating the size of the subject in the registered image information q with respect to the size of the subject in the reference image information p (i). The estimated calorie of the dish that is the subject of the image information q is calculated.
また、[登録画像情報q内の被写体の大きさ]/[基準画像情報p(i)内の被写体の大きさ]×[基準画像情報p(i)内の料理の量の情報(何人前)]により、登録画像情報qの被写体である料理の量の情報(何人前)が算出される(S16)。つまり、基準画像情報p(i)内の料理の量の情報に、基準画像情報p(i)内の被写体の大きさに対する登録画像情報q内の被写体の大きさを示す数値を掛けることで、登録画像情報qの被写体である料理の量が算出される。 In addition, [size of subject in registered image information q] / [size of subject in reference image information p (i)] × [information on the amount of dishes in reference image information p (i) (for several persons) ], The information (the number of servings) of the amount of food that is the subject of the registered image information q is calculated (S16). That is, by multiplying the information on the amount of food in the reference image information p (i) by a numerical value indicating the size of the subject in the registered image information q with respect to the size of the subject in the reference image information p (i), The amount of food that is the subject of the registered image information q is calculated.
算出された当該料理の推定カロリー、および取得された撮像情報の被写体である料理の量の情報(何人前)は、料理のカテゴリを示す情報とともに該当するユーザの食事情報としてユーザ別情報登録部37に登録される(S17)。 The calculated estimated calorie of the dish and the information on the amount of dish that is the subject of the acquired imaging information (number of servings), together with information indicating the category of the dish, as the meal information of the corresponding user, is registered by user information 37 (S17).
ユーザ別情報登録部37に登録されたユーザ別の食事情報の一例を、図8に示す。図8のユーザ別の食事情報には、ID「0001」で示されるユーザの食事情報として、登録要求信号を取得した日時を示すタイムスタンプ情報「2018年1月11日 11時20分」と、予め登録された当該ユーザのプロフィール情報である身長「xxcm」および体重「xxKg」の情報と、ユーザから送信された撮像情報に関して画像認識処理により取得された、料理カテゴリ「オムライス」、推定カロリー「312cal」、および量の情報「1人前」が格納されている。
An example of meal information for each user registered in the
そして、ユーザがタッチパネル11上で当該ユーザの食事情報を閲覧するためのユーザ情報要求操作を行うと、ユーザ情報要求部142によりユーザ情報要求信号が生成され、端末通信部13から食事管理サーバ30宛てに送信される(S18)。
When the user performs a user information request operation for browsing the user's meal information on the
食事管理サーバ30では、ユーザ端末10から送信されたユーザ情報要求信号に基づいてサーバ通信部31を介してユーザ別情報登録部37から当該ユーザに関する食事情報が読み出され、ユーザ端末10に送信される(S19)。ユーザ端末10では、食事管理サーバ30から送信された当該ユーザに関する食事情報が端末通信部13から受信され、受信された情報を表示させるための表示情報が表示情報生成部143で生成される。生成された表示情報はタッチパネル11に表示される(S20)。
In the
ユーザは、タッチパネル11に表示された自身の食事情報を閲覧することで、いつ、何カロリーで何人前の食事を摂ったかを認識することができる。
The user can recognize when and how many calories and how many people have eaten by browsing his / her own meal information displayed on the
以上の実施形態によれば、撮像情報から、被写体である料理のカロリーを高い精度で推定することで、ユーザが簡易な操作で精度の高い自身の食事情報を閲覧することができる。 According to the above embodiment, the user can browse his / her own meal information with high accuracy by a simple operation by estimating the calorie of the dish as a subject with high accuracy from the imaging information.
上述した実施形態においては、学習データ処理およびユーザが当該食事管理システム1を利用する際に実行される処理において、料理を撮影する際の最小焦点距離である「8mm」を基準の焦点距離としてリサイズ処理を行う場合について説明したが、一般的に料理の撮影で使用される焦点距離24〜50mmの範囲の中から基準の焦点距離を設定して撮像情報の縮小をなるべく抑えることで、より精度の高いカロリー推定処理を行うようにしてもよい。
In the above-described embodiment, in the learning data process and the process executed when the user uses the
上述した食事管理サーバが有する学習データ記憶機能、撮像情報調整機能、およびカロリー情報推定機能を、コンピュータに搭載することにより、当該コンピュータをカロリー推定装置として機能させるためのカロリー推定プログラムを構築することも可能である。 It is also possible to construct a calorie estimation program for causing the computer to function as a calorie estimation device by mounting the above-described learning data storage function, imaging information adjustment function, and calorie information estimation function of the meal management server. Is possible.
1 食事管理システム
10 ユーザ端末
11 タッチパネル
12 カメラ装置
13 端末通信部
14 食事管理アプリケーション
20 料理情報Webサーバ
30 食事管理サーバ
31 サーバ通信部
32 Webサイト情報取得部
33 撮像情報調整部
34 学習データ記憶部
35 登録要求取得部
36 カロリー情報推定部
37 ユーザ別情報登録部
40 通信ネットワーク
141 登録要求部
142 ユーザ情報要求部
143 表示情報生成部
DESCRIPTION OF
Claims (5)
料理カテゴリごとに予め取得された、所定の焦点距離の撮像情報を用いた基準画像情報と、当該撮像情報の被写体である料理のカロリー情報とを記憶する学習データ記憶部と、
前記ユーザ端末から送信された、前記カメラ装置で撮影された料理の撮像情報を取得すると、当該撮像情報に含まれる焦点距離情報が予め設定された最小焦点距離を超えるときには、当該撮像情報内の被写体の大きさが前記基準画像情報の焦点距離で撮影した場合の被写体の大きさと同程度になるように当該撮像情報の大きさを調整し、当該大きさが調整された撮像情報を用いた登録画像情報を生成する撮像情報調整部と、
前記撮像情報調整部で生成された登録画像情報と、前記学習データ記憶部に記憶された料理カテゴリごとの基準画像情報とを比較することにより、前記登録画像情報と同じ料理カテゴリの基準画像情報を特定し、特定した基準画像情報に対応するカロリー情報を取得し、当該カロリー情報を、取得した撮像情報の被写体である料理の推定カロリーとして算出するカロリー情報推定部と
を備えることを特徴とするカロリー推定装置。 In a calorie estimation device connected to be communicable with a user terminal incorporating a camera device that generates imaging information including focal length information of a lens at the time of shooting,
A learning data storage unit that stores reference image information obtained in advance for each cooking category using imaging information of a predetermined focal length, and calorie information of a dish that is a subject of the imaging information;
When the imaging information of the dish photographed by the camera device transmitted from the user terminal is acquired, when the focal length information included in the imaging information exceeds a preset minimum focal length, the subject in the imaging information The size of the imaging information is adjusted so that the size of the image is the same as the size of the subject when the image is captured at the focal length of the reference image information, and the registered image using the imaging information with the adjusted size An imaging information adjustment unit that generates information;
By comparing the registered image information generated by the imaging information adjustment unit and the reference image information for each cooking category stored in the learning data storage unit, the reference image information of the same cooking category as the registered image information is obtained. A calorie information estimating unit that obtains calorie information corresponding to the specified reference image information, and calculates the calorie information as an estimated calorie of a dish that is a subject of the acquired imaging information. Estimating device.
ことを特徴とする請求項1に記載のカロリー推定装置。 The calorie information estimation unit multiplies the calorie information corresponding to the identified reference image information by a numerical value indicating the size of the subject in the registered image information with respect to the size of the subject in the reference image information. The calorie estimation apparatus according to claim 1, wherein an estimated calorie of a dish which is a subject of registered image information is calculated.
前記カロリー情報推定部は、特定した基準画像情報に対応する料理の量の情報をさらに取得し、取得した量の情報に基づいて、取得した撮像情報の被写体である料理の量の情報を算出し、
前記カロリー情報推定部で取得された推定カロリー、および取得された撮像情報の被写体である料理の量の情報を、該当するユーザの食事情報として登録するユーザ別情報登録部をさらに備える
ことを特徴とする請求項1または2に記載のカロリー推定装置。 The learning data storage unit further stores information on the amount of cooking that is a subject of imaging information acquired in advance for each cooking category,
The calorie information estimation unit further acquires information on the amount of food corresponding to the identified reference image information, and calculates information on the amount of food that is the subject of the acquired imaging information based on the acquired amount information. ,
The apparatus further comprises a user-specific information registration unit that registers the estimated calorie acquired by the calorie information estimation unit and information on the amount of cooking that is the subject of the acquired imaging information as meal information of the corresponding user. The calorie estimation apparatus according to claim 1 or 2.
料理カテゴリごとに予め取得された、所定の焦点距離の撮像情報を用いた基準画像情報と、当該撮像情報の被写体である料理のカロリー情報とを記憶する学習データ記憶ステップと、
前記ユーザ端末から送信された、前記カメラ装置で撮影された料理の撮像情報を取得すると、当該撮像情報に含まれる焦点距離情報が予め設定された最小焦点距離を超えるときには、当該撮像情報内の被写体の大きさが前記基準画像情報の焦点距離で撮影した場合の被写体の大きさと同程度になるように当該撮像情報の大きさを調整し、当該大きさが調整された撮像情報を用いた登録画像情報を生成する撮像情報調整ステップと、
前記撮像情報調整ステップで生成された登録画像情報と、前記学習データ記憶ステップにより記憶された料理カテゴリごとの基準画像情報とを比較することにより、前記登録画像情報と同じ料理カテゴリの基準画像情報を特定し、特定した基準画像情報に対応するカロリー情報を取得し、当該カロリー情報を、取得した撮像情報の被写体である料理の推定カロリーとして算出するカロリー情報推定ステップと
を有することを特徴とするカロリー推定方法。 A calorie estimation device connected to be communicable with a user terminal incorporating a camera device that generates imaging information including focal length information of a lens at the time of shooting,
A learning data storage step for storing reference image information obtained in advance for each cooking category using imaging information of a predetermined focal length, and calorie information of a dish that is a subject of the imaging information;
When the imaging information of the dish photographed by the camera device transmitted from the user terminal is acquired, when the focal length information included in the imaging information exceeds a preset minimum focal length, the subject in the imaging information The size of the imaging information is adjusted so that the size of the image is the same as the size of the subject when the image is captured at the focal length of the reference image information, and the registered image using the imaging information with the adjusted size An imaging information adjustment step for generating information;
By comparing the registered image information generated in the imaging information adjustment step with the reference image information for each cooking category stored in the learning data storage step, the reference image information of the same cooking category as the registered image information is obtained. A calorie information estimation step for obtaining and calculating calorie information corresponding to the specified reference image information and calculating the calorie information as an estimated calorie of a dish which is a subject of the acquired imaging information. Estimation method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018118494A JP6598930B1 (en) | 2018-06-22 | 2018-06-22 | Calorie estimation device, calorie estimation method, and calorie estimation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018118494A JP6598930B1 (en) | 2018-06-22 | 2018-06-22 | Calorie estimation device, calorie estimation method, and calorie estimation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6598930B1 true JP6598930B1 (en) | 2019-10-30 |
JP2019220051A JP2019220051A (en) | 2019-12-26 |
Family
ID=68383285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018118494A Active JP6598930B1 (en) | 2018-06-22 | 2018-06-22 | Calorie estimation device, calorie estimation method, and calorie estimation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6598930B1 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008059320A (en) * | 2006-08-31 | 2008-03-13 | Nec Corp | Health care system, health care server, health care method, and program |
JP2012014678A (en) * | 2010-05-31 | 2012-01-19 | Univ Of Tokyo | Information processing device |
JP2012113627A (en) * | 2010-11-26 | 2012-06-14 | Terumo Corp | Portable terminal, calorie estimation method, and calorie estimation program |
US20160143582A1 (en) * | 2014-11-22 | 2016-05-26 | Medibotics Llc | Wearable Food Consumption Monitor |
JP6075879B2 (en) * | 2013-11-13 | 2017-02-08 | 日本電信電話株式会社 | Information estimation apparatus and computer program |
JP2017041035A (en) * | 2015-08-19 | 2017-02-23 | 株式会社野村総合研究所 | Health management support system and health management support program |
-
2018
- 2018-06-22 JP JP2018118494A patent/JP6598930B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019220051A (en) | 2019-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9338311B2 (en) | Image-related handling support system, information processing apparatus, and image-related handling support method | |
CN109361865B (en) | Shooting method and terminal | |
US8411171B2 (en) | Apparatus and method for generating image including multiple people | |
US8600191B2 (en) | Composite imaging method and system | |
CN112565589B (en) | Photographing preview method and device, storage medium and electronic equipment | |
US10110868B2 (en) | Image processing to determine center of balance in a digital image | |
CN105787480B (en) | Method and device for shooting test questions | |
US9554060B2 (en) | Zoom images with panoramic image capture | |
JP2012023502A (en) | Photographing support system, photographing support method, server, photographing device, and program | |
JP6727776B2 (en) | Support system, support method, program | |
US20190130358A1 (en) | Screen sharing system, method, and program for remote medical care | |
GB2588306A (en) | Image processing system, imaging device, image processing device, electronic device, control method thereof, and storage medium storing control method thereof | |
CN103353879B (en) | Image processing method and apparatus | |
JP7148624B2 (en) | Image proposal device, image proposal method, and image proposal program | |
JP2014225061A (en) | Information provision device, information provision system, information provision method, and program | |
JP6598930B1 (en) | Calorie estimation device, calorie estimation method, and calorie estimation program | |
CN110673737B (en) | Display content adjusting method and device based on intelligent home operating system | |
CN105678696A (en) | Image acquisition method and electronic equipment | |
JP2010225082A (en) | Image data management system and image data management method | |
US8629911B2 (en) | Automatic photographing system and method thereof | |
CN116363725A (en) | Portrait tracking method and system for display device, display device and storage medium | |
JP6411640B2 (en) | Skin condition measurement analysis system and skin condition measurement analysis method | |
WO2023286652A1 (en) | Learning apparatus, prediction appraratus, and imaging appraratus | |
KR102469244B1 (en) | Method of collecting results of offline advertisement based on image processing | |
JP2004000341A (en) | Method, server, and program for determining compatibility and recording medium recording the program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190716 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191001 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6598930 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |