WO2011152394A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2011152394A1
WO2011152394A1 PCT/JP2011/062481 JP2011062481W WO2011152394A1 WO 2011152394 A1 WO2011152394 A1 WO 2011152394A1 JP 2011062481 W JP2011062481 W JP 2011062481W WO 2011152394 A1 WO2011152394 A1 WO 2011152394A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
reference information
food
value
Prior art date
Application number
PCT/JP2011/062481
Other languages
English (en)
French (fr)
Inventor
清晴 相澤
山崎　俊彦
圭吾 北村
達也 宮崎
Original Assignee
国立大学法人 東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人 東京大学 filed Critical 国立大学法人 東京大学
Priority to EP11789797.5A priority Critical patent/EP2579204A1/en
Priority to US13/700,873 priority patent/US9449226B2/en
Publication of WO2011152394A1 publication Critical patent/WO2011152394A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Definitions

  • the present invention relates to an information processing apparatus that outputs estimated nutritional value information of food and drink.
  • Patent Document 1 The idea of identifying the type (such as croquette) and amount of food from an image and calculating the calorie value of the identified amount of the food of that type is disclosed in Patent Document 1.
  • Patent Document 2 discloses a technique for searching for similar items from past meal contents in order to support the work of the worker when the worker determines the calorie value from the captured image.
  • One of the objects of the present invention is to provide an information processing apparatus that simplifies the contents of the process in outputting the estimated nutritional value information of food and drink, in view of the above-described conventional situation. To do.
  • the present invention for solving the problems of the above-described conventional example is an information processing apparatus, and refers to an image obtained by photographing food and drink and nutrition value information set regarding the food and drink included in the image.
  • Holding means for holding as information; means for receiving an image including food and drink; search means for searching a plurality of images similar to the received image from reference information held in the holding means; and finding by the search Means for calculating statistical values of a plurality of pieces of nutritional value information associated with the plurality of images and means for outputting the calculated statistical values.
  • the result of collective intelligence can be obtained without identifying the food type and quantity, and without estimating the nutritional value by trained workers.
  • the contents of the process can be simplified.
  • One aspect of the information processing apparatus relates to an image obtained by capturing food and drink and nutrition value information set for the food and drink included in the image, and holding means for holding as reference information, Means for accepting an image including food and drink; search means for retrieving a plurality of images similar to the accepted image from reference information held in the holding means; and a plurality of images associated with the plurality of images found by the search Means for calculating the statistical value of the nutritional value information and means for outputting the calculated statistical value are included.
  • the search means may search for a plurality of images by using a plurality of similar image search methods different from each other.
  • the holding means includes N (N ⁇ 2) holding means elements that hold different reference information
  • the search means includes a plurality of images as N holding means elements. It is also possible to search from among M (N ⁇ M ⁇ 2) selection / holding means elements selected from among them.
  • the program according to the embodiment of the present invention includes a holding unit that holds, as reference information, a computer that associates an image obtained by photographing food and drink with nutrition value information set for the food and drink included in the image.
  • Non-patent Document 1 In this mathematical modeling study, an example is given in which an abstract information processing unit that processes mathematical logic expressions is operated quasi-randomly.
  • An example of the information processing apparatus 1 includes a control unit 11, a storage unit 12, an operation unit 13, and a display unit 14 as shown in FIG. Is done.
  • the imaging device 2 is separate from the information processing device 1, but the information processing device 1 may include the imaging device 2 integrally.
  • the information processing apparatus 1 accepts image information from the imaging apparatus 2, but instead, the information processing apparatus 1 is connected to another information processing apparatus (such as a PC) via a network, for example. ) May accept image information to be processed.
  • the control unit 11 is a program control device such as a CPU, and operates according to a program stored in the storage unit 12.
  • the control part 11 of this Embodiment accepts the image of the food / beverage imaged with the imaging device 2, searches several images similar to the said received image from the information prepared previously, and performs the said search
  • the statistical value of nutrition value information recorded in advance in association with the information found by the above is calculated and output. Details of the processing of the control unit 11 will be described later.
  • the storage unit 12 associates an image of a food and drink with estimated nutritional value information of the food and drink included in the image and holds it as reference information.
  • the storage unit 12 holds a program executed by the control unit 11. Furthermore, the storage unit 12 also operates as a work memory for the control unit 11.
  • the operation unit 13 is a keyboard, a touch panel, or the like, and accepts a user operation and outputs the content of the operation to the control unit 11.
  • the display unit 14 is a display or the like, and displays and outputs information according to an instruction input from the control unit 11.
  • the imaging device 2 is a camera including an optical sensor such as a CCD or a CMOS, and outputs an image captured by the optical sensor as digitized image information.
  • an optical sensor such as a CCD or a CMOS
  • the control unit 11 functionally includes a reference information acquisition unit 21, an image reception unit 22, a similar image search unit 23, and a correspondence information acquisition unit 24 as illustrated in FIG. And a statistical calculation unit 25 and an output unit 26.
  • the reference information acquisition unit 21 reads the reference information stored in the storage unit 12.
  • a plurality of reference information is stored in one recording area as shown in FIG.
  • the image receiving unit 22 receives image information captured by the imaging device 2.
  • the similar image search unit 23 uses the image information received by the image receiving unit 22 as a search key by a predetermined similar image search method, and uses the reference information including image information similar to this key as reference information acquisition unit 21. Search from reference information acquired by.
  • the similar image search unit 23 calculates a predetermined image feature amount based on image information that is a search key. Examples of the image feature amount include a feature amount representing a change point independent of the scale, such as a shift feature amount (SIFT feature amount).
  • SIFT feature amount shift feature amount
  • the similar image search unit 23 causes the reference information acquisition unit 21 to sequentially read the reference information stored in the storage unit 12 and calculates an image feature amount based on the image information included in the read reference information. To do.
  • the image feature amount calculated here is the same as the image feature amount calculated based on the key image information.
  • the similar image search unit 23 compares the image feature quantity based on the key image information with the image feature quantity calculated based on the image information included in the reference information, and the image feature based on the key image information. L pieces of image information corresponding to the top L image feature amounts are found as similar images in the order closest to the amount.
  • the correspondence information acquisition unit 24 acquires L pieces of nutrition value information associated with each of the L pieces of similar images found by the similar image search unit 23, and outputs them to the statistical calculation unit 25.
  • the statistical calculation unit 25 calculates the statistical value of the nutrition value information input from the correspondence information acquisition unit 24 and outputs the statistical value to the output unit 26.
  • the nutritional value information is a calorie value
  • the statistical calculation unit 25 calculates and outputs the average value as a statistical value.
  • the statistical calculation unit 25 of the present embodiment is not limited to this example, and may output a maximum value, a minimum value, a median, and other statistical calculation values in addition to the average value.
  • the output unit 26 causes the display unit 14 to display and output information output from the statistical calculation unit 25.
  • the estimated value of the nutritional value of the food and drink that has been photographed in advance is associated with the image information of the food and drink as the reference information. Have been accumulated.
  • a predetermined feature amount is calculated for the image information used as the key (hereinafter, the calculated feature amount is referred to as “key feature amount”).
  • the same feature amount is calculated for the image information included in each reference information, and a plurality of L pieces of image information are selected in order from the calculated feature amount closer to the key feature amount.
  • the estimated value of nutrition value included in the reference information together with the selected image information (associated with the selected image information) is read, and L estimated values of nutrition value are obtained.
  • the information processing apparatus 1 calculates a statistic such as an average value of the estimated values, displays the calculated statistic on the display unit 14, and presents it to the user. Specifically, the information of the calculated statistic is displayed together with the image of the imaged food and drink (image information as a key) (FIG. 4).
  • the estimated value of the nutritional value in each piece of reference information stored in the storage unit 12 need not be accurate under the idea of collective intelligence. This is because it is sufficient that a roughly correct value is obtained as the statistical value.
  • the control unit 11 functionally includes a reference information acquisition unit 21, an image reception unit 22, a similar image search unit 23 ′, and correspondence information as illustrated in FIG.
  • the acquisition part 24, the statistical calculation part 25, and the output part 26 are comprised.
  • symbol is attached
  • the similar image search unit 23 ′ uses the image information received by the image receiving unit 22 as a search key by a plurality of predetermined similar image search methods, and includes reference information including image information similar to this key. Is searched from the reference information acquired by the reference information acquisition unit 21.
  • the similar image search unit 23 ′ calculates a plurality of k types of image feature amounts determined in advance based on image information that is a search key.
  • image feature amount for example, shift feature amount (SIFT feature amount), contour line, color scheme (average and variance of hue, brightness, saturation, covariance of brightness saturation, etc.), luminance gradient histogram, direction line element, Hough Conversion or a combination of these is used.
  • the similar image search unit 23 ′ causes the reference information acquisition unit 21 to sequentially read the reference information stored in the storage unit 12, and the same applies to the image information included in the read reference information.
  • K types of image feature quantities are calculated.
  • the image feature amount calculated here uses the same combination as the image feature amount calculated based on the key image information.
  • the similar image search unit 23 ′ compares the k types of image feature amounts based on the key image information with the k types of image feature amounts calculated based on the image information included in the reference information.
  • the correspondence information acquisition unit 24 acquires L nutrition value information associated with each of the L similar images found by the similar image search unit 23 ′ and outputs the information to the statistical calculation unit 25.
  • the statistical calculation unit 25 calculates the statistical value of the nutrition value information input from the correspondence information acquisition unit 24 and outputs the statistical value to the output unit 26.
  • the output unit 26 causes the display unit 14 to display and output information output from the statistical calculation unit 25.
  • control unit 11 functionally includes a plurality of n reference information acquisition units 21 ′, an image reception unit 22, and a reference information acquisition unit. As many as n similar image search units 23, 21 ′, correspondence information acquisition units 24, statistical calculation units 25, and output units 26 are included. In addition, about the thing which has the structure similar to the example demonstrated previously, the same code
  • a plurality of pieces of reference information are respectively stored in a plurality of n recording areas formed in the storage unit 12 as illustrated in FIG. At this time, the combinations of the reference information stored in the respective recording areas are different from each other. However, there may be some overlap.
  • each reference information acquisition unit 21 ′ corresponds to each of the n recording areas, and sequentially reads and outputs the reference information from the corresponding recording areas.
  • a similar image search unit 23 is also provided corresponding to each reference information acquisition unit 21 ′, calculates an image feature amount based on key image information, and outputs the corresponding reference information acquisition unit 21 ′.
  • the image feature amount calculated based on the image information included in the reference information is compared, and the top Li (i is the same for each similar image search unit 23) in the order closest to the image feature amount based on the key image information.
  • the price information is acquired and output to the statistical calculation unit 25.
  • the statistical calculation unit 25 calculates the statistical value of the nutrition value information input from the correspondence information acquisition unit 24 and outputs the statistical value to the output unit 26.
  • the output unit 26 causes the display unit 14 to display and output information output from the statistical calculation unit 25.
  • the similar image search unit 23 ′ of the previous example using a plurality of types of image feature amounts may be used (referred to as a fourth example). Also in this case, the similar image search unit 23 ′ calculates a plurality of k types of image feature amounts determined in advance based on the image information that is the search key.
  • this image feature amount for example, shift feature amount (SIFT feature amount), contour line, color scheme (average and variance of hue, brightness, saturation, covariance of brightness saturation, etc.), luminance gradient histogram, direction line element, Hough Conversion or a combination of these is used.
  • the similar image search unit 23 ′ causes the reference information acquisition unit 21 ′ to sequentially read the reference information stored in the corresponding recording area of the storage unit 12, and the image included in the read reference information Similarly, k types of image feature amounts are calculated for information.
  • the image feature amount calculated here uses the same combination as the image feature amount calculated based on the key image information.
  • the similar image search unit 23 ′ calculates k types of image features based on the key image information and k types calculated based on the image information included in the reference information output by the corresponding reference information acquisition unit 21 ′.
  • the storage unit 12 stores a plurality of reference information in a single area.
  • the information processing apparatus 1 accepts image information obtained by capturing food and drink (S1)
  • the information processing apparatus 1 uses the received image information as a key to calculate one type of image feature amount that is predetermined for the image information that is the key.
  • the information processing apparatus 1 sequentially reads the reference information stored in the storage unit 12 (S3), calculates a predetermined image feature amount for the image information included in each reference information, and calculates the calculated image.
  • the feature quantity is recorded in association with the information specifying the corresponding reference information (S4).
  • the image feature amount (key feature amount) calculated with respect to the key image information is compared with the image feature amount calculated for the image information included in each reference information in the process S4.
  • the image feature amount is selected (S5), and the nutrition value information included in the reference information specified by the information recorded in association with the selected L image feature amounts is extracted (S6).
  • the information processing apparatus 1 calculates and outputs the statistical value of the nutrition value information extracted here (S7).
  • the storage unit 12 stores a plurality of reference information in a single area.
  • the information processing apparatus 1 accepts image information obtained by capturing food and drink (S11), the received image information is used as a key, and a plurality of k types of image feature amounts determined in advance for the image information serving as the key are calculated. (S12).
  • the information processing apparatus 1 sequentially reads the reference information stored in the storage unit 12 (S13), calculates a plurality of k types of image feature amounts determined in advance for the image information included in each reference information, The calculated k types of image feature quantities are recorded in association with information for specifying the corresponding reference information (S14).
  • the key feature value Fi of k) is extracted, and the image feature value corresponding to the extracted key feature value Fi and the extracted key feature among the k types of image feature values calculated for the image information included in each reference information in step S14.
  • the amount Fi is compared, and Li image feature amounts are selected in the order closer to the key feature amount Fi (S15).
  • the information processing apparatus 1 repeatedly executes the processes S14 and S15 while incrementing i by 1 to k (note that the initial value of i is set to “1”), and the image feature selected by the repetition.
  • the similar image X may be found by the first type image feature amount, and the same similar image X may be found by the second type image feature amount.
  • the similar image X is allowed to be included in the search result (that is, the nutrition value information included in the reference information in association with the similar image X is output as a statistical value weighted by the overlap). Yes.
  • processing for eliminating the duplication may be performed. In this case, the number of similar images found by repeating steps S14 and S15 is L or less.
  • a plurality of n recording areas are formed in the storage unit 12, and a plurality of reference information is stored in each recording area.
  • the information processing apparatus 1 accepts image information obtained by imaging food and drink (S21), the information processing apparatus 1 uses the received image information as a key and calculates one type of image feature amount that is predetermined for the image information that is the key. (S22). Further, the information processing apparatus 1 sequentially reads a plurality of pieces of reference information stored in the i-th recording area of the storage unit 12 (S23), and sets predetermined image feature amounts for the image information included in each reference information.
  • the calculated image feature value is recorded in association with information for specifying the corresponding reference information (S24). Then, the image feature amount (key feature amount) calculated for the key image information is compared with the image feature amount calculated for the image information included in each reference information in step S24. Is selected (S25).
  • a plurality of n recording areas are formed in the storage unit 12, and a plurality of reference information is stored in each recording area.
  • the information processing apparatus 1 accepts image information obtained by capturing food and drink (S31), the image information serving as the key is used as a key to calculate k types of image feature amounts determined in advance for the image information serving as the key. (S32).
  • the information processing apparatus 1 sequentially reads a plurality of reference information stored in the i-th recording area of the storage unit 12 (S33), and sets a plurality of k types of image information included in each reference information in advance. The image feature amount is calculated, and the calculated k image feature amounts are recorded in association with information for specifying the corresponding reference information (S34).
  • the key feature value Fj of k) is extracted.
  • the information processing apparatus 1 calculates the image feature corresponding to the extracted key feature amount Fj out of the k types of image feature amounts calculated for the image information included in each reference information held in the i-th recording area.
  • the amount and the extracted key feature amount Fj are compared, and Pj image feature amounts are selected in the order closest to the key feature amount Fj (S35).
  • the information processing apparatus 1 repeatedly executes this processing S35 while incrementing j by “1” to k (the initial value of j is “1”).
  • the information processing apparatus 1 repeatedly executes the processes from step S33 to step S36 while incrementing i by “1” (the initial value of i is set to “1”).
  • the nutrition value information included in the reference information specified by the acquired information is extracted (S37).
  • the information processing apparatus 1 calculates and outputs the statistical value of the nutrition value information extracted here (S38).
  • the similar image X may be found based on the first type image feature amount, and the same similar image X may be found based on the second type image feature amount.
  • the similar image X is allowed to be included in the search result (that is, the nutrition value information included in the reference information in association with the similar image X is output as a statistical value weighted by the overlap). Yes.
  • processing for eliminating the duplication may be performed. In this case, the number of similar images found by repeating steps S35 and S36 is L or less.
  • the reference information can be generated as follows. That is, images of a plurality of foods and drinks are prepared in advance, and each of the images is sequentially presented, and information on nutritional values such as estimated calorie values of foods and foods captured in the images are presented to the user. Ask for input. The nutritional value information input from the user is recorded as reference information in association with the corresponding image.
  • the estimated value of nutrition value in each reference information does not need to be accurate, and the user has a personal feeling. It is only necessary to input a numerical value considered appropriate from only the image.
  • the user every time a user captures an image of food and drink, the user is asked to input nutritional value information such as an estimated caloric value of the captured food and drink, and the nutritional value input by the user Information may be recorded as reference information in association with the corresponding image. In this case as well, the user may input a numerical value considered appropriate from only the image with a personal feeling.
  • nutritional value information such as an estimated caloric value of the captured food and drink
  • the nutritional value input by the user Information may be recorded as reference information in association with the corresponding image.
  • the user may input a numerical value considered appropriate from only the image with a personal feeling.
  • control unit 11 when the control unit 11 receives image information (when operating as the image receiving unit 22), it recognizes the image of the dish and the size of the dish included in the received image information, You may utilize the recognition result for the calculation process of nutrition value information.
  • the image information included in the reference information is also prepared in advance as follows. That is, the reference information of this example includes image information of food and drink placed on one plate (or put on one plate). In addition, information about the size of the dish is input, for example, as a value of the area of the dish, or is input as a character string such as “large”, “medium”, “small”, and recorded as reference information.
  • the reference information of this example includes image information of food and drink placed on one plate (or put on one plate).
  • information about the size of the dish is input, for example, as a value of the area of the dish, or is input as a character string such as “large”, “medium”, “small”, and recorded as reference information.
  • the control unit 11 When the control unit 11 receives input of image information to be processed, the control unit 11 divides the image information for each dish included in the image information.
  • the image portion of the plate is recognized by detecting, for example, a circular or rectangular outline. In general, foods and drinks make use of the fact that they are not round or rectangular. Then, the control unit 11 sets the image information divided for each plate as the output of the image receiving unit 22.
  • the user may receive an input of information on the size of the dish included in each divided image information.
  • a character string such as “large”, “medium”, and “small” may be input.
  • the imaging device 2 when the imaging device 2 outputs metadata such as focal length information, the area of the dish may be estimated based on the focal length information and the size of the image.
  • this estimation method a well-known method can be used, and a detailed description thereof will be omitted.
  • the ratio of “large”, “medium”, and “small” is set to 1.5: 1: 0.
  • the ratio V / U may be determined in advance as 7 or the like.
  • the image information captured and input to the information processing apparatus 1 is divided into image information each including a single plate, and the statistical value of nutrition value information is obtained for each piece of image information obtained by the division. Is required. Therefore, the information processing apparatus 1 may accumulate the statistical values obtained for each piece of image information obtained by the division, and output the accumulated values as nutritional value information of food and drink included in the entire imaged image information.
  • one image feature amount is associated with each recording area, and a similar image similar to the input (key) image information is searched based on the corresponding image feature amount for each recording area.
  • the statistical calculation unit 25 gives an example of calculating the average of the input L pieces of nutritional value information.
  • the statistical calculation by the statistical calculation unit 25 is simply an average.
  • a weighted average may be used.
  • L pieces of nutritional value information estimate values
  • image feature quantities associated with these estimated values are p1, p2,.
  • Is the statistic X X a1 ⁇ x1 + a2 ⁇ x2 + ... + aL ⁇ xL + b
  • the output unit 26 outputs this statistical calculation unit 25.
  • the information may be displayed on the display unit 14.
  • the coefficient b may be “0”, or if the statistic X is calculated to be higher than the expected nutrition value information, it is a negative number, and the statistic X is supposed to be a nutrition If it is calculated higher than the price information, it may be used as a positive value for adjusting the result.
  • the method of determining this coefficient is not limited to this.
  • L pieces of nutritional value information xj (j is any one of 1, 2,... L), an image feature amount pj related to each piece of nutritional value information xj, and a key feature amount pK compared thereto.
  • X a1 ⁇ x1 + a2 ⁇ x2 + ...
  • a process for acquiring L pieces of nutritional value information by using a plurality of images whose nutritional value information is known in advance as samples and using key feature amounts obtained from the images of the respective samples. (The processing of FIGS. 8 to 11 is performed) (At this time, in each statistical calculation, X is calculated), X is obtained for each sample, and X for each sample is known nutritional value information for each sample. To adjust the coefficients of ai (i 1, 2,... L) and b. Such adjustment processing can use a well-known optimization problem processing method (for example, Lagrange's undetermined multiplier method), and a detailed description thereof will be omitted.
  • a well-known optimization problem processing method for example, Lagrange's undetermined multiplier method
  • This function f may be a linear function or a non-linear function.
  • the information processing apparatus 1 of the present embodiment recognizes a dish, not only the size of the dish but also information representing the color in the dish (for example, the luminance and hue of the pixels in one dish area).
  • the average value staple foods (rice, bread: generally high brightness), side dishes (vegetables, etc .: generally low brightness, hue is close to green or yellow), main dishes (meat, fish, etc .: It may be estimated whether the hue is close to brown or red.
  • the image information for each dish at least one similar image is searched from the reference information, and nutrition value information related to the similar image is obtained. And based on the average value of the brightness
  • average nutritional value information (hereinafter referred to as meal balance nutritional value information) is stored in the storage unit 12 in advance for each of the staple food, the side dish, and the main dish.
  • the information processing apparatus 1 uses this information to obtain meal balance nutritional value information for each dish based on information representing the distinction of staple food, side dish, and main dish determined for each dish.
  • the information processing apparatus 1 performs a calculation using the nutrition value information related to the similar image obtained for each dish and the meal balance nutrition value information (this calculation may be an average calculation, for example, It may be the above weighted average).
  • this calculation for each reference information, the size U of the plate associated with the image information included in the reference information and the plate included in the key image information (image information divided for each plate). The calculation may be performed by multiplying the ratio V / U with the size information V by the nutrition value information included in the corresponding reference information.
  • 1 Information processing device 2 imaging device, 11 control unit, 12 storage unit, 13 operation unit, 14 display unit, 21, 21 ′ reference information acquisition unit, 22 image receiving unit, 23, 23 ′ similar image search unit, 24 compatible Information acquisition unit, 25 statistical calculation unit, 26 output unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】飲食物の推定栄養価情報を出力するにあたり、その処理の内容を簡略にした情報処理装置を提供する。 【解決手段】飲食物を撮影した画像と、当該画像に含まれる飲食物に関して設定された栄養価情報とを関連付けて、参照情報として保持し、飲食物を含む画像を受け入れて、当該受け入れた画像に類似する複数の画像を保持された参照情報から検索する。当該検索により見出された複数の画像に関連づけられた複数の栄養価情報の統計値を演算し、当該演算した統計値を出力する情報処理装置である。

Description

情報処理装置
　本発明は、飲食物の推定栄養価情報を出力する情報処理装置に関する。
　食品の種類（コロッケである、など）と量とを画像から識別して、当該種類の食品の、識別された量だけのカロリー値を演算するという考えが、特許文献１に開示されている。
　また、撮像された画像から作業員がカロリー値を決定するにあたり、作業員の業務を支援するため、過去の食事の内容から類似のものを検索させる技術が、特許文献２に開示されている。
特開２００７－１２２３１１号公報 特開２００２－０７３８１８号公報
Szuba T., ComputationalCollective Intelligence, Wiley NY, 2001
　しかしながら、上記従来の技術においては食品の種類や量の同定が必須であり、画像処理が複雑になるか、あるいは上述のように最終的には作業員が情報の処理を行うこととなっている。
　本発明は上記従来の実情に鑑みて為されたもので、飲食物の推定栄養価情報を出力するにあたり、その処理の内容を簡略にした情報処理装置を提供することを、その目的の一つとする。
　上記従来例の問題点を解決するための本発明は、情報処理装置であって、飲食物を撮影した画像と、前記画像に含まれる飲食物に関して設定された栄養価情報とを関連付けて、参照情報として保持する保持手段と、飲食物を含む画像を受け入れる手段と、前記受け入れた画像に類似する複数の画像を前記保持手段に保持された参照情報から検索する検索手段と、前記検索により見出された複数の画像に関連づけられた複数の栄養価情報の統計値を演算する手段と、前記演算された統計値を出力する手段と、を含むこととしたものである。
　本発明によると、食品種類や量の同定を行うことなく、また訓練された作業員により栄養価の推定を行わなくても、集合知としての結果が得られることとなるので、飲食物の推定栄養価情報を出力するにあたり、その処理の内容を簡略にできる。
本発明の実施の形態に係る情報処理装置の構成とその接続例を表すブロック図である。 本発明の実施の形態に係る情報処理装置が利用する参照情報の内容例を表す説明図である。 本発明の実施の形態に係る情報処理装置の一例を表す機能ブロック図である。 本発明の実施の形態に係る情報処理装置による情報の表示例を表す説明図である。 本発明の実施の形態に係る情報処理装置の別の例を表す機能ブロック図である。 本発明の実施の形態に係る情報処理装置のさらに別の例を表す機能ブロック図である。 本発明の実施の形態に係る情報処理装置における参照情報の格納態様の別の例を表す説明図である。 本発明の実施の形態に係る情報処理装置の動作例を表す説明図である。 本発明の実施の形態に係る情報処理装置のもう一つの動作例を表す説明図である。 本発明の実施の形態に係る情報処理装置のまた別の動作例を表す説明図である。 本発明の実施の形態に係る情報処理装置のさらに別の動作例を表す説明図である。
　本発明の実施の形態について図面を参照しながら説明する。本実施の形態に係る情報処理装置の一側面は、飲食物を撮影した画像と、当該画像に含まれる飲食物に関して設定された栄養価情報とを関連付けて、参照情報として保持する保持手段と、飲食物を含む画像を受け入れる手段と、受け入れた画像に類似する複数の画像を保持手段に保持された参照情報から検索する検索手段と、検索により見出された複数の画像に関連づけられた複数の栄養価情報の統計値を演算する手段と、当該演算された統計値を出力する手段と、を含むこととしたものである。
　また、本実施の形態の別の側面においては、検索手段が、互いに異なる複数の類似画像検索方法により、複数の画像を検索することとしてもよい。
　さらにまた別の側面においては、保持手段が、互いに異なる参照情報を保持するＮ個（Ｎ≧２）の保持手段要素を含んでなり、検索手段が、複数の画像を、Ｎ個の保持手段要素のうちから選択されるＭ個（Ｎ≧Ｍ≧２）の選択保持手段要素のうちから検索することとしてもよい。
　さらに本発明の実施の形態に係るプログラムは、コンピュータを、飲食物を撮影した画像と、当該画像に含まれる飲食物に関して設定された栄養価情報とを関連付けて、参照情報として保持する保持手段と、飲食物を含む画像を受け入れる手段と、受け入れた画像に類似する複数の画像を前記保持手段に保持された参照情報から検索する検索手段と、検索により見出された複数の画像に関連づけられた複数の栄養価情報の統計値を演算する手段と、当該演算された統計値を出力する手段と、として機能させることとしたものである。
　人間やコンピュータを個別に行動、動作させるよりも、人間やコンピュータをグループとして行動、動作させる方が、その発揮する知性がより高まるという考えの下に、集合知（Collective Intelligence）と呼ばれる考え方が研究されている（例えば、http://cci.mit.edu/index.html）。また、これを数学的にモデリングする研究なども行われている（非特許文献１）。この数学的モデリングの研究では、数学的論理の表式を処理する抽象的な情報処理の単位を準ランダム的に動作させる例が挙げられている。
　本発明の実施の形態に係る情報処理装置１の一例は、図１に示すように、制御部１１と、記憶部１２と、操作部１３と、表示部１４とを含み、撮像装置２に接続される。なお、ここでは撮像装置２は情報処理装置１と別体のものとしているが、情報処理装置１が撮像装置２を一体的に含んでいてもよい。また、本実施の形態では情報処理装置１が撮像装置２から画像情報を受け入れるものとしているが、これに代えて、情報処理装置１は、例えばネットワーク等を介して他の情報処理装置（ＰＣ等）から処理の対象となる画像情報を受け入れてもよい。
　制御部１１は、ＣＰＵなどのプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作している。本実施の形態の制御部１１は、撮像装置２により撮像された飲食物の画像を受け入れて、当該受け入れた画像に類似する複数の画像を、予め用意された情報のうちから検索し、当該検索により見出された情報に関連づけて予め記録されている栄養価情報の統計値を演算して出力する。この制御部１１の詳しい処理の内容については後に述べる。
　記憶部１２は、図２に例示するように、飲食物を撮影した画像と、当該画像に含まれる飲食物の推定栄養価情報とを関連付けて、参照情報として保持する。また、この記憶部１２は、制御部１１によって実行されるプログラムを保持している。さらに記憶部１２は、制御部１１のワークメモリとしても動作する。
　操作部１３は、キーボードや、タッチパネル等であり、利用者の操作を受け入れて、当該操作の内容を制御部１１に出力する。表示部１４は、ディスプレイ等であり、制御部１１から入力される指示に従って情報を表示出力する。
　撮像装置２は、ＣＣＤやＣＭＯＳ等の光学センサを備えたカメラであり、これら光学センサで捉えた画像をディジタル化した画像情報として出力する。
　次に制御部１１による処理の内容について説明する。本実施の形態の一例に係る制御部１１は、機能的には図３に例示するように、参照情報取得部２１と、画像受入部２２と、類似画像検索部２３と、対応情報取得部２４と、統計演算部２５と、出力部２６とを含んで構成される。
　ここで参照情報取得部２１は、記憶部１２に格納されている参照情報を読み出す。本実施の形態の一例では、参照情報は図２に示したように、一つの記録領域に複数格納されている。
　画像受入部２２は、撮像装置２が撮像した画像情報を受け入れる。類似画像検索部２３は、予め定められた類似画像検索方法により、画像受入部２２が受け入れた画像情報を検索のキーとして、このキーに類似する画像情報を含む参照情報を、参照情報取得部２１が取得する参照情報のうちから検索する。具体的な例として、この類似画像検索部２３は、検索のキーとなった画像情報に基づき、予め定めた画像特徴量を演算する。この画像特徴量としては例えばシフト特徴量（ＳＩＦＴ特徴量）等、スケールに依存しない変化点を表す特徴量などがある。そして類似画像検索部２３は、参照情報取得部２１に対して、記憶部１２に格納された参照情報を順次読み出させ、読み出された参照情報に含まれる画像情報に基づく画像特徴量を演算する。ここで演算する画像特徴量は、キーとなった画像情報に基づいて演算した画像特徴量と同じものを用いる。
　類似画像検索部２３は、キーとなった画像情報に基づく画像特徴量と、参照情報に含まれる画像情報に基づいて演算した画像特徴量とを比較し、キーとなった画像情報に基づく画像特徴量に最も近い順に、上位Ｌ個の画像特徴量に対応するＬ個の画像情報を類似画像として見出す。
　対応情報取得部２４は、類似画像検索部２３が見いだしたＬ個の類似画像のそれぞれに関連づけられたＬ個の栄養価情報を取得して統計演算部２５に出力する。統計演算部２５は、対応情報取得部２４から入力される栄養価情報の統計値を算出して、出力部２６に出力する。本実施の形態のある例では、栄養価情報はカロリー値であり、統計演算部２５はその平均値を統計値として演算して出力する。なお、本実施の形態の統計演算部２５は、この例に限られるものではなく、平均値のほか、最大値、最小値、中央値、その他の統計演算値を出力するものであってもよい。出力部２６は、統計演算部２５が出力する情報を表示部１４に表示出力させる。
　この例（以下、第１例と呼ぶ）によると、飲食物を撮影した画像情報に対して、予め当該撮影されている飲食物についての栄養価の推定値が関連づけて参照情報として、記憶部１２に蓄積されている。
　そして新たに撮影された飲食物の画像情報をキーとして、このキーとなった画像情報について予め定められた特徴量が演算される（以下、ここで演算された特徴量を「キー特徴量」と呼ぶ）、また、各参照情報に含まれる画像情報に対しても同じ特徴量が演算され、演算された特徴量がキー特徴量に近い順に複数Ｌ個の画像情報が選択される。そして当該選択された画像情報とともに参照情報に含まれる（選択された画像情報に関連づけられた）栄養価の推定値が読み出され、Ｌ個の栄養価の推定値が得られる。
　情報処理装置１は、この推定値の平均値等の統計量を算出し、当該算出した統計量を表示部１４に表示して利用者に対して提示する。具体的には、撮像した飲食物の画像（キーとなった画像情報）とともに、算出した統計量の情報を表示する（図４）。
　本実施の形態においては、集合知の考えの下、記憶部１２に蓄積されている個々の参照情報における栄養価の推定値は正確である必要はない。統計値としておおよそ正しい値が得られればよいからである。
　また、本実施の形態の別の例（第２例と呼ぶ）に係る制御部１１の動作について次に説明する。本実施の形態の別の例に係る制御部１１は、機能的には図５に例示するように、参照情報取得部２１と、画像受入部２２と、類似画像検索部２３′と、対応情報取得部２４と、統計演算部２５と、出力部２６とを含んで構成される。なお、先に説明した例と同様の構成を採るものについては同じ符号を付して繰り返しての説明を省略する。
　この例においても、参照情報は図２に示したように、一つの記録領域に複数格納されている。この例においては、先に説明した例に対し、類似画像検索部２３′の動作が異なっている。すなわちこの例の類似画像検索部２３′は、予め定められた複数の類似画像検索方法により、画像受入部２２が受け入れた画像情報を検索のキーとして、このキーに類似する画像情報を含む参照情報を、参照情報取得部２１が取得する参照情報のうちから検索する。
　具体的な例として、この類似画像検索部２３′は、検索のキーとなった画像情報に基づき、予め定めた複数のｋ種類の画像特徴量を演算する。この画像特徴量としては例えばシフト特徴量（ＳＩＦＴ特徴量）、輪郭線、配色（色相・明度・彩度の平均および分散、明度彩度の共分散等）、輝度勾配ヒストグラム、方向線素、ハフ変換や、これらの組み合わせ等を用いる。
　また、類似画像検索部２３′は、参照情報取得部２１に対して、記憶部１２に格納された参照情報を順次読み出させ、読み出された参照情報に含まれる画像情報についても、同じようにｋ種類の画像特徴量を演算する。ここで演算する画像特徴量は、キーとなった画像情報に基づいて演算した画像特徴量と同じ組み合わせのものを用いる。
　類似画像検索部２３′は、キーとなった画像情報に基づくｋ種類の各画像特徴量と、参照情報に含まれる画像情報に基づいて演算したｋ種類の各画像特徴量とを比較し、各画像特徴量について、キーとなった画像情報に基づく画像特徴量に最も近い順に、上位Ｌi（ｉ＝１，２，…ｋ；各Ｌiは１以上）個の画像特徴量に対応するＬ＝Σ（Ｌi）（Ｌi、ｉ＝１，２，…ｋの総和）個の画像情報を類似画像として見出す。
　対応情報取得部２４は、類似画像検索部２３′が見いだしたＬ個の類似画像のそれぞれに関連づけられたＬ個の栄養価情報を取得して統計演算部２５に出力する。統計演算部２５は、対応情報取得部２４から入力される栄養価情報の統計値を算出して、出力部２６に出力する。出力部２６は、統計演算部２５が出力する情報を表示部１４に表示出力させる。
　次に、本実施の形態のさらに別の例（第３例と呼ぶ）に係る制御部１１の動作について次に説明する。本実施の形態のさらに別の例に係る制御部１１は、機能的には図６に例示するように、複数ｎ個の参照情報取得部２１′と、画像受入部２２と、参照情報取得部２１′と同じ数ｎ個だけの類似画像検索部２３と、対応情報取得部２４と、統計演算部２５と、出力部２６とを含んで構成される。なお、先に説明した例と同様の構成を採るものについては同じ符号を付して繰り返しての説明を省略する。
　この例においては、参照情報は図２に示したものと異なり、図７に例示するように記憶部１２に形成された複数ｎ個の記録領域にそれぞれ複数格納される。この際、各記録領域に格納された参照情報の組み合わせは互いに異なるものとする。もっとも、その一部に重複があっても構わない。
　この例においては、各参照情報取得部２１′はｎ個の記録領域の各々に対応しており、対応する記録領域から参照情報を順次読み出して出力する。
　また類似画像検索部２３もまた、参照情報取得部２１′ごとに対応して設けられ、キーとなった画像情報に基づく画像特徴量を演算するとともに、対応する参照情報取得部２１′が出力する参照情報に含まれる画像情報に基づいて演算した画像特徴量とを比較し、キーとなった画像情報に基づく画像特徴量に最も近い順に、上位Ｌi個（ｉは、類似画像検索部２３ごとに異なる整数とし、ｉ＝１，２，…ｎとする。またＬiは１以上）の画像特徴量に対応するＬi個の画像情報を類似画像として見出す。
　対応情報取得部２４は、各類似画像検索部２３が見いだしたＬ＝Σ（Ｌi）（Ｌi、ｉ＝１，２，…ｎの総和）個の類似画像のそれぞれに関連づけられたＬ個の栄養価情報を取得して統計演算部２５に出力する。統計演算部２５は、対応情報取得部２４から入力される栄養価情報の統計値を算出して、出力部２６に出力する。出力部２６は、統計演算部２５が出力する情報を表示部１４に表示出力させる。
　さらにこの例において、類似画像検索部２３に代えて、複数種類の画像特徴量を用いる先の例の類似画像検索部２３′を用いてもよい（第４例と呼ぶ）。この場合も、類似画像検索部２３′は、検索のキーとなった画像情報に基づき、予め定めた複数のｋ種類の画像特徴量を演算する。この画像特徴量としては例えばシフト特徴量（ＳＩＦＴ特徴量）、輪郭線、配色（色相・明度・彩度の平均および分散、明度彩度の共分散等）、輝度勾配ヒストグラム、方向線素、ハフ変換や、これらの組み合わせ等を用いる。
　また、類似画像検索部２３′は、参照情報取得部２１′に対して、記憶部１２の対応する記録領域に格納された参照情報を順次読み出させ、読み出された参照情報に含まれる画像情報についても、同じようにｋ種類の画像特徴量を演算する。ここで演算する画像特徴量は、キーとなった画像情報に基づいて演算した画像特徴量と同じ組み合わせのものを用いる。
　類似画像検索部２３′は、キーとなった画像情報に基づくｋ種類の各画像特徴量と、対応する参照情報取得部２１′が出力する参照情報に含まれる画像情報に基づいて演算したｋ種類の各画像特徴量とを比較し、各画像特徴量について、キーとなった画像情報に基づく画像特徴量に最も近い順に、上位Ｐj（ｊ＝１，２，…ｋ；各Ｐiは１以上）個の画像特徴量に対応するＬi＝Σ（Ｐj）（Ｐj、ｊ＝１，２，…ｋの総和）個の画像情報を類似画像として見出すことになる。
［動作］
　本実施の形態の第１例の情報処理装置１によると、図８に示すように、記憶部１２には単独の領域に複数の参照情報が格納されている。情報処理装置１は、飲食物を撮像した画像情報を受け入れると（Ｓ１）、当該受け入れた画像情報をキーとして、このキーとなった画像情報について予め定められた１種類の画像特徴量を演算する（Ｓ２）。また情報処理装置１は、記憶部１２に格納されている参照情報を順次読み出して（Ｓ３）、各参照情報に含まれる画像情報について、予め定められた画像特徴量を演算し、当該演算した画像特徴量を、対応する参照情報を特定する情報に関連づけて記録する（Ｓ４）。そしてキーとなった画像情報に関して演算した画像特徴量（キー特徴量）と、処理Ｓ４で各参照情報に含まれる画像情報について演算した画像特徴量とを比較し、キー特徴量に近い順にＬ個の画像特徴量を選択し（Ｓ５）、当該選択したＬ個の画像特徴量に関連づけて記録されている情報で特定される参照情報に含まれる栄養価情報を取り出す（Ｓ６）。情報処理装置１は、ここで取り出した栄養価情報の統計値を演算して出力する（Ｓ７）。
　また本実施の形態の第２例の情報処理装置１によると、図９に示すように、記憶部１２には単独の領域に複数の参照情報が格納されている。情報処理装置１は、飲食物を撮像した画像情報を受け入れると（Ｓ１１）、当該受け入れた画像情報をキーとして、このキーとなった画像情報について予め定められた複数ｋ種類の画像特徴量を演算する（Ｓ１２）。また情報処理装置１は、記憶部１２に格納されている参照情報を順次読み出して（Ｓ１３）、各参照情報に含まれる画像情報について、予め定められた複数ｋ種類の画像特徴量を演算し、当該演算したｋ種類の画像特徴量を、対応する参照情報を特定する情報に関連づけて記録する（Ｓ１４）。そして情報処理装置１は、キーとなった画像情報に関して演算したｋ種類の画像特徴量（キー特徴量Ｆj，ｊ＝１，２，…ｋ）のうちからｉ番目（ｉ＝１，２，…ｋ）のキー特徴量Ｆiを取り出し、処理Ｓ１４で各参照情報に含まれる画像情報について演算したｋ種類の画像特徴量のうち、取り出したキー特徴量Ｆiに対応する画像特徴量と取り出したキー特徴量Ｆiとを比較し、キー特徴量Ｆiに近い順にＬi個の画像特徴量を選択する（Ｓ１５）。情報処理装置１は、この処理Ｓ１４，Ｓ１５を、ｉを「１」ずつｋまでインクリメントしながら（なおｉの初期値は「１」とする）繰り返して実行し、この繰り返しにより選択された画像特徴量の集合の和を得て、当該和集合に含まれるＬ＝Σ（Ｌi）（Ｌi、ｉ＝１，２，…ｋの総和）個の画像特徴量に関連づけて記録されている情報を取得し（Ｓ１６）、当該取得した情報で特定される参照情報に含まれる栄養価情報を取り出す（Ｓ１７）。そして情報処理装置１は、ここで取り出した栄養価情報の統計値を演算して出力する（Ｓ１８）。
　なお、ここでは、処理Ｓ１４，Ｓ１５の繰り返しにより見いだされた類似画像を含む参照情報に重複があることもある。つまり、第１種目の画像特徴量により類似画像Ｘが見いだされ、第２種目の画像特徴量により同じ類似画像Ｘが見いだされるということもあり得る。ここではこのような場合は類似画像Ｘを重複を許して検索結果に含める（つまり類似画像Ｘに関連づけて参照情報に含む栄養価情報は重複の分だけ加重した統計値が出力される）こととしている。しかしながら、このように重複する場合は、当該重複を排除する処理を行ってもよい。この場合、処理Ｓ１４，Ｓ１５の繰り返しで見いだされる類似画像の数はＬ以下となる。
　さらに本実施の形態の第３例の情報処理装置１によると、図１０に示すように、記憶部１２には複数ｎ個の記録領域が形成され、各記録領域にそれぞれ複数の参照情報が格納されている。情報処理装置１は、飲食物を撮像した画像情報を受け入れると（Ｓ２１）、当該受け入れた画像情報をキーとして、このキーとなった画像情報について予め定められた１種類の画像特徴量を演算する（Ｓ２２）。また情報処理装置１は、記憶部１２のｉ番目の記録領域に格納されている複数の参照情報を順次読み出して（Ｓ２３）、各参照情報に含まれる画像情報について、予め定められた画像特徴量を演算し、当該演算した画像特徴量を、対応する参照情報を特定する情報に関連づけて記録する（Ｓ２４）。そしてキーとなった画像情報に関して演算した画像特徴量（キー特徴量）と、処理Ｓ２４で各参照情報に含まれる画像情報について演算した画像特徴量とを比較し、キー特徴量に近い順にＬi個の画像特徴量を選択する（Ｓ２５）。
　情報処理装置１は、処理Ｓ２３から処理Ｓ２５を、ｉを「１」ずつインクリメントしつつ（なおｉの初期値は「１」とする）繰り返して実行し、この繰り返しにより選択された画像特徴量の集合の和を得て、当該和集合に含まれるＬ＝Σ（Ｌi）（Ｌi、ｉ＝１，２，…ｎの総和）個の画像特徴量に関連づけて記録されている情報を取得し、当該取得した情報で特定される参照情報に含まれる栄養価情報を取り出す（Ｓ２６）。情報処理装置１は、ここで取り出した栄養価情報の統計値を演算して出力する（Ｓ２７）。
　また本実施の形態の第４例の情報処理装置１によると、図１１に示すように、記憶部１２には複数ｎ個の記録領域が形成され、各記録領域にそれぞれ複数の参照情報が格納されている。情報処理装置１は、飲食物を撮像した画像情報を受け入れると（Ｓ３１）、当該受け入れた画像情報をキーとして、このキーとなった画像情報について予め定められたｋ種類の画像特徴量を演算する（Ｓ３２）。また情報処理装置１は、記憶部１２のｉ番目の記録領域に格納されている複数の参照情報を順次読み出して（Ｓ３３）、各参照情報に含まれる画像情報について、予め定められた複数ｋ種類の画像特徴量を演算し、演算したｋ種類の画像特徴量を、対応する参照情報を特定する情報に関連づけて記録する（Ｓ３４）。
　そして情報処理装置１は、キーとなった画像情報に関して演算したｋ種類の画像特徴量（キー特徴量Ｆj，ｊ＝１，２，…ｋ）のうちからｊ番目（ｊ＝１，２，…ｋ）のキー特徴量Ｆjを取り出す。情報処理装置１は、処理Ｓ３４において、ｉ番目の記録領域に保持された各参照情報に含まれる画像情報について演算したｋ種類の画像特徴量のうち、取り出したキー特徴量Ｆjに対応する画像特徴量と、取り出したキー特徴量Ｆjとを比較し、キー特徴量Ｆjに近い順にＰj個の画像特徴量を選択する（Ｓ３５）。情報処理装置１は、この処理Ｓ３５を、ｊを「１」ずつｋまでインクリメントしながら（なおｊの初期値は「１」とする）繰り返して実行し、この繰り返しにより選択された画像特徴量の集合の和を得て、当該和集合に含まれるＬi＝Σ（Ｐj）（Ｐj、ｊ＝１，２，…ｋの総和）個の画像特徴量に関連づけて記録されている情報を取得する（Ｓ３６）。
　さらに情報処理装置１は、処理Ｓ３３から処理Ｓ３６までの処理を、ｉを「１」ずつインクリメントしつつ（なおｉの初期値は「１」とする）繰り返して実行し、この繰り返しにより選択された画像特徴量の集合の和を得て、当該和集合に含まれるＬ＝Σ（Ｌi）（Ｌi、ｉ＝１，２，…ｎの総和）個の画像特徴量に関連づけて記録されている情報を取得し、当該取得した情報で特定される参照情報に含まれる栄養価情報を取り出す（Ｓ３７）。そして情報処理装置１は、ここで取り出した栄養価情報の統計値を演算して出力する（Ｓ３８）。
　この第４例でも、処理Ｓ３５，Ｓ３６の繰り返しにより見いだされた類似画像を含む参照情報に重複があることもある。つまり、第１種目の画像特徴量に基づき類似画像Ｘが見いだされ、第２種目の画像特徴量により同じ類似画像Ｘが見いだされるということもあり得る。ここではこのような場合は類似画像Ｘを重複を許して検索結果に含める（つまり類似画像Ｘに関連づけて参照情報に含む栄養価情報は重複の分だけ加重した統計値が出力される）こととしている。しかしながら、このように重複する場合は、当該重複を排除する処理を行ってもよい。この場合、処理Ｓ３５，Ｓ３６の繰り返しで見いだされる類似画像の数はＬ以下となる。
［参照情報の記録］
　さらに本実施の形態において参照情報は、次のようにして生成することができる。すなわち、予め複数の飲食物について撮像された画像を用意し、各画像を順次提示しつつ、利用者に対して当該画像に撮像されている飲食物の推定のカロリー値など、栄養価の情報の入力を求める。そして利用者から入力された栄養価の情報を、当該対応する画像に関連づけて参照情報として記録するのである。
　既に述べたように、本実施の形態においては、集合知として情報が得られればよいので、個々の参照情報における栄養価の推定値は正確である必要はなく、利用者が個人的な感覚で画像だけから適当と考える数値を入力すればよい。
　また、別の例では、利用者が飲食物について画像を撮像するごとに、当該撮像した飲食物の推定のカロリー値など、栄養価の情報の入力を求め、利用者から入力された栄養価の情報を、当該対応する画像に関連づけて参照情報として記録するようにしてもよい。この場合も、利用者が個人的な感覚で画像だけから適当と考える数値を入力すればよい。
［皿の認識］
　さらに本実施の形態において、制御部１１が画像情報を受け入れるときに（画像受入部２２として動作するときに）、当該受け入れた画像情報に含まれる皿の画像や当該皿の大きさを認識し、その認識結果を栄養価情報の演算処理に利用してもよい。
　この例においては参照情報に含まれる画像情報についても、予め次のようにしておく。すなわちこの例の参照情報には、一つの皿に載せられた（あるいは一つの皿に入れられた）飲食物の画像情報が含まれる。また、当該皿の大きさについての情報が例えば皿の面積の値として入力されるか、あるいは「大」、「中」、「小」等の文字列によって入力され、参照情報に含めて記録される。
　制御部１１は、処理の対象となる画像情報の入力を受けると、当該画像情報に含まれる皿ごとに画像情報を分割する。ここで皿の画像部分の認識は、例えば円形ないし矩形の輪郭線を検出することで行う。一般に飲食物は円形、矩形になっていないことを利用したものである。そして制御部１１は、皿ごとに分割された画像情報を、それぞれ画像受入部２２の出力とする。
　この際、分割された各画像情報に含まれる皿の大きさの情報の入力を、利用者から受けるようにしておいてもよい。一例として、「大」、「中」、「小」等の文字列によって入力させるようにしておけばよい。
　また、撮像装置２が焦点距離の情報等のメタデータを出力している場合、焦点距離の情報と、画像のサイズとに基づいて皿の面積を推定してもよい。この推定の方法は広く知られた方法を用いることができるので、ここでの詳細な説明を省略する。
　このように処理する場合、個々の皿ごとの画像情報について、参照情報から類似画像が検索される。そして参照情報ごとに、参照情報に含まれる画像情報に関連づけられた皿の大きさの情報Ｕと、キーとなった画像情報（皿ごとに分割された画像情報）に含まれる皿の大きさの情報Ｖとの比Ｖ／Ｕを、対応する参照情報に含まれる栄養価情報に乗じて統計値の演算を行う。
　なお、「大」、「中」、「小」等の文字列によって皿の大きさを特定する場合、「大」、「中」、「小」の比を、１．５：１：０．７等として予め定めておき、比Ｖ／Ｕを求めることとすればよい。
　また、この例においては撮像されて、情報処理装置１に入力された画像情報を、それぞれ皿一枚を含む画像情報に分割し、当該分割して得た画像情報ごとに栄養価情報の統計値が求められる。そこで情報処理装置１は、当該分割して得た画像情報毎に求めた統計値を累算して、撮像された画像情報全体に含まれる飲食物の栄養価情報として出力することとしてもよい。
［変形例］
　さらに上述の第４例のように、複数の記録領域に格納されている参照情報について複数ｋ個の画像特徴量を算出する場合、既に述べた説明では、各記録領域に格納された参照情報についてそれぞれｋ個の画像特徴量を算出していたが、本実施の形態はこれに限らず、例えば参照情報を保持する記録領域ごとに、ｋ個の画像特徴量のうちから一つの画像特徴量を対応特徴量として選択し、当該選択した対応特徴量を、対応する記録領域から読み出される参照情報内の画像情報について演算するようにしてもよい。
　つまり、記録領域ごとに一つの画像特徴量を対応づけ、記録領域ごとに当該対応する画像特徴量に基づいて、入力された（キーとなる）画像情報に類似する類似画像を検索するのである。
　このようにした場合、個々の記録領域（個々の知識に対応する）から、個々の画像特徴量（個々の栄養価の評価感覚に対応する）で類似画像が検索されることとなり、より集合知に近い結果が得られる。
［別の変形例］
　ここまでの説明において、統計演算部２５は、入力されたＬ個の栄養価情報の平均を演算する例を挙げたが、既に述べたように、この統計演算部２５による統計演算は単なる平均に限らず、例えば、加重平均を用いてもよい。具体的に、Ｌ個の栄養価情報（推定値）を、ｘ1,ｘ2,…ｘL、これら各推定値に関連づけられている画像特徴量をｐ1，ｐ2，…ｐLとするとき、統計演算部２５は、統計量Ｘとして、
Ｘ＝ａ1・ｘ1＋ａ2・ｘ2＋…＋ａL・ｘL＋ｂ
ただしａi（ｉ＝１，２，…Ｌ）及びｂは、別途定めた係数
を演算して、この統計量Ｘを出力部２６に出力し、出力部２６が、この統計演算部２５が出力する情報を表示部１４に表示出力させることとしてもよい。
　ここでａi（ｉ＝１，２，…Ｌ）及びｂの係数は、例えば次のように定める。すなわち、係数ａiは、対応する（乗じる）栄養価情報ｘi（ｉ＝１，２，…Ｌ）に関連する画像特徴量ｐiと、それと比較したキー特徴量ｐKとの差｜ｐi－ｐK｜（ここで、｜＊｜は、＊の絶対値を意味する）が小さいほど大きくなる値としてもよい。また係数ｂは「０」であってもよいし、経験的に統計量Ｘが本来あるべき栄養価情報より高めに演算されるようであれば負の数とし、統計量Ｘが本来あるべき栄養価情報より高めに演算されるようであれば正の値として、結果の調整のために用いるようにすればよい。もっとも、この係数の定め方はこれに限るものではない。
　例えば、このほか、Ｌ個の栄養価情報ｘj（ｊは１，２，…Ｌのいずれか）を、各栄養価情報ｘjに関連する画像特徴量ｐjと、それと比較したキー特徴量ｐKとの差｜ｐj－ｐK｜の昇順（あるいは降順）に配列してｘi（ｉ＝１，２，…Ｌ）とし（つまり、｜ｐi-1－ｐK｜＜｜ｐi－ｐK｜または｜ｐi-1－ｐK｜＞｜ｐi－ｐK｜となるようにｘiを配列した結果、ｘ1，ｘ2，…，ｘLとなるとする）、
Ｘ＝ａ1・ｘ1＋ａ2・ｘ2＋…＋ａL・ｘL＋ｂ
を演算するものとしておき、予め、栄養価情報が既知であるような複数の画像をそれぞれサンプルとして、各サンプルの画像から得たキー特徴量を用いて、Ｌ個の栄養価情報を取得する処理（図８から図１１の処理）を行い（このとき各統計演算では、上記Ｘを演算する）、上記サンプルごとにＸを得て、このサンプルごとのＸがそれぞれサンプルごとの既知の栄養価情報に近接するよう、ａi（ｉ＝１，２，…Ｌ）及びｂの係数を調整する。
　このような調整の処理は、広く知られた最適化問題の処理方法（例えばラグランジュの未定乗数法など）を利用できるので、ここでの詳しい説明を省略する。
　統計演算部２５による演算は関数を用いたものであってもよい。すなわち、統計演算部２５は、統計量Ｘとして、別途定めた関数ｆを用い、
Ｘ＝ｆ（ｘ1，ｘ2，…，ｘL）
としてもよい。この関数ｆは、線形な関数であっても、非線形な関数であってもよい。
［食事バランス情報の利用］
　また本実施の形態の情報処理装置１は、皿の認識を行う例において、皿の大きさだけでなく、皿内の色を表す情報（例えば一つの皿の領域内にある画素の輝度や色相値の平均値）を利用し、主食（ご飯、パン類：一般に輝度が高い）、副菜（野菜等：一般に輝度が低く、色相が緑ないし黄色に近い）、主菜（肉や魚など：色相が茶や赤色に近い）のいずれであるかの推定を行ってもよい。この場合、皿ごとの画像情報について、参照情報から少なくとも一つの類似画像を検索し、当該類似画像に関連する栄養価情報を得る。そして各皿内の画素の輝度や色相値の平均値に基づいて、皿ごとに主食・副菜・主菜の別の情報を得る。
　また、この場合では予め主食、副菜、主菜のそれぞれについて、平均的な栄養価情報（以下、食事バランス栄養価情報と呼ぶ）を関連づけて記憶部１２に格納しておく。情報処理装置１は、この情報を利用し、皿ごとに判断された主食・副菜・主菜の別を表す情報に基づき、皿ごとの食事バランス栄養価情報を得る。また情報処理装置１は、皿ごとに得られた類似画像に関連する栄養価情報と、食事バランス栄養価情報とを用いた演算を行う（この演算は例えば平均の演算であってもよいし、上記加重平均であってもよい）。
　またこの演算において参照情報ごとに、参照情報に含まれる画像情報に関連づけられた皿の大きさの情報Ｕと、キーとなった画像情報（皿ごとに分割された画像情報）に含まれる皿の大きさの情報Ｖとの比Ｖ／Ｕを、対応する参照情報に含まれる栄養価情報に乗じて演算を行うこととしてもよい。
　１　情報処理装置、２　撮像装置、１１　制御部、１２　記憶部、１３　操作部、１４　表示部、２１，２１′　参照情報取得部、２２　画像受入部、２３，２３′　類似画像検索部、２４　対応情報取得部、２５　統計演算部、２６　出力部。

Claims (4)

  1. 　飲食物を撮影した画像と、前記画像に含まれる飲食物に関して設定された栄養価情報とを関連付けて、参照情報として保持する保持手段と、
    　飲食物を含む画像を受け入れる手段と、
    　前記受け入れた画像に類似する複数の画像を前記保持手段に保持された参照情報から検索する検索手段と、
    　前記検索により見出された複数の画像に関連づけられた複数の栄養価情報の統計値を演算する手段と、
    　前記演算された統計値を出力する手段と、
    　を含む情報処理装置。
  2. 　請求項１記載の情報処理装置であって、
    　前記検索手段は、互いに異なる複数の類似画像検索方法により、複数の画像を検索することを特徴とする情報処理装置。
  3. 　請求項１に記載の情報処理装置であって、
    　前記保持手段は、互いに異なる参照情報を保持するＮ個（Ｎ≧２）の保持手段要素を含んでなり、
    　前記検索手段は、前記複数の画像を、前記Ｎ個の保持手段要素のうちから選択されるＭ個（Ｎ≧Ｍ≧２）の選択保持手段要素のうちから検索することを特徴とする情報処理装置。
  4. 　コンピュータを、
    　飲食物を撮影した画像と、前記画像に含まれる飲食物に関して設定された栄養価情報とを関連付けて、参照情報として保持する保持手段と、
    　飲食物を含む画像を受け入れる手段と、
    　前記受け入れた画像に類似する複数の画像を前記保持手段に保持された参照情報から検索する検索手段と、
    　前記検索により見出された複数の画像に関連づけられた複数の栄養価情報の統計値を演算する手段と、
    　前記演算された統計値を出力する手段と、
    　として機能させることを特徴とするプログラム。
PCT/JP2011/062481 2010-05-31 2011-05-31 情報処理装置 WO2011152394A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP11789797.5A EP2579204A1 (en) 2010-05-31 2011-05-31 Information processing device
US13/700,873 US9449226B2 (en) 2010-05-31 2011-05-31 Information processing device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010-124361 2010-05-31
JP2010124361 2010-05-31
JP2010278648A JP2012014678A (ja) 2010-05-31 2010-12-14 情報処理装置
JP2010-278648 2010-12-14

Publications (1)

Publication Number Publication Date
WO2011152394A1 true WO2011152394A1 (ja) 2011-12-08

Family

ID=45066758

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/062481 WO2011152394A1 (ja) 2010-05-31 2011-05-31 情報処理装置

Country Status (4)

Country Link
US (1) US9449226B2 (ja)
EP (1) EP2579204A1 (ja)
JP (1) JP2012014678A (ja)
WO (1) WO2011152394A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140104385A1 (en) * 2012-10-16 2014-04-17 Sony Network Entertainment International Llc Method and apparatus for determining information associated with a food product
JP6279837B2 (ja) * 2013-04-09 2018-02-14 国立大学法人 東京大学 画像処理装置及びプログラム
ES2704080T3 (es) * 2014-07-03 2019-03-14 Fujitsu Ltd Dispositivo de simulación biométrica, método para controlar el dispositivo de simulación biométrica, y programa para controlar el dispositivo de simulación biométrica
JP2016051277A (ja) * 2014-08-29 2016-04-11 株式会社ニコン 被写体検索装置、被写体検索方法、および被写体検索プログラム
US9734426B2 (en) * 2014-09-03 2017-08-15 Sri International Automated food recognition and nutritional estimation with a personal mobile electronic device
US9349297B1 (en) * 2015-09-09 2016-05-24 Fitly Inc. System and method for nutrition analysis using food image recognition
JP2017045340A (ja) * 2015-08-28 2017-03-02 明宏 瀧口 食事内容入力システム
JP6598930B1 (ja) * 2018-06-22 2019-10-30 西日本電信電話株式会社 カロリー推定装置、カロリー推定方法、およびカロリー推定プログラム
CN110852194B (zh) * 2019-10-23 2021-02-02 北京三快在线科技有限公司 图像获取方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002073818A (ja) 2000-08-28 2002-03-12 Matsushita Electric Works Ltd 食事管理支援システム及び食事管理支援方法
JP2004118562A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 摂取カロリー計算支援方法および装置並びにプログラム
JP2006105655A (ja) * 2004-10-01 2006-04-20 Nippon Telegr & Teleph Corp <Ntt> 食品総カロリーチェッカーおよびチェック方法
JP2006171984A (ja) * 2004-12-14 2006-06-29 Chugoku Electric Power Co Inc:The 健康情報管理方法、健康情報管理装置、健康情報管理システム、およびプログラム
JP2007122311A (ja) 2005-10-27 2007-05-17 Matsushita Electric Ind Co Ltd 栄養解析装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495386B2 (en) * 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
US8439683B2 (en) * 2009-01-07 2013-05-14 Sri International Food recognition using visual analysis and speech recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002073818A (ja) 2000-08-28 2002-03-12 Matsushita Electric Works Ltd 食事管理支援システム及び食事管理支援方法
JP2004118562A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 摂取カロリー計算支援方法および装置並びにプログラム
JP2006105655A (ja) * 2004-10-01 2006-04-20 Nippon Telegr & Teleph Corp <Ntt> 食品総カロリーチェッカーおよびチェック方法
JP2006171984A (ja) * 2004-12-14 2006-06-29 Chugoku Electric Power Co Inc:The 健康情報管理方法、健康情報管理装置、健康情報管理システム、およびプログラム
JP2007122311A (ja) 2005-10-27 2007-05-17 Matsushita Electric Ind Co Ltd 栄養解析装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KEIGO KITAMURA ET AL.: "Contents- based image retrieval on food images", DAI 72 KAI (HEISEI 22 NEN) ZENKOKU TAIKAI KOEN RONBUNSHU (3), NETWORK SECURITY, 18 March 2010 (2010-03-18), pages 3-173 - 3-174, XP008169470 *
KIYOHARU AIZAWA: "Life Log", JOHO SHORI, vol. 50, no. 7, 15 July 2009 (2009-07-15), pages 592 - 597, XP055132286 *
SZUBA T.: "Computational Collective Intelligence", 2001, WILEY

Also Published As

Publication number Publication date
EP2579204A1 (en) 2013-04-10
US20130170714A1 (en) 2013-07-04
US9449226B2 (en) 2016-09-20
JP2012014678A (ja) 2012-01-19

Similar Documents

Publication Publication Date Title
WO2011152394A1 (ja) 情報処理装置
CN101685542B (zh) 电子设备、模糊图像分拣方法
Miyazaki et al. Image-based calorie content estimation for dietary assessment
Aizawa et al. Food balance estimation by using personal dietary tendencies in a multimedia food log
CN102741882B (zh) 图像分类装置、图像分类方法、集成电路、模型制作装置
US9424495B1 (en) Digital food imaging analysis: system and method to analyze food consumption
US20120070102A1 (en) Image Processing Apparatus and Method, and Program
KR101562364B1 (ko) 음식사진을 이용한 칼로리 자동 계산 방법 및 이를 이용한 식습관 관리 시스템
Kitamura et al. Image processing based approach to food balance analysis for personal food logging
Iqbal et al. Classification of selected citrus fruits based on color using machine vision system
CN101911116B (zh) 不变视觉场景和对象识别
CN101959018A (zh) 图像处理设备、图像处理方法和程序
JP2010504593A (ja) 分類手法を用いて画像からドミナントカラーを抽出する方法
CN102576461A (zh) 评估数字图像的美学质量
JP2008217702A (ja) 撮影装置および撮影方法
JP2011028382A (ja) 利用者毎に食事の栄養成分を管理する栄養管理サーバ及び栄養管理方法
JP6310599B1 (ja) 検索装置、検索方法および検索プログラム
JP6533713B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2012174273A (ja) 画像処理装置及び画像処理方法
JP5691533B2 (ja) 情報処理装置、方法及びプログラム
US10915790B2 (en) Machine learning apparatus, imaging time estimation apparatus, machine learning program, and generation method of photographic data
Liu et al. A database for perceptual evaluation of image aesthetics
US20190347780A1 (en) Image processing apparatus, non-transitory computer-readable storage medium, and generation method of photographic data
JP2001195579A (ja) 画像評価装置
JP2006201893A (ja) 栄養素算出方法およびそのシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11789797

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011789797

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13700873

Country of ref document: US