WO2014132521A1 - 情報処理装置および記憶媒体 - Google Patents

情報処理装置および記憶媒体 Download PDF

Info

Publication number
WO2014132521A1
WO2014132521A1 PCT/JP2013/083229 JP2013083229W WO2014132521A1 WO 2014132521 A1 WO2014132521 A1 WO 2014132521A1 JP 2013083229 W JP2013083229 W JP 2013083229W WO 2014132521 A1 WO2014132521 A1 WO 2014132521A1
Authority
WO
WIPO (PCT)
Prior art keywords
cooking
index
unit
information processing
processing apparatus
Prior art date
Application number
PCT/JP2013/083229
Other languages
English (en)
French (fr)
Inventor
佐古　曜一郎
博幸 花谷
鎌田　恭則
有希 甲賀
智也 大沼
竹原　充
隆俊 中村
林　和則
今　孝安
丹下　明
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP13876421.2A priority Critical patent/EP2963612B1/en
Priority to JP2015502724A priority patent/JP6299744B2/ja
Priority to US14/767,632 priority patent/US20160005329A1/en
Priority to CN201380073632.4A priority patent/CN105009165A/zh
Publication of WO2014132521A1 publication Critical patent/WO2014132521A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0092—Nutrition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets

Definitions

  • This disclosure relates to an information processing apparatus and a storage medium.
  • calorie intake and meal biting time are calculated based on a captured image of a dish captured by a wireless portable terminal, and the calorie intake calorie and meal bite time are managed in real time during the meal.
  • Technology is disclosed.
  • a nutrition data storage unit for example, an IC tag attached to a food packaging container
  • a nutrition data reading unit for example, a food product component
  • An IC tag reader and a data output unit are disclosed.
  • Patent Document 2 does not mention calculation of calories and nutritional components in the cooking process.
  • the present disclosure proposes a new and improved information processing apparatus and storage medium capable of calculating an index during a cooking process.
  • An information processing apparatus includes an index calculation unit that calculates a predetermined cooking index and a notification control unit that controls to notify the cooking index calculated by the index calculation unit.
  • an estimation unit that estimates the amount of at least one of the ingredients to be cooked and the seasoning used for cooking, and the estimation result by the estimation unit
  • a storage medium storing a program for functioning as an index calculation unit that calculates a predetermined cooking index according to the above, and a notification control unit that controls to notify the cooking index calculated by the index calculation unit Propose.
  • FIG. 1 shows the example of a screen display of the comparison result notification by this embodiment. It is a block diagram which shows the function structure of the main control part at the time of performing the food-and-drink index at the time of eating and drinking using a cooking parameter
  • FIG. 1 is a diagram for describing an outline of a cooking index display according to an embodiment of the present disclosure.
  • the user 8 wears a glasses-type HMD (Head Mounted Display) 1.
  • the HMD 1 has a mounting unit having a frame structure that, for example, makes a half turn from the heads of both sides to the back of the head, and is mounted on the user 8 by being put on both ear shells as shown in FIG.
  • the HMD 1 has a configuration in which a pair of display units 2 for the left eye and the right eye are arranged immediately before both eyes of the user 8, that is, in a position where a lens in normal glasses is located, in the mounted state. Yes.
  • On the display unit 2 for example, a captured image of the real space captured by the imaging lens 3a is displayed.
  • the display unit 2 may be a transmissive type, and the user 8 always wears the HMD 1 like glasses by setting the display unit 2 to a through state, that is, a transparent or translucent state by the HMD 1. But there is no hindrance to normal life.
  • the HMD 1 is provided with an imaging lens 3 a facing forward so that the direction viewed by the user is taken as the subject direction while being worn by the user 8. Furthermore, the light emission part 4a which performs illumination with respect to the imaging direction by the imaging lens 3a is provided.
  • the light emitting part 4a is formed by, for example, an LED (Light Emitting Diode).
  • a pair of earphone speakers 5a that can be inserted into the right ear hole and the left ear hole of the user in a worn state are provided.
  • microphones 6 a and 6 b that collect external sound are arranged on the right side of the display unit 2 for the right eye and on the left side of the display unit 2 for the left eye.
  • the appearance of the HMD 1 shown in FIG. 1 is an example, and various structures for the user to wear the HMD 1 are conceivable.
  • the HMD 1 may be formed of a wearing unit that is generally a spectacle type or a head-mounted type.
  • the display unit 2 is provided in front of the user's eyes. Good.
  • a pair of display units 2 may be provided corresponding to both eyes, or one display unit 2 may be provided corresponding to one eye.
  • the imaging lens 3a and the light emitting unit 4a that performs illumination are arranged forward on the right eye side, but may be arranged on the left eye side or on both sides. Also good.
  • one earphone speaker 5a may be provided for wearing only one ear, not the left and right stereo speakers.
  • the microphone may be one of the microphones 6a and 6b.
  • a configuration without the microphones 6a and 6b and the earphone speaker 5a is also conceivable.
  • a configuration in which the light emitting unit 4a is not provided is also conceivable.
  • HMD1 is used as an example of an information processing apparatus that performs cooking index display, but the information processing apparatus according to the present disclosure is not limited to HMD1.
  • the information processing apparatus may be a smartphone, a mobile phone terminal, a PDA (Personal Digital Assistant), a PC (Personal Computer), a tablet terminal, or the like.
  • Patent Document 1 it is difficult to analyze what kind of seasoning is used and how much it is used in the cooking process based on the captured image of the already completed dish. Moreover, if the cooking index which shows the calorie
  • the HMD1 (information processing apparatus) according to each embodiment of the present disclosure has been created with the above circumstances taken into consideration.
  • the HMD 1 according to each embodiment of the present disclosure can calculate an index in the cooking process.
  • the HMD 1 (information processing apparatus) according to the present embodiment takes an image of the state during cooking by the imaging lens 3a, estimates the amount of food or seasoning in the captured image, and based on the estimation result.
  • the cooking index of each ingredient or seasoning is calculated, and the calculated cooking index is notified to the user in real time.
  • the cooking index is, for example, the value of the mass or calorie (calorie) of the food or seasoning.
  • the value of mass or calorie may be the mass or calorific value of each nutritional component contained in foodstuffs or seasonings.
  • Each nutrient component is, for example, vitamin, lipid, protein, carbohydrate, calcium, magnesium, dietary fiber, potassium, iron, retinol, salt, sugar, purine, cholesterol, alcohol and the like.
  • estimation of the usage-amount of a foodstuff and a seasoning may be performed based on the result detected from the smell sensor and various density
  • concentration sensors a salt sensor, a sugar sensor, etc.
  • concentration sensors are provided in cooking utensils such as measuring spoons and pans, and detected measurement data is transmitted to the HMD 1.
  • the HMD 1 captures the cooking process of the user 8 by the imaging lens 3a, and recognizes a cooking container (object) such as a salt container, a measuring spoon (spoon / tbsp), a frying pan by image analysis.
  • a cooking container such as a salt container, a measuring spoon (spoon / tbsp), a frying pan by image analysis.
  • Recognition of the cooking utensil may be performed by reading an IC tag, a marker, a two-dimensional bar code, or the like provided on the cooking utensil in addition to analyzing the captured image.
  • HMD1 recognizes the operation
  • the HMD 1 displays a cooking index display 30 indicating the amount of heat and mass of each food and seasoning on the display unit 2 to notify the user 8.
  • the HMD 1 can notify the user 8 of the cooking index in the cooking process by displaying the cooking index display 30 accumulated in real time each time a food or seasoning is added.
  • the HMD 1 may superimpose the cooking index display 30 on the captured image P, or may display the cooking index display 30 in a state where the scenery of the real space can be seen by controlling the display unit 2 to be semi-transparent. Good.
  • the HMD 1 may compare the cooking index with a predetermined value and notify the user of a warning when the vicinity reaches the predetermined value.
  • the predetermined value is a limit index, and specifically is a predetermined value giving priority to health or a predetermined value giving priority to the taste preference of the user.
  • HMD1 may compare a cooking parameter
  • FIG. 2 is a diagram illustrating an internal configuration example of the HMD 1 according to the present embodiment.
  • the HMD 1 according to this embodiment includes a display unit 2, an imaging unit 3, an illumination unit 4, an audio output unit 5, an audio input unit 6, a main control unit 10, an imaging control unit 11, and an imaging signal processing unit. 12, a captured image analysis unit 13, an illumination control unit 14, an audio signal processing unit 15, a display control unit 17, an audio control unit 18, a communication unit 21, and a storage unit 22.
  • the main control unit 10 includes, for example, a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a nonvolatile memory, and an interface unit, and controls each configuration of the HMD 1. .
  • a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a nonvolatile memory, and an interface unit, and controls each configuration of the HMD 1. .
  • the main control unit 10 functions as a usage amount estimation unit 10a, a cooking method identification unit 10b, an index calculation unit 10c, an index comparison unit 10d, and a notification control unit 10e as shown in FIG.
  • the usage amount estimation unit 10a estimates the usage amount of at least one of the ingredients to be cooked and the seasoning used for cooking based on the signal detected by the sensor, and supplies the estimation result to the index calculation unit 10c.
  • the signal detected by the sensor is, for example, a captured image captured by the imaging sensor (imaging unit 3), a numerical value detected by various density sensors, odor data detected by the odor sensor, or the like.
  • Various concentration sensors (salt concentration sensor, sugar concentration sensor, ion concentration sensor, pH sensor, etc.) are provided in cooking utensils such as measuring spoons and pans as described above, and the detected measurement data is stored in HMD1. Sent.
  • the odor sensor is provided in the HMD 1 or outside (cooking utensil or cooking place, etc.), and detects the odor components of the ingredients and seasonings.
  • the odor sensor for example, a plurality of types of metal oxide semiconductor sensor elements are used.
  • oxygen present in the air is adsorbed on the surface of crystal grains, and the oxygen traps electrons in the crystal which is a carrier, so that the conductivity is low.
  • the odor component comes close to the surface of the metal oxide semiconductor, the odor molecule is oxidized, thereby desorbing adsorbed oxygen on the surface and increasing the conductivity.
  • This change in conductivity differs depending on the type and particle size of the metal oxide semiconductor and the catalyst to be added. Therefore, the odor component is identified using this property.
  • the usage amount estimation part 10a estimates the usage-amount of a foodstuff or a seasoning using the analysis result by the captured image analysis part 13 mentioned later. For example, the usage amount estimation unit 10a recognizes and recognizes a food / seasoning based on character recognition of a label attached to a container or bag containing the food or seasoning, or reading of a barcode or a marker. The amount of food / seasoning used can be estimated.
  • the usage amount estimation method of the food / condiment by the usage amount estimation unit 10a will be described.
  • FIG. 3 is a diagram for explaining a method of estimating the amount of food / seasoning used by the usage estimation unit 10a.
  • the usage amount estimation unit 10a uses the character regions R1 and R2 of each object. , R3 character recognition, food / seasoning recognition and usage estimation.
  • the first ingredient obj1 is “pig liver”
  • the second ingredient obj2 is “leek”
  • the seasoning container obj3 is “salt”.
  • the usage amount estimation unit 10a can recognize the character “content volume: 100 g” from the character region R1 of the first ingredient obj1 and estimate the usage amount of the pig lever. .
  • the usage amount estimation unit 10a refers to the analysis result of the captured image, and recognizes the food / seasoning and recognizes the food / seasoning based on the color / shape / size characteristics of the analyzed food / seasoning / It is also possible to estimate the amount of seasoning used. At this time, the usage amount estimation unit 10a uses the usage amount estimation data stored in the storage unit 22 (a database in which color / shape, size characteristics, etc., and ingredients / condiments are linked). Also good.
  • the usage amount estimation unit 10a comprehensively estimates the usage amount of the ingredients / condiments by combining the analysis result of the captured image by the captured image analysis unit 13, the odor data detected by the odor sensor, and various measurement data. You can also
  • the cooking method specifying unit 10b discriminates the cooking method in the cooking process (fried food, baked food, boiled food, fried food, steamed food, raw food, seasoned food, etc.), and supplies the determination result to the index calculation unit 10c. .
  • the cooking method specifying unit 10b is based on a captured image acquired by the imaging sensor (imaging unit 3) or measurement data detected by an infrared sensor (thermal image sensor), a temperature sensor, a humidity sensor, or the like.
  • the cooking method can be specified.
  • the cooking method specifying unit 10b may specify the cooking method according to the cooking utensil (frying pan, pan, tempura pan, steamer, etc.) recognized from the captured image.
  • specification part 10b may specify a cooking method using various measurement data (temperature data, humidity data, etc.) collectively.
  • the cooking method specifying unit 10b may use data for specifying the cooking method (a database in which cooking methods, temperature data, and the like are associated with the cooking method) stored in the storage unit 22.
  • the index calculation unit 10c calculates a predetermined cooking index according to the usage amount of the ingredients / condiments estimated by the usage amount estimation unit 10a.
  • the index calculation unit 10c can also convert the calculated cooking index according to the cooking method specified by the cooking method specifying unit 10b.
  • the index calculation unit 10c supplies the calculated / converted cooking index to the index comparison unit 10d and the notification control unit 10e. Further, the calculated / converted cooking index is accumulated in the storage unit 22.
  • the index calculation unit 10c may calculate using index calculation data stored in the storage unit 22 (a database in which the amount of ingredients / condiments and cooking indexes are linked). For example, the index calculation unit 10c calculates “salt 6 g” in the case of 1 teaspoon of salt, and “salt 1 g” in the case of a pinch of salt (amount pinched with three fingers, thumb, index finger, and middle finger).
  • the index calculating unit 10c calculates the index calculated according to the cooking method specified by the cooking method specifying unit 10b. May be converted.
  • the index calculation unit 10c converts the cooking index by using cooking index conversion data (a database in which cooking methods and changes in each cooking index are associated) stored in the storage unit 22.
  • the index calculation unit 10c can integrate the calculated / converted cooking index and the cooking index accumulated in the storage unit 22.
  • the index comparison unit 10d compares the cooking index supplied from the index calculation unit 10c with a predetermined value, and supplies the comparison result to the notification control unit 10e. Specifically, the index comparison unit 10d compares the cooking index with a limit index giving priority to health, and determines whether the cooking index has reached the vicinity of the limit index (within a predetermined range based on the limit index). to decide.
  • the limit index giving priority to health is the upper limit value of cooking index generally accepted for health, or medical information (including medical history and drug history) of user 8, health information (current physical condition information) ), Genetic information, constitutional information (including allergy information), and the like.
  • the medical information, health information, and the like of the user 8 may be extracted from the storage unit 22 or acquired from a predetermined server via the communication unit 21.
  • the current physical condition information of the user 8 may be detected by various biological sensors that detect biological information (blood pressure, body temperature, pulse, electroencephalogram, etc.) provided in the HMD 1 or owned by the user separately from the HMD 1. It may be detected by a biological information detection device (not shown).
  • biological information blood pressure, body temperature, pulse, electroencephalogram, etc.
  • the index comparison unit 10d compares the cooking index with the limit index giving priority to the preference of the user 8, and the cooking index is the limit index. It may be determined whether or not the vicinity (within a predetermined range based on the limit index) has been reached.
  • the index comparison unit 10d may compare the cooking index with the limiting index (upper limit value) at the completion of cooking when the limiting index (upper limit value) at the completion of cooking can be acquired. For example, in order to avoid the situation where the salt content exceeds the upper limit when adding cheese, prosciutto, sauce, etc. in the finishing of cooking, the HMD1 uses the limit index (upper limit) at the time of cooking completion in the cooking process and the current The result of comparison with the cooking index (accumulated cooking index) is notified. Thereby, the user 8 can prevent the salt being put too much during cooking.
  • the limit index (upper limit value) at the completion of cooking can be acquired based on the recipe data of the currently cooked dish or the dish name designated by the user 8.
  • the notification control unit 10e controls to notify the user 8 of the cooking index supplied from the index calculation unit 10c and the comparison result supplied from the index comparison unit 10d.
  • the notification to the user 8 can be a display notification or a voice notification.
  • the notification control unit 10e generates image data indicating the cooking index (for example, the cooking index display 30 shown in FIG. 1) and outputs it to the display control unit 17, and in the case of audio notification, the notification control unit 10e. Generates an audio signal that utters the cooking index and outputs it to the audio control unit 18.
  • the notification control unit 10e performs a warning notification when the cooking index reaches the vicinity of the limit index (within a predetermined range based on the limit index) based on the comparison result supplied from the index comparison unit 10d.
  • the warning notification to the user 8 can be display notification, voice notification, vibration notification, or the like.
  • the notification control unit 10e In the case of display notification, the notification control unit 10e generates image data indicating a warning (for example, the warning display 35 shown in FIG. 6) and outputs it to the display control unit 17, and in the case of voice notification, the notification control unit 10e generates an alarm. A sound is generated and output to the sound control unit 18.
  • the notification control unit 10e generates a control signal for driving a vibration unit (not shown) provided in the HMD 1 and outputs the control signal to the vibration unit.
  • the imaging unit 3 photoelectrically captures imaging light obtained by a lens system including an imaging lens 3a, a diaphragm, a zoom lens, and a focus lens, a drive system that causes the lens system to perform a focus operation and a zoom operation, and the lens system. It has a solid-state image sensor array that generates image signals by conversion.
  • the solid-state imaging device array may be realized by, for example, a CCD (Charge Coupled Device) sensor array or a CMOS (Complementary Metal Oxide Semiconductor) sensor array.
  • the imaging control unit 11 controls the operations of the imaging unit 3 and the imaging signal processing unit 12 based on instructions from the main control unit 10. For example, the imaging control unit 11 controls on / off of operations of the imaging unit 3 and the imaging signal processing unit 12.
  • the imaging control unit 11 performs control (motor control) for causing the imaging unit 3 to perform operations such as auto focus, automatic exposure adjustment, aperture adjustment, and zoom.
  • the imaging control unit 11 includes a timing generator, and for the sample hold / AGC circuit and the video A / D converter of the solid-state imaging device and the imaging signal processing unit 12, the signal processing operation is performed by the timing signal generated by the timing generator. To control.
  • the imaging frame rate can be variably controlled by this timing control.
  • the imaging control unit 11 controls imaging sensitivity and signal processing in the solid-state imaging device and the imaging signal processing unit 12. For example, gain control of a signal read from a solid-state image sensor can be performed as imaging sensitivity control, black level setting control, various coefficient control of imaging signal processing in a digital data stage, correction amount control in blur correction processing, and the like can be performed. .
  • the imaging signal processing unit 12 includes a sample hold / AGC (Automatic Gain Control) circuit that performs gain adjustment and waveform shaping on a signal obtained by the solid-state imaging device of the imaging unit 3, and a video A / D (analog / digital) converter. . Thereby, the imaging signal processing unit 12 obtains an imaging signal as digital data.
  • the imaging signal processing unit 12 also performs white balance processing, luminance processing, color signal processing, blur correction processing, and the like on the imaging signal.
  • the captured image analysis unit 13 is an example of a configuration for acquiring outside world information. Specifically, the captured image analysis unit 13 analyzes image data (captured image) captured by the imaging unit 3 and processed by the captured signal processing unit 12, and obtains information on an image included in the image data.
  • the captured image analysis unit 13 performs analysis such as point detection, line / contour detection, and region division on the image data, and the analysis result is used as a usage amount estimation unit 10a and a cooking method of the main control unit 10. It outputs to the specific part 10b.
  • the illumination unit 4 includes a light emitting unit 4a illustrated in FIG. 1 and a light emitting circuit that emits light from the light emitting unit 4a (for example, an LED).
  • the illumination control unit 14 causes the illumination unit 4 to perform a light emission operation according to the control of the main control unit 10. Since the light emitting unit 4a in the illuminating unit 4 is attached to illuminate the front as shown in FIG. 1, the illuminating unit 4 performs an illuminating operation with respect to the user's visual field direction.
  • the audio input unit 6 includes the microphones 6a and 6b shown in FIG. 1, and a microphone amplifier unit and an A / D converter for amplifying the audio signals obtained by the microphones 6a and 6b. Output to the processing unit 15.
  • the audio signal processing unit 15 performs processing such as noise removal and sound source separation on the audio data obtained by the audio input unit 6.
  • the processed audio data is supplied to the main control unit 10.
  • the HMD 1 according to the present embodiment includes the voice input unit 6 and the voice signal processing unit 15 to enable voice input by the user, for example.
  • the display control unit 17 performs drive control for displaying the image data supplied from the notification control unit 10 e on the display unit 2 in accordance with the control of the main control unit 10.
  • the display control unit 17 may include a pixel drive circuit for displaying on the display unit 2 that is a liquid crystal display, for example.
  • the display control unit 17 can control the transmittance of each pixel of the display unit 2 to put the display unit 2 in a through state (transmission or semi-transmission state).
  • the display control unit 17 may include, for example, a video processor, a digital signal processor, a D / A converter, and the like, and performs brightness level adjustment, color correction, contrast adjustment, sharpness (outline emphasis) adjustment of image data to be displayed, and the like. Do.
  • the display unit 2 displays image data according to control by the display control unit 17. Specifically, the display unit 2 according to the present embodiment performs cooking index display, warning display, and the like.
  • the voice control unit 18 performs control for outputting the voice signal data supplied from the notification control unit 10 e from the voice output unit 5 in accordance with the control of the main control unit 10.
  • the audio control unit 18 performs volume adjustment, sound quality adjustment, acoustic effect, and the like of the output audio signal data.
  • the audio output unit 5 includes a pair of earphone speakers 5a shown in FIG. 1 and an amplifier circuit for the earphone speakers 5a. Moreover, the audio
  • the storage unit 22 is a part that records and reproduces data on a predetermined recording medium.
  • the storage unit 22 is realized as, for example, an HDD (Hard Disc Drive).
  • various recording media such as a solid-state memory such as a flash memory, a memory card with a built-in fixed memory, an optical disk, a magneto-optical disk, and a hologram memory are conceivable.
  • the storage unit 22 performs recording / reproduction according to the recording medium employed. What is necessary is just to be set as the structure which can be performed.
  • the storage unit 22 uses the usage amount estimation data used in the usage amount estimation unit 10a, the cooking method identification data used in the cooking method identification unit 10b, and the index calculation used in the index calculation unit 10c. Data and index conversion data are stored.
  • the storage unit 22 stores medical information, health information, genetic information, constitution information, and the like of the user 8.
  • the storage unit 22 stores the cooking index calculated / converted by the index calculating unit 10c. In this way, the HMD 1 can generate a more accurate cooking index of the finished dish by accumulating the cooking index calculated in the cooking process.
  • the storage unit 22 stores the completed dish and its cooking index (monitor result) in association with each other.
  • the communication unit 21 transmits / receives data to / from an external device.
  • the communication unit 21 is, for example, a method such as a wireless LAN (Local Area Network), Wi-Fi (Wireless Fidelity (registered trademark)), infrared communication, Bluetooth (registered trademark), or the like, directly with an external device or via a network access point. Wireless communication.
  • the communication unit 21 receives measurement data from a cooking utensil provided with a concentration sensor, for example.
  • the internal configuration of the HMD 1 according to the present embodiment has been described in detail above.
  • voice control part 18 were shown as a structure of an audio system, these do not necessarily need to be provided with all.
  • the communication part 21 was shown as a structure of HMD1, it is not necessary to necessarily provide.
  • the HMD 1 estimates the amount of food to be cooked or the amount of seasoning used for cooking in the cooking process, calculates the cooking index of the food or seasoning based on the estimation result, and calculates The cooked indicator can be notified to the user in real time.
  • HMD1 can produce
  • the HMD 1 is attached to the user 8 and notifies the cooking index in real time when the user 8 is cooking.
  • Such cooking index notification by the HMD 1 will be specifically described below with reference to FIG.
  • FIG. 4 is a flowchart showing cooking index display processing by the HMD 1 according to the present embodiment. As shown in FIG. 4, first, in step S ⁇ b> 103, the HMD 1 starts photographing of the cooking process by the imaging unit 3.
  • step S106 the usage amount estimation unit 10a of the HMD 1 estimates the usage amount of the cooking target food or the seasoning used for cooking based on the captured image of the cooking process captured by the imaging unit 3.
  • step S109 the index calculation unit 10c generates a cooking index A of the food or seasoning according to the usage of the food or seasoning estimated by the usage amount estimation unit 10a.
  • step S112 the index calculating unit 10c converts the calculated cooking index A according to the cooking method when the cooking method is specified by the cooking method specifying unit 10b.
  • step S115 the notification control unit 10e instructs the display control unit 17 to display the cooking index (the current value of the cooking index A) supplied from the index calculation unit 10c on the display unit 2.
  • the notification control unit 10e determines that the comparison result (the ratio of the current value of the cooking index A to the upper limit value; P% ) May be instructed to be displayed on the display unit 2.
  • step S118 the notification control unit 10e determines whether the P% (the ratio of the current value of the cooking index A to the upper limit value) is 90% or more.
  • step S121 the notification control unit 10e controls to display P% normally.
  • step S124 the notification control unit 10e determines whether or not P% is 100 + a (alpha)% or more. That is, the notification control unit 10e determines whether or not the current value of the cooking index A exceeds the upper limit value + a (alpha).
  • step S130 the notification control unit 10e informs the display control unit 17 or the voice control unit 18 to perform a warning display from the display unit 2 or a warning announcement from the voice output unit 5. Instruct. Thereby, the HMD 1 can warn the user when the current value of the cooking index A is between 90 and 100 + a%.
  • step S127 the notification control unit 10e causes the display control unit 17 or the voice control unit to perform stop display from the display unit 2 or stop announcement from the voice output unit 5. 18 is instructed.
  • the stop notification has a higher caution level than the warning notification.
  • the notification control unit 10e displays a large message “prohibition of input” on the display unit 2 or stops the input of ingredients and seasonings (of the imaging unit 3).
  • the warning sound is output from the audio output unit 5 until the angle of view deviates.
  • the notification control part 10e transmits the command which closes a lid with respect to a seasoning container from HMD1, and makes the lid
  • step S133 the main control part 10 judges whether there is any addition of a foodstuff or a seasoning. For example, it may be determined that there is an addition when the user 8 extracts an action to add a food or seasoning to a cooking utensil such as a frying pan based on a captured image captured by the imaging lens 3a.
  • step S106 the usage amount estimation unit 10a estimates the usage amount of the added food or seasoning, and in subsequent step S109, the index calculation unit 10c Then, the cooking index A of the ingredients or seasonings is generated. At this time, the index calculation unit 10c generates, as the current value of the cooking index A, a value obtained by adding the cooking index calculated this time to the cooking index accumulated (integrated) from the start of cooking. Thereafter, S112 to S133 are repeated.
  • the cooking index display process according to this embodiment has been specifically described above.
  • the HMD 1 according to the present embodiment can support the eating habits of the user 8 by displaying the cooking indices of the ingredients and seasonings in real time in the cooking process.
  • FIG. 5A is a diagram illustrating a screen display example of cooking indices when ingredients are input.
  • the first food object obj1 pig
  • a cooking index display 31 displayed when the lever is inserted is shown.
  • the HMD 1 according to the present embodiment continuously images the cooking process from the start of cooking (images a series of cooking operations), and the color and shape of each object such as ingredients, seasoning containers, and cooking utensils extracted from the captured image, It is possible to store and track feature quantities such as size. Thereby, HMD1 can observe continuously what kind of ingredients and seasonings the user 8 added (input) in the cooking process.
  • the cooking index display 31 shown in FIG. 5A includes a display of calories of the first ingredient obj1 (pig liver) and a display of nutritional components. About the 1st foodstuff obj1, it is estimated from the picked-up image P1 shown in FIG. 3 that it is "pig lever, 100g" by the character recognition of a label. Therefore, the index calculation unit 10c can calculate a cooking index indicating the calories and nutritional components of “pig liver, 100 g”.
  • the index calculation unit 10c calculates the cooking index of each ingredient and integrates the calculated cooking indices.
  • FIG. 5B is a diagram illustrating a screen display example of a cooking index when a seasoning is added.
  • the usage amount estimation unit 10a captures the captured image P5.
  • the seasoning container obj3 and the measuring spoon obj7 are recognized. Since the seasoning container obj3 is the “salt” seasoning container obj3 that has been extracted and recognized from the captured image P1 shown in FIG.
  • the amount used by the usage amount estimation unit 10a is reduced by the measuring spoon obj7. Accordingly, the amount of salt used can be estimated.
  • the use amount of the seasoning is not limited to such image analysis.
  • the use amount estimating unit 10a is based on the measurement data transmitted from the measuring spoon. The amount of salt used may be estimated.
  • the index calculating unit 10c The cooking index of the seasoning to be added (here “salt”) is calculated.
  • the notification control unit 10e instructs the display control unit 17 to display the cooking index display 33 including the display of the calculated cooking index on the display unit 2.
  • the HMD 1 can continuously observe the cooking process, calculate the cooking ingredients and the cooking index of the seasoning used for cooking, and notify the user 8.
  • the notification by the HMD 1 is not limited to the notification of the calculated cooking index, and it is also possible to perform a warning notification based on a comparison result obtained by comparing the calculated cooking index with a predetermined value and a notification of the comparison result.
  • screen display based on a comparison result between a cooking index and a predetermined value will be described with reference to FIGS.
  • FIG. 6 is a diagram illustrating an image display example of a warning display according to the present embodiment.
  • the index calculation unit 10c calculates a cooking index indicating the amount of salt added to the frying pan obj5 with the measuring spoon obj7, and compares the calculated cooking index with the index. Supplied to the unit 10d. At this time, the index calculation unit 10c may calculate a cooking index obtained by integrating a cooking index indicating the amount of salt added to a cooking index indicating the amount of salt accumulated in the cooking process.
  • the index comparison unit 10d compares the cooking index calculated by the index calculation unit 10c with a predetermined value.
  • the predetermined value to be compared is, for example, a predetermined upper limit value giving priority to health or a predetermined upper limit value giving priority to taste preference as described above.
  • the notification control part 10e is based on the comparison result supplied from the parameter
  • the case of reaching the predetermined value is, for example, a case where the amount of salt indicated by the cooking index is 90% to 100 + a% with respect to the upper limit value.
  • the notification control unit 10e indicates that “use of salt is prohibited”.
  • a prohibition display indicating a warning may be displayed on the display unit 2.
  • the notification control unit 10e can display a warning and warn the user 8.
  • the index comparison unit 10d of the HMD 1 compares the cooking index calculated by the index calculation unit 10c with the limit index (upper limit value) when cooking is completed, and the notification control unit 10e performs the comparison.
  • FIG. 7 is a diagram showing a screen display example of a comparison result notification according to the present embodiment.
  • the notification control unit 10 e causes the display unit 2 to display a bar display 37 indicating the ratio of the current cooking index to the upper limit value at the completion of cooking based on the comparison result by the index comparison unit 10 d.
  • An instruction is issued to the display control unit 17.
  • the bar display 37 is superimposed on the captured image P9.
  • the display control unit 17 may display the bar display 37 in AR after controlling the transmission of the display unit 2.
  • the user 8 can grasp the ratio of the cooking index at the present time, and can prevent the excessive addition of a specific seasoning or ingredients during cooking.
  • the bar display 37 is superimposed on the captured image P ⁇ b> 9, but the display control unit 17 may display the bar display 37 in AR after controlling the transmission of the display unit 2.
  • the HMD 1 can calculate the cooking index of the food to be cooked and the seasoning used for cooking in the cooking process, and can notify the user 8 of the calculated cooking index in real time. Moreover, HMD1 can produce
  • the usage example of the cooking index generated in this way will be described as a supplement.
  • the cooking index for cooking is used, for example, when notifying the user of the calories and nutritional components of the cooking during eating and drinking.
  • the user can intuitively grasp the calorie intake and nutritional components by notifying the calorie and nutritional components of the food at the time of eating and drinking.
  • Such notification of calories and nutritional components during eating and drinking can also be performed by the notification control unit 10e of the HMD1.
  • the HMD 1 includes the main control unit 10 ′ illustrated in FIG. 8, so that the cooking index of cooking can be notified to the user 8 at the time of eating and drinking using the cooking index generated in the cooking process.
  • the main control unit 10 ′ functions as a cooking determination unit 10f, a cooking index acquisition unit 10g, a food index calculation unit 10h, a food index comparison unit 10i, and a notification control unit 10e.
  • the dish determination unit 10f determines the number of dishes and the number of dishes based on the analysis result (features such as the color, shape, size, etc.) of the dish to be eaten and captured by the imaging unit 3. .
  • the dish discrimination method by the dish discriminating unit 10f may be a discrimination method based on a reading result of an IC tag, a marker, or the like added to a dish on which a dish is placed, in addition to the analysis result of the captured image. .
  • the cooking index acquisition unit 10g acquires the cooking index of the dish determined by the dish determination unit 10f.
  • the cooking index calculated by the index calculation unit 10c shown in FIG. 2 in the cooking process is accumulated in the storage unit 22 and linked to the finished dish image and dish name in the database. To do. Therefore, the cooking index acquisition unit 10 g can acquire the cooking index from the storage unit 22.
  • the food / beverage index calculation part 10h calculates the parameter
  • the index of food and drink to eat and drink is an index indicating the calorie intake and the mass of the nutritional component to be ingested.
  • the food / beverage index comparison unit 10i compares the food / beverage index calculated by the food / beverage index calculation unit 10h with a predetermined value.
  • the predetermined value is, for example, a daily intake calorie upper limit value, a daily intake nutrition component upper limit value, or the like.
  • the notification control unit 10e instructs the display control unit 17 or the voice control unit 18 to notify the user 8 of the food / beverage index calculated by the food / beverage index calculation unit 10h and the comparison result by the food / beverage index comparison unit 10i.
  • FIG. 9 is a flowchart showing an operation process when notifying a food / beverage index at the time of eating and drinking using a cooking index.
  • the HMD 1 starts photographing at the time of eating and drinking by the imaging unit 3.
  • the amount of food and drink by the user 8 is defined as a food and drink index AE.
  • the eating and drinking index AE indicates the calorie intake and the mass of the nutritional component taken.
  • the dish determination unit 10f of the main control unit 10 ′ determines the number of dishes based on the analysis result of the captured image captured by the imaging unit 3, and the cooking index acquisition unit 10g A cooking index A is acquired.
  • the dish determination unit 10f may assign a number to each dish.
  • the cooking index acquisition unit 10g acquires the cooking indices A1 to A5 of each dish when there are five dishes numbered 1 to 5, for example.
  • the food / beverage index calculation unit 10h specifies the number i of the food that the user 8 is currently eating and drinking based on the analysis result of the captured image captured by the imaging unit 3, and cooks the food.
  • step S215 the notification control unit 10e of the main control unit 10 instructs the display control unit 17 to display the current value of the food / beverage index AE calculated by the food / beverage index calculation unit 10h on the display unit 2.
  • the notification control unit 10e determines the comparison result (the ratio of the current value of the food / beverage index AE to the upper limit; Q% ) May be instructed to be displayed on the display unit 2.
  • the intake upper limit is, for example, a daily intake calorie upper limit, a weekly intake calorie upper limit, a daily cholesterol upper limit, or the like.
  • such an upper limit may be set based on a user's medical information and health information.
  • step S218, the notification control unit 10e determines whether or not the above Q% (the ratio of the current value of the food and beverage index AE to the upper limit value of intake) is 90% or more.
  • step S221 the notification control unit 10e controls to normally display Q%.
  • step S224 the notification control unit 10e determines whether or not Q% is 100 + a (alpha)% or more. That is, the notification control unit 10e determines whether or not the current value of the food and drink index AE exceeds the intake upper limit value + a (alpha).
  • step S230 the notification control unit 10e informs the display control unit 17 or the voice control unit 18 to perform a warning display from the display unit 2 or a warning announcement from the voice output unit 5. Instruct. As a result, the HMD 1 can warn the user when the current value of the food and drink index AE is between 90 and 100 + a%.
  • step S227 the notification control unit 10e causes the display control unit 17 or the voice control unit to perform stop display from the display unit 2 or stop announcement from the voice output unit 5. 18 is instructed.
  • the stop notification has a higher caution level than the warning notification.
  • the notification control unit 10e displays a large message “Prohibition of eating and drinking” on the display unit 2 or outputs a warning sound from the audio output unit 5 until eating or drinking is stopped. I will let you.
  • step S233 the main control unit 10 'determines whether there is additional food or drink. For example, based on the captured image captured by the imaging lens 3a, it may be determined that there is additional food and drink when the user 8 extracts an action to continue eating and drinking.
  • the HMD 1 can calculate an index in the cooking process and notify the user of the cooking index in real time during cooking.
  • the cooking index can be converted according to the cooking method of cooking.
  • the HMD 1 can perform a warning notification or a prohibition notification based on a comparison result obtained by comparing the current cooking index with a predetermined value, a notification of the ratio of the current value of the cooking index to the predetermined value, and the like.
  • the HMD 1 continuously observes the cooking process, calculates each cooking index of the ingredients to be cooked and the seasoning used for cooking, and accumulates the calculated cooking index. An accurate cooking index can be generated.
  • a computer program for causing hardware such as a CPU, ROM, and RAM incorporated in the HMD 1 to exhibit the functions of the HMD 1 described above.
  • a computer-readable storage medium storing the computer program is also provided.
  • the HMD 1 is used as an example of the information processing apparatus.
  • the information processing apparatus according to the present embodiment is not limited to the HMD 1, and is, for example, a display control system formed from a smartphone and a glasses-type display. May be.
  • a smartphone information processing apparatus
  • the eyeglass-type display has a mounting unit having a frame structure that circulates from the heads of both sides to the back of the head, and is worn by the user by being put on both ear shells.
  • a pair of display units for the left eye and the right eye are arranged immediately before the user's eyes, that is, at a position where a lens in normal glasses is located.
  • the HMD 1 can be in a through state, that is, a transparent or translucent state by controlling the transmittance of the liquid crystal panel of the display unit 2, so that even if the user always wears it like glasses, it interferes with normal life. There is no.
  • the spectacle-type display is provided with an imaging lens for imaging the user's line-of-sight direction in the mounted state, and the spectacle-type display displays the captured image on a smartphone (information processing apparatus). ).
  • the smartphone has the same function as that of the main control unit 10, estimates the amount of cooking ingredients and seasonings from the captured image, and generates a cooking index display image indicating the estimated cooking index. . Then, the smartphone (information processing apparatus) transmits the generated cooking index display image to the glasses-type display, and the cooking index display image is displayed on the display unit of the glasses-type display.
  • the cooking process is captured by a camera that captures the wearer's (user's) line-of-sight direction provided in the glasses-type device, and the captured image is transmitted to the smartphone (information processing device).
  • a smart phone information processing apparatus
  • the usage amount estimation unit 10a determines the usage amount of ingredients and seasonings, or the cooking method identification unit 10b performs cooking.
  • the analysis processing of the captured image may be performed on the cloud.
  • the HMD 1 sends a captured image of the cooking process to the cloud via the communication unit 21 and receives a result analyzed on the cloud (for example, an analysis server). Based on this, the usage amount estimation unit 10a and the cooking method identification are specified. The use amount is estimated and the cooking method is specified by the unit 10b.
  • this technique can also take the following structures.
  • an estimation unit that estimates the amount of food to be cooked and at least one of the seasonings used for cooking;
  • an index calculation unit that calculates a predetermined cooking index;
  • a notification control unit that controls to notify the cooking index calculated by the index calculation unit;
  • An information processing apparatus comprising: (2) The information processing apparatus further includes a cooking method specifying unit that specifies a cooking method, The information processing apparatus according to (1), wherein the index calculation unit converts the calculated cooking index according to the cooking method specified by the cooking method specifying unit. (3) The information processing apparatus according to (1) or (2), further including a display unit that displays the cooking index according to control by the notification control unit.
  • the information processing apparatus according to any one of (1) to (3), wherein the index calculation unit integrates the calculated cooking index.
  • the notification control unit controls the user to give a warning notification when the cooking index calculated by the index calculation unit reaches a predetermined value, or any one of (1) to (4).
  • the predetermined value is a limit index
  • the plurality of limit indicators include a predetermined value that prioritizes health and a predetermined value that prioritizes preference.
  • the information processing apparatus according to any one of (1) to (11), wherein the information processing apparatus is a head-mounted or glasses-type head mounted display.
  • the information processing apparatus is a smartphone, a mobile phone terminal, a tablet terminal, a PC, a digital camera, or a digital camcorder.
  • an estimation unit that estimates the amount of food to be cooked and at least one of the seasonings used for cooking;
  • an index calculation unit that calculates a predetermined cooking index;
  • a notification control unit that controls to notify the cooking index calculated by the index calculation unit;
  • a storage medium storing a program for functioning as a computer.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Business, Economics & Management (AREA)
  • Nutrition Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】調理過程において指標を算出することが可能な情報処理装置および記憶媒体を提供する。 【解決手段】センサにより検出された信号に基づいて、調理対象の食材および調理に使用する調味料の少なくともいずれかの使用量を推定する推定部と、前記推定部による推定結果に応じて、所定の調理指標を算出する指標算出部と、前記指標算出部により算出された調理指標を通知するよう制御する通知制御部と、を備える、情報処理装置。

Description

情報処理装置および記憶媒体
　本開示は、情報処理装置および記憶媒体に関する。
　近年、食生活管理を支援する装置が提案されている。
　例えば、下記特許文献１には、無線携帯端末により撮像された料理の撮像画像に基づき、摂取カロリーや食事噛み時間を算出し、リアルタイムで料理の摂取カロリーや食事噛み時間の管理を食事中に行う技術が開示されている。
　また、下記特許文献２には、食品成分について習熟するための長い期間や労力が少なくなるよう、栄養データ記憶部（例えば食品の梱包容器に貼付されるＩＣタグ）と、栄養データ読取部（例えばＩＣタグのリーダ）と、データ出力部とを含むナビゲーションシステムが開示されている。
特開２０１０－３３３２６号公報 特開２００６－１９５９４３号公報
　しかしながら、上記特許文献１では、既に出来上がった料理の撮像画像に基づいて解析するので、調理過程においてどのような調味料がどれくらい使用されたのかを認識することは困難である。
　また、上記特許文献２でも、調理過程におけるカロリーや栄養成分の算出には言及されていない。
　そこで、本開示では、調理過程において指標を算出することが可能な、新規かつ改良された情報処理装置および記憶媒体を提案する。
　本開示によれば、センサにより検出された信号に基づいて、調理対象の食材および調理に使用する調味料の少なくともいずれかの使用量を推定する推定部と、前記推定部による推定結果に応じて、所定の調理指標を算出する指標算出部と、前記指標算出部により算出された調理指標を通知するよう制御する通知制御部と、を備える、情報処理装置を提案する。
　本開示によれば、コンピュータに、センサにより検出された信号に基づいて、調理対象の食材および調理に使用する調味料の少なくともいずれかの使用量を推定する推定部と、前記推定部による推定結果に応じて、所定の調理指標を算出する指標算出部と、前記指標算出部により算出された調理指標を通知するよう制御する通知制御部と、として機能させるためのプログラムが記憶された、記憶媒体を提案する。
　以上説明したように本開示によれば、調理過程において指標を算出することが可能となる。
本開示の一実施形態による調理指標表示の概要を説明するための図である。 本実施形態によるＨＭＤの内部構成例を示すブロック図である。 本実施形態による使用量推定部による食材／調味料の使用量推定方法について説明するための図である。 本実施形態による調理指標表示処理を示すフローチャートである。 食材を投入した場合の調理指標の画面表示例を示す図である。 調味料を追加した場合の調理指標の画面表示例を示す図である。 本実施形態による警告表示の画像表示例を示す図である。 本実施形態による比較結果通知の画面表示例を示す図である。 調理指標を用いて飲食時に飲食指標を行う際の主制御部の機能構成を示すブロック図である。 調理指標を用いて飲食時に飲食指標の通知を行う際の動作処理を示すフローチャートである。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による調理指標表示の概要
　２．ＨＭＤの基本構成および動作処理
　　２－１．ＨＭＤの基本構成
　　２－２．ＨＭＤの動作処理
　３．画面表示例
　　３－１．指標表示
　　３－２．比較結果に基づく表示
　４．補足
　５．まとめ
　　＜＜１．本開示の一実施形態による調理指標表示の概要＞＞
　まず、本開示の一実施形態による調理指標表示の概要について、図１を参照して説明する。
　図１は、本開示の一実施形態による調理指標表示の概要を説明するための図である。図１に示すように、ユーザ８は、眼鏡型のＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）１を装着している。ＨＭＤ１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを有し、図１に示すように両耳殻にかけられることでユーザ８に装着される。
　また、ＨＭＤ１は、装着状態において、ユーザ８の両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２が配置される構成となっている。表示部２には、例えば撮像レンズ３ａで撮像された現実空間の撮像画像が表示される。また、表示部２は透過型であってもよく、ＨＭＤ１により表示部２がスルー状態、即ち透明または半透明の状態とされることで、ユーザ８は、ＨＭＤ１を眼鏡のように常時装着していても通常の生活には支障がない。
　また、ＨＭＤ１には、図１に示すように、ユーザ８に装着された状態で、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。さらに、撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）により形成される。
　また、図１では左耳側しか示されていないが、装着状態でユーザの右耳孔および左耳孔に挿入できる一対のイヤホンスピーカ５ａが設けられる。また、右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン６ａ、６ｂが配置される。
　なお、図１に示すＨＭＤ１の外観は一例であり、ＨＭＤ１をユーザが装着するための構造は多様に考えられる。ＨＭＤ１は、一般に眼鏡型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
　また、撮像レンズ３ａ、照明を行う発光部４ａは、図１に示す例では右眼側に前方に向けて配置されているが、左眼側に配置されてもよいし、両側に配置されてもよい。
　また、イヤホンスピーカ５ａは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。また、マイクロホンも、マイクロホン６ａ、６ｂのうちの一方でもよい。
　さらに、マイクロホン６ａ、６ｂやイヤホンスピーカ５ａを備えない構成も考えられる。また発光部４ａを設けない構成も考えられる。
　以上、図１に示すＨＭＤ１の外観構成について説明した。本明細書では、調理指標表示を行う情報処理装置の一例としてＨＭＤ１を用いるが、本開示による情報処理装置はＨＭＤ１に限定されない。例えば、情報処理装置は、スマートフォン、携帯電話端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、タブレット端末等であってもよい。
　ここで、上述したように、上記特許文献１では、既に出来上がった料理の撮像画像に基づいて、調理過程においてどのような調味料がどれくらい使用されたのかを解析することは困難である。また、調理過程において食材や調味料のカロリーや質量を示す調理指標をリアルタイムで算出し、ユーザに通知することができれば、調理の段階から食生活の支援を行うことができる。
　特に近年、生活習慣病の問題などから、食生活を改善しなければならない場合、カロリー、脂質、糖分、プリン体、コレステロール等の摂取や数値が問題となるが、食生活改善に好ましい・好ましくない食品に関する情報の量は多く、ユーザの負担となっていた。また、食事を行う際や調理を行う際には忘れてしまったり、意外な食品が好ましくない場合もあったりして、ユーザが常に好ましい食品を摂取することは難しかった。
　そこで、上記事情を一着眼点にして本開示の各実施形態によるＨＭＤ１（情報処理装置）を創作するに至った。本開示の各実施形態によるＨＭＤ１は、調理過程において指標を算出することができる。
　具体的には、本実施形態によるＨＭＤ１（情報処理装置）は、調理中の様子を撮像レンズ３ａにより撮像し、撮像した画像中の食材または調味料の使用量を推定し、推定結果に基づいて各食材また調味料の調理指標を算出し、算出した調理指標をユーザに実時間で通知する。本明細書において、調理指標とは、例えば食材または調味料の質量または熱量（カロリー）の値である。また、質量、熱量の値は、食材や調味料に含まれる各栄養成分の質量または熱量の値であってもよい。各栄養成分とは、例えばビタミン、脂質、タンパク質、炭水化物、カルシウム、マグネシウム、食物繊維、カリウム、鉄、レチノール、塩分、糖分、プリン体、コレステロール、アルコール等である。また、食材、調味料の使用量の推定は、撮像画像の他、匂いセンサや各種濃度センサ（塩分センサ、糖分センサ等）から検出された結果に基づいて行われてもよい。各種濃度センサは、計量スプーンや鍋等の調理器具に設けられ、検出された測定データがＨＭＤ１に送信される。
　例えば図１に示す例では、ＨＭＤ１はユーザ８の調理過程を撮像レンズ３ａにより撮像し、画像解析により、塩の容器、計量スプーン（小さじ／大さじ）、フライパン等の調理器具（オブジェクト）を認識する。調理器具の認識は、撮像画像の解析の他、調理器具に設けられたＩＣタグやマーカー、２次元バーコード等を読み取ることにより行われてもよい。そして、ＨＭＤ１は、ユーザ８が塩の容器から計量スプーンで塩をすくってフライパンに入れる動作（または入れようとする動作）を認識すると、塩の質量を調理指標として算出してユーザに通知したり、料理に加えた塩分を蓄積して積算した塩分を通知したりする。
　調理指標の通知方法としては、表示部２による表示通知またはイヤホンスピーカ５ａによる音声通知が可能である。例えばＨＭＤ１は、図１に示すように、表示部２に、各食材および調味料の熱量や質量を示す調理指標表示３０を表示してユーザ８に通知する。ＨＭＤ１は、食材や調味料が加えられる度に実時間で積算した調理指標表示３０を表示することで、調理過程における調理指標をユーザ８に通知することができる。この際、ＨＭＤ１は、撮像画像Ｐに調理指標表示３０を重畳表示してもよいし、表示部２を半透過に制御して実空間の景色が見える状態で調理指標表示３０を表示してもよい。
　また、ＨＭＤ１は、調理指標を所定値と比較し、所定値付近に達した場合にユーザに警告通知を行ってもよい。所定値とは、限界指標であって、具体的には健康を優先した所定の値、またはユーザの味の好みを優先した所定の値である。また、ＨＭＤ１は、調理指標を、調理完成時の所定値と比較し、比較結果に応じてユーザに警告通知を行ってもよい。
　以上、本実施形態による調理指標表示の概要について説明した。続いて、本実施形態による調理指標表示を行うＨＭＤ１の基本構成および動作処理について、図２～図４を参照して説明する。
　　＜＜２．ＨＭＤの基本構成および動作処理＞＞
　　＜２－１．ＨＭＤの基本構成＞
　図２は、本実施形態によるＨＭＤ１の内部構成例を示す図である。図２に示すように、本実施形態によるＨＭＤ１は、表示部２、撮像部３、照明部４、音声出力部５、音声入力部６、主制御部１０、撮像制御部１１、撮像信号処理部１２、撮像画像解析部１３、照明制御部１４、音声信号処理部１５、表示制御部１７、音声制御部１８、通信部２１、およびストレージ部２２を有する。
　（主制御部１０）
　主制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、ＨＭＤ１の各構成を制御する。
　本実施形態による主制御部１０は、図２に示すように、使用量推定部１０ａ、調理方法特定部１０ｂ、指標算出部１０ｃ、指標比較部１０ｄ、および通知制御部１０ｅとして機能する。
　使用量推定部１０ａは、センサにより検出された信号に基づいて、調理対象の食材および調理に使用する調味料の少なくともいずれかの使用量を推定し、推定結果を指標算出部１０ｃに供給する。センサにより検出された信号とは、例えば撮像センサ（撮像部３）により撮像された撮像画像、各種濃度センサにより検出された数値、匂いセンサにより検出された匂いデータ等である。
　各種濃度センサ（塩分濃度センサ、糖分濃度センサ、イオン濃度センサ、ｐＨ（ペーハー）センサ等）は、上述したように、計量スプーンや鍋等の調理器具に設けられ、検出された測定データがＨＭＤ１に送信される。
　また、匂いセンサは、ＨＭＤ１または外部（調理器具または調理場等）に設けられ、食材や調味料の匂い成分を検出する。ここで、匂いセンサとしては、例えば、複数種類の金属酸化物半導体センサ素子を用いて構成される。通常、金属酸化物半導体は、空気中に存在する酸素が結晶粒の表面に吸着されており、この酸素がキャリアである結晶中の電子をトラップし、導電率が低い状態にある。この状態で、匂い成分が金属酸化物半導体の表面に近付くと、匂い分子が酸化されることによって、表面の吸着酸素が奪われて、導電率が増加する。この導電率の変化は、金属酸化物半導体の種類や粒径、添加する触媒の違いによって異なるので、この性質を利用して、匂い成分が識別される。
　撮像画像に基づいて推定する場合、使用量推定部１０ａは、後述する撮像画像解析部１３による解析結果を用いて、食材や調味料の使用量を推定する。例えば使用量推定部１０ａは、食材または調味料が収容されている容器や袋に張り付けられているラベルの文字認識、またはバーコードやマーカーの読み取り等に基づいて食材／調味料の認識および認識した食材／調味料の使用量を推定することができる。ここで、図３を参照して使用量推定部１０ａによる食材／調味料の使用量推定方法について説明する。
　図３は、使用量推定部１０ａによる食材／調味料の使用量推定方法を説明するための図である。図３に示すように、撮像画像Ｐ１から、第１の食材ｏｂｊ１、第２の食材ｏｂｊ２、および調味料容器ｏｂｊ３が抽出された場合、使用量推定部１０ａは、各オブジェクトの文字領域Ｒ１、Ｒ２、Ｒ３の文字認識を行い、食材／調味料の認識や使用量の推定を行う。図３に示す例では、第１の食材ｏｂｊ１が「豚レバー」、第２の食材ｏｂｊ２が「にら」、調味料容器ｏｂｊ３が「塩」であることを認識することができる。また、図３に示す例では、使用量推定部１０ａは、第１の食材ｏｂｊ１の文字領域Ｒ１から、「内容量：１００ｇ」の文字を認識し、豚レバーの使用量を推定することができる。
　また、使用量推定部１０ａは、撮像画像の解析結果を参照し、解析された食材／調味料の色や形、大きさの特徴等に基づいて、食材／調味料の認識および認識した食材／調味料の使用量を推定することも可能である。この際、使用量推定部１０ａは、ストレージ部２２に格納されている使用量推定用のデータ（色や形、大きさの特徴等と食材／調味料が紐付けられているデータベース）を用いてもよい。
　さらに、使用量推定部１０ａは、撮像画像解析部１３による撮像画像の解析結果と、匂いセンサによって検出された匂いデータと、各種測定データを組み合わせて総合的に食材／調味料の使用量を推定することもできる。
　調理方法特定部１０ｂは、調理過程における調理方法（炒めもの、焼き料理、茹で料理、揚げ料理、蒸し料理、生もの、または和えもの等）を判別し、判別結果を指標算出部１０ｃに供給する。具体的には、調理方法特定部１０ｂは、撮像センサ（撮像部３）により取得された撮像画像や、赤外線センサ（熱画像センサ）、温度センサ、湿度センサ等により検出された測定データに基づいて、調理方法を特定することができる。例えば調理方法特定部１０ｂは、撮像画像から認識された調理器具（フライパン、鍋、天ぷら鍋、蒸し器等）に応じて調理方法を特定してもよい。また、調理方法特定部１０ｂは、併せて各種測定データ（温度データ、湿度データ等）を用いて料理方法を特定してもよい。この際、調理方法特定部１０ｂは、ストレージ部２２に格納されている調理方法特定用のデータ（調理器具や、温度データ等と調理方法が紐付けられているデータベース）を用いてもよい。
　指標算出部１０ｃは、使用量推定部１０ａにより推定された食材／調味料の使用量に応じて、所定の調理指標を算出する。また、指標算出部１０ｃは、調理方法特定部１０ｂにより特定された調理方法に応じて、算出した調理指標を変換することも可能である。指標算出部１０ｃは、算出／変換した調理指標を、指標比較部１０ｄおよび通知制御部１０ｅに供給する。また、算出／変換された調理指標は、ストレージ部２２に蓄積される。
　指標算出部１０ｃは、ストレージ部２２に格納されている指標算出用のデータ（食材／調味料の量と調理指標が紐付けられているデータベース）を用いて算出してもよい。例えば、指標算出部１０ｃは、塩小さじ１の場合は「食塩６ｇ」、塩ひとつまみ（親指、人さし指、中指の３本の指でつまんだ量）の場合は「食塩１ｇ」と算出する。
　また、栄養成分の性質によっては、調理方法によって調理指標（カロリーや質量）が変化する場合があるので、指標算出部１０ｃは、調理方法特定部１０ｂに特定された調理方法に応じて算出した指標を変換してもよい。例えば、指標算出部１０ｃは、ストレージ部２２に格納されている調理指標変換用のデータ（調理方法と各調理指標の変化が紐付けられているデータベース）を用いて調理指標を変換する。
　また、指標算出部１０ｃは、算出／変換した調理指標と、ストレージ部２２に蓄積された調理指標を積算することも可能である。
　指標比較部１０ｄは、指標算出部１０ｃから供給された調理指標を所定値と比較し、比較結果を通知制御部１０ｅに供給する。具体的には、指標比較部１０ｄは、調理指標を、健康を優先した限界指標と比較し、調理指標が限界指標付近（限界指標を基準とする所定の範囲内）に達したか否かを判断する。健康を優先した限界指標とは、健康上一般的に摂取可とされる調理指標の上限値、または、ユーザ８の医療情報（病歴や薬歴を含む）や、健康情報（現在の体調情報を含む）、遺伝情報、体質情報（アレルギー情報を含む）等に基づいて摂取可とされる調理指標の上限値である。ユーザ８の医療情報や健康情報等は、ストレージ部２２から抽出されてもよいし、通信部２１を介して所定のサーバから取得されてもよい。また、ユーザ８の現在の体調情報は、ＨＭＤ１に設けられた生体情報（血圧、体温、脈拍、脳波等）を検出する各種生体センサにより検出されてもよいし、ＨＭＤ１とは別にユーザが所有する生体情報検出装置（不図示）により検出されてもよい。
　一方、ユーザ８の好みによっては、健康を優先した限界指標は必ずしも最適ではないので、指標比較部１０ｄは、調理指標を、ユーザ８の好みを優先した限界指標と比較し、調理指標が限界指標付近（限界指標を基準とする所定の範囲内）に達したか否かを判断してもよい。
　また、指標比較部１０ｄは、調理完成時の限界指標（上限値）が取得可能な場合、調理指標を、調理完成時の限界指標（上限値）と比較してもよい。例えば調理の仕上げでチーズや生ハム、ソース等を追加する際に塩分が上限値を超えてしまうといった状況を避けるために、ＨＭＤ１は、調理過程において調理完成時の限界指標（上限値）と現在の調理指標（積算された料理指標）との比較結果を通知する。これにより、ユーザ８は、調理途中における塩の入れ過ぎを防止することができる。なお調理完成時の限界指標（上限値）は、現在調理している料理のレシピデータや、ユーザ８が指定した料理名に基づいて取得され得る。
　通知制御部１０ｅは、指標算出部１０ｃから供給された調理指標や、指標比較部１０ｄから供給された比較結果をユーザ８に通知するよう制御する。ユーザ８への通知は、表示通知または音声通知が可能である。表示通知の場合、通知制御部１０ｅは調理指標を示す画像データ（例えば図１に示す調理指標表示３０）を生成して表示制御部１７に出力し、また、音声通知の場合、通知制御部１０ｅは調理指標を発声する音声信号を生成して音声制御部１８に出力する。
　また、通知制御部１０ｅは、指標比較部１０ｄから供給された比較結果に基づいて、調理指標が限界指標付近（限界指標を基準とする所定の範囲内）に達している場合、警告通知を行うよう制御する。ユーザ８への警告通知は、表示通知、音声通知、振動通知等が可能である。表示通知の場合、通知制御部１０ｅは警告を示す画像データ（例えば図６に示す警告表示３５）を生成して表示制御部１７に出力し、また、音声通知の場合、通知制御部１０ｅはアラーム音声を生成して音声制御部１８に出力する。また、振動通知の場合、通知制御部１０ｅは、ＨＭＤ１に設けられた振動部（不図示）を駆動するための制御信号を生成して振動部に出力する。
　（撮像部）
　撮像部３は、撮像レンズ３ａ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
　（撮像制御部）
　撮像制御部１１は、主制御部１０からの指示に基づいて、撮像部３及び撮像信号処理部１２の動作を制御する。例えば撮像制御部１１は、撮像部３、撮像信号処理部１２の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御（モータ制御）を行うものとされる。また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１２のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
　さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１２における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。
　（撮像信号処理部）
　撮像信号処理部１２は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Ａｕｔｏｍａｔｉｃ　Ｇａｉｎ　Ｃｏｎｔｒｏｌ)回路や、ビデオＡ／Ｄ（アナログ／デジタル）コンバータを備える。これにより、撮像信号処理部１２は、デジタルデータとしての撮像信号を得る。また、撮像信号処理部１２は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。
　（撮像画像解析部）
　撮像画像解析部１３は、外界情報を取得するための構成の一例である。具体的には、撮像画像解析部１３は、撮像部３により撮像され、撮像信号処理部１２により処理された画像データ（撮像画像）を解析し、画像データに含まれる画像の情報を得る。
　具体的には、例えば撮像画像解析部１３は、画像データに対して点検出、線・輪郭検出、領域分割等の解析を行い、解析結果を主制御部１０の使用量推定部１０ａおよび調理方法特定部１０ｂに出力する。
　（照明部、照明制御部）
　照明部４は、図１に示した発光部４ａとその発光部４ａ（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１４は、主制御部１０の制御に応じて、照明部４に発光動作を実行させる。照明部４における発光部４ａが図１に示したように前方に対する照明を行うものとして取り付けられていることで、照明部４はユーザの視界方向に対する照明動作を行うことになる。
　（音声入力部、音声信号処理部）
　音声入力部６は、図１に示したマイクロホン６ａ、６ｂと、そのマイクロホン６ａ、６ｂで得られた音声信号を増幅処理するマイクアンプ部やＡ／Ｄ変換器を有し、音声データを音声信号処理部１５に出力する。音声信号処理部１５は、音声入力部６で得られた音声データに対して、ノイズ除去、音源分離等の処理を行う。そして処理した音声データを主制御部１０に供給する。本実施形態によるＨＭＤ１は、音声入力部６および音声信号処理部１５を備えることで、例えばユーザによる音声入力を可能にする。
　（表示制御部）
　表示制御部１７は、主制御部１０の制御に応じて、通知制御部１０ｅから供給される画像データを表示部２に表示するための駆動制御を行う。表示制御部１７は、例えば液晶ディスプレイとされる表示部２において表示させるための画素駆動回路で構成されていてもよい。また、表示制御部１７は、表示部２の各画素の透過率を制御し、表示部２をスルー状態（透過または半透過状態）にすることもできる。また、表示制御部１７は、例えばビデオプロセッサ、デジタルシグナルプロセッサ、Ｄ／Ａ変換器などを含んでもよく、表示する画像データの輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整等を行う。
　（表示部）
　表示部２は、表示制御部１７による制御に従って、画像データを表示する。具体的には、本実施形態による表示部２は、調理指標表示や警告表示等を行う。
　（音声制御部）
　音声制御部１８は、主制御部１０の制御に応じて、通知制御部１０ｅから供給される音声信号データを音声出力部５から出力するための制御を行う。また、音声制御部１８は、出力する音声信号データの音量調整、音質調整、音響エフェクト等を行う。
　（音声出力部）
　音声出力部５は、図１に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。また、音声出力部５は、いわゆる骨伝導スピーカとして構成されてもよい。音声出力部５は、音声制御部１８による制御に従って、音声信号データを出力（再生）する。
　（ストレージ部）
　ストレージ部２２は、所定の記録媒体に対してデータの記録再生を行う部位とされる。ストレージ部２２は、例えばＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２２としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
　また、本実施形態によるストレージ部２２は、使用量推定部１０ａに用いられる使用量推定用のデータ、調理方法特定部１０ｂに用いられる調理方法特定用のデータ、指標算出部１０ｃに用いられる指標算出用のデータおよび指標変換用のデータ等を格納する。また、ストレージ部２２は、ユーザ８の医療情報、健康情報、遺伝情報、および体質情報等を格納する。
　さらに、ストレージ部２２は、指標算出部１０ｃにより算出／変換された調理指標を格納する。このように、ＨＭＤ１は、調理過程において算出した調理指標を蓄積していくことで、出来上がった料理のより正確な調理指標を生成することができる。ストレージ部２２には、出来上がった料理と、その調理指標（モニタ結果）が紐付けて記憶される。
　（通信部）
　通信部２１は外部機器との間でのデータの送受信を行う。通信部２１は、例えば無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。
　本実施形態による通信部２１は、例えば濃度センサが設けられた調理器具から測定データを受信する。
　以上、本実施形態によるＨＭＤ１の内部構成について詳細に説明した。なお、音声系の構成として、音声出力部５、音声入力部６、音声信号処理部１５、音声制御部１８を示したが、これらは必ずしも全てを備える必要はない。また、ＨＭＤ１の構成として通信部２１を示したが、必ずしも備える必要はない。
　上記構成により、本実施形態によるＨＭＤ１は、調理過程において、調理対象の食材または調理に使用する調味料の使用量を推定し、推定結果に基づいて食材また調味料の調理指標を算出し、算出した調理指標をユーザに実時間で通知することができる。また、ＨＭＤ１は、調理過程において算出した調理指標を蓄積していくことで、出来上がった料理のより正確な調理指標を生成することができる。続いて、本実施形態のＨＭＤ１の動作処理について説明する。
　　＜２－２．ＨＭＤの動作処理＞
　上述したように、本実施形態によるＨＭＤ１は、ユーザ８に装着され、ユーザ８が調理している際に、調理指標をリアルタイムで通知する。このようなＨＭＤ１による調理指標通知について、以下図４を参照して具体的に説明する。
　図４は、本実施形態によるＨＭＤ１による調理指標表示処理を示すフローチャートである。図４に示すように、まず、ステップＳ１０３において、ＨＭＤ１は、撮像部３により調理過程の撮影を開始する。
　次に、ステップＳ１０６において、ＨＭＤ１の使用量推定部１０ａは、撮像部３により撮像された調理過程の撮像画像に基づいて、調理対象の食材または調理に使用する調味料の使用量を推定する。
　次いで、ステップＳ１０９において、指標算出部１０ｃは、使用量推定部１０ａにより推定された食材または調味料の使用量に応じて、食材または調味料の調理指標Ａを生成する。
　次に、ステップＳ１１２において、指標算出部１０ｃは、調理方法特定部１０ｂにより調理方法が特定された場合、算出した調理指標Ａを調理方法に応じて変換する。
　次いで、ステップＳ１１５において、通知制御部１０ｅは、指標算出部１０ｃから供給された調理指標（調理指標Ａの現在値）を表示部２に表示するよう表示制御部１７に指示を出す。または、指標比較部１０ｄにより、調理指標Ａと、所定の限界指標（上限値）が比較された場合、通知制御部１０ｅは、比較結果（上限値に対する調理指標Ａの現在値の割合；Ｐ％）を表示部２に表示するよう表示制御部１７に指示を出してもよい。
　続いて、ステップＳ１１８において、通知制御部１０ｅは、上記Ｐ％（上限値に対する調理指標Ａの現在値の割合）が、９０％以上か否かを判断する。
　９０％を下回る場合（Ｓ１１８／Ｎｏ）、ステップＳ１２１において、通知制御部１０ｅは、Ｐ％を通常表示するよう制御する。
　一方、９０％以上の場合（Ｓ１１８／Ｙｅｓ）、ステップＳ１２４において、通知制御部１０ｅは、Ｐ％が、１００＋ａ（アルファ）％以上か否かを判断する。すなわち、通知制御部１０ｅは、調理指標Ａの現在値が、上限値＋ａ（アルファ）を超えたか否かを判断する。
　１００＋ａ％を下回る場合（Ｓ１２４／Ｎｏ）、ステップＳ１３０において、通知制御部１０ｅは、表示部２からの警告表示または音声出力部５からの警告アナウンスを行うよう表示制御部１７または音声制御部１８に指示する。これにより、ＨＭＤ１は、調理指標Ａの現在値が９０～１００＋ａ％の間の場合に、ユーザに対して警告を行うことができる。
　一方、１００＋ａ％以上の場合（Ｓ１２４／Ｙｅｓ）、ステップＳ１２７において、通知制御部１０ｅは、表示部２からのストップ表示または音声出力部５からのストップアナウンスを行うよう表示制御部１７または音声制御部１８に指示する。
　ストップ通知（禁止通知）は、警告通知よりも注意レベルが高く、例えば通知制御部１０ｅは「投入禁止」と大きく表示部２に表示させたり、食材や調味料の投入を止める（撮像部３の画角から外れる）まで音声出力部５から警告音を出力させたりする。また、調味料容器の蓋が駆動式の場合、通知制御部１０ｅは、ＨＭＤ１から調味料容器に対して、蓋を閉じさせるコマンドを発信し、自動的に調味料容器の蓋を閉じさせ、調味料の料理への投入ができないようにしてもよい。
　そして、ステップＳ１３３において、主制御部１０は、食材または調味料の追加があるか否かを判断する。例えば、撮像レンズ３ａにより撮像された撮像画像に基づいて、ユーザ８がフライパン等の調理器具に食材または調味料を追加しようとする動作が抽出された場合に、追加ありと判断されてもよい。
　食材または調味料の追加がある場合（Ｓ１３３／Ｙｅｓ）、ステップＳ１０６において、使用量推定部１０ａは、追加される食材または調味料の使用量を推定し、続くステップＳ１０９において、指標算出部１０ｃが、食材または調味料の調理指標Ａを生成する。この際、指標算出部１０ｃは、調理開始時から蓄積（積算）した調理指標に、今回算出した調理指標を積算した値を、調理指標Ａの現在値として生成する。以下、上記Ｓ１１２～Ｓ１３３が繰り返される。
　食材または調味料の追加がない場合（Ｓ１３３／Ｎｏ）、調理終了と判断し、調理指標の通知処理が終了する。
　以上、本実施形態による調理指標表示処理について具体的に説明した。
　　＜＜３．画面表示例＞＞
　次に、本実施形態による調理指標の画面表示例について図５～図７を参照して説明する。上述したように、本実施形態によるＨＭＤ１は、食材や調味料の調理指標を、調理過程においてリアルタイムで表示することで、ユーザ８の食生活を支援することができる。
　　＜３－１．指標表示＞
　図５Ａは、食材を投入した場合の調理指標の画面表示例を示す図である。図５Ａでは、撮像画像Ｐ３の画像解析の結果に基づいて、撮像画像Ｐ３から抽出されたオブジェクトであるフライパンｏｂｊ５に、図３に示す撮像画像Ｐ１から抽出され認識済みの第１の食材ｏｂｊ１（豚レバー）が投入された場合に表示される調理指標表示３１を示す。本実施形態によるＨＭＤ１は、調理開始時から調理過程を継続的に撮像（一連の調理動作を撮像）し、撮像画像から抽出した食材や調味料容器、調理器具等の各オブジェクトの色や形、大きさ等の特徴量を記憶し、トラッキングすることが可能である。これにより、ＨＭＤ１は、ユーザ８がどのような食材、調味料を調理過程において追加（投入）したのかを継続的に観察することができる。
　図５Ａに示す調理指標表示３１は、第１の食材ｏｂｊ１（豚レバー）のカロリーの表示や、栄養成分の表示を含む。第１の食材ｏｂｊ１については、図３に示す撮像画像Ｐ１からラベルの文字認識により「豚レバー、１００ｇ」であることが推定されている。したがって、指標算出部１０ｃは、「豚レバー、１００ｇ」のカロリーや栄養成分を示す調理指標を算出することができる。
　次いで、調理が進み、他の食材もフライパンに追加されていくと、指標算出部１０ｃは、各食材の調理指標を算出し、算出した料理指標を積算していく。
　続いて、調味料の調理指標の表示について図５Ｂを参照して説明する。図５Ｂは、調味料を追加した場合の調理指標の画面表示例を示す図である。図５Ｂの上側に示すように、調理過程において、ユーザ８が例えば塩の調味料容器から計量スプーンで塩をすくう過程が撮像されると、使用量推定部１０ａは、撮像された撮像画像Ｐ５の画像解析の結果に基づいて、調味料容器ｏｂｊ３と計量スプーンｏｂｊ７を認識する。調味料容器ｏｂｊ３は、図３に示す撮像画像Ｐ１から抽出され認識済みの「塩」の調味料容器ｏｂｊ３であるので、使用量推定部１０ａは、計量スプーンｏｂｊ７でどの程度の量がすくわれたかに応じて、塩の使用量を推定することができる。なお調味料の使用量推定は、このような画像解析に限定されず、例えば計量スプーンに塩分濃度センサが設けられている場合、使用量推定部１０ａは、計量スプーンから送信された測定データに基づいて塩の使用量を推定してもよい。
　次に、図５Ｂの下側に示す撮像画像Ｐ６の画像解析の結果に基づいて、計量スプーンｏｂｊ７ですくった塩をフライパンｏｂｊ５に追加しようとする動作が抽出された場合、指標算出部１０ｃは、追加される調味料（ここでは「塩」）の調理指標を算出する。
　そして、通知制御部１０ｅは、算出された調理指標の表示を含む調理指標表示３３を表示部２に表示するよう表示制御部１７に指示を出す。
　以上説明したように、本実施形態によるＨＭＤ１は、調理過程を継続的に観察し、調理される食材や調理に使用される調味料の調理指標を算出し、ユーザ８に通知することができる。なおＨＭＤ１による通知は、算出した調理指標の通知に限定されず、さらに、算出した調理指標を所定値と比較した比較結果に基づく警告通知や、比較結果の通知を行うことも可能である。以下、一例として、調理指標と所定値との比較結果に基づく画面表示について、図６～図７を参照して説明する。
　　＜３－２．比較結果に基づく表示＞
　　（３－２－１．警告表示）
　図６は、本実施形態による警告表示の画像表示例を示す図である。図６に示す撮像画像Ｐ７の画像解析の結果に基づいて、指標算出部１０ｃは、計量スプーンｏｂｊ７でフライパンｏｂｊ５に追加される塩の量を示す調理指標を算出し、算出した調理指標を指標比較部１０ｄに供給する。この際、指標算出部１０ｃは、調理過程において蓄積された塩の量を示す調理指標に、追加される塩の量を示す調理指標を積算した調理指標を算出してもよい。
　次いで、指標比較部１０ｄは、指標算出部１０ｃにより算出された調理指標を所定値と比較する。比較する所定値は、上述したように例えば健康を優先した所定の上限値、または味の好みを優先した所定の上限値である。
　そして、通知制御部１０ｅは、指標比較部１０ｄから供給された比較結果に基づいて、指標算出部１０ｃにより算出された塩の量を示す調理指標が所定値付近に達していた場合、図６に示すように、「食塩の量が上限を超えます」との警告を示す警告表示３５を表示部２に表示させる。ここで、所定値付近に達していた場合とは、例えば調理指標で示される食塩の量が、上限値に対して９０％～１００＋ａ％の割合の場合とする。
　また、調理指標が所定値付近に達し、さらに超えていた場合、具体的には上限値に対して１００＋ａ％以上の割合であった場合、通知制御部１０ｅは、「食塩の使用禁止」との警告を示す禁止表示を表示部２に表示させてもよい。
　　（３－２－１．比較結果表示）
　以上説明したように、所定の調理指標が所定値付近に達した場合、通知制御部１０ｅは、警告表示を行い、ユーザ８に警告を行うことができる。しかしながら、調理の仕上げで重要な材料を最後に追加する際など、塩分や糖分が上限値を超えることが通知されても当該材料を追加しないことは完成品として望ましくない場合も想定される。そこで、本実施形態によるＨＭＤ１の指標比較部１０ｄは、指標算出部１０ｃにより算出された調理指標と、調理完成時の限界指標（上限値）との比較を行い、通知制御部１０ｅにより、かかる比較の結果をユーザ８に通知することで、完成時の上限値を考慮した通知を行うことができる。以下、図７を参照してこのような比較結果の通知の一例について説明する。
　図７は、本実施形態による比較結果通知の画面表示例を示す図である。図７に示すように、通知制御部１０ｅは、指標比較部１０ｄによる比較結果に基づいて、調理完成時の上限値に対する現在の調理指標の割合を示すバー表示３７を表示部２に表示させるよう表示制御部１７に指示を出す。図７に示す例では、撮像画像Ｐ９にバー表示３７が重畳表示されているが、表示制御部１７は、表示部２を透過制御した上でバー表示３７をＡＲ表示してもよい。
　これにより、ユーザ８は、現時点での調理指標の割合を把握することができ、調理途中に特定の調味料や食材を入れ過ぎないようにすることができる。なお図７に示す例では、撮像画像Ｐ９にバー表示３７が重畳表示されているが、表示制御部１７は、表示部２を透過制御した上でバー表示３７をＡＲ表示してもよい。
　　＜＜４．補足＞＞
　上述したように、本実施形態によるＨＭＤ１は、調理過程において、調理対象の食材や調理に使用する調味料の調理指標を算出し、算出した調理指標をリアルタイムでユーザ８に通知することができる。また、ＨＭＤ１は、調理過程において継続的に算出した調理指標を蓄積することで、完成した料理のより正確な調理指標を生成することができる。ここで、このように生成した調理指標の利用例について補足として説明する。
　料理の調理指標は、例えば飲食時に料理のカロリーや栄養成分をユーザに通知する際に利用される。ユーザは、料理のカロリーや栄養成分が飲食時に通知されることで、摂取カロリーや栄養成分を直感的に把握することができる。
　このような飲食時におけるカロリーや栄養成分の通知も、ＨＭＤ１の通知制御部１０ｅにより行うことが可能である。具体的には、ＨＭＤ１が、図８に示す主制御部１０’を有することで、調理過程において生成した調理指標を用いて、飲食時に、料理の調理指標をユーザ８に通知することができる。
　　＜４－１．主制御部の機能構成＞
　主制御部１０’は、図８に示すように、料理判別部１０ｆ、調理指標取得部１０ｇ、飲食指標算出部１０ｈ、飲食指標比較部１０ｉ、および通知制御部１０ｅとして機能する。料理判別部１０ｆは、撮像部３により撮像された飲食対象となる料理の撮像画像の解析結果（料理の色、形、大きさ等の特徴量）に基づいて、料理や料理の数を判別する。料理判別部１０ｆによる料理の判別方法は、撮像画像の解析結果に基づく場合の他、料理が盛りつけられている皿に付加されたＩＣタグやマーカー等の読み取り結果に基づく判別方法であってもよい。
　調理指標取得部１０ｇは、料理判別部１０ｆにより判別された料理の調理指標を取得する。ここでは、調理過程において図２に示す指標算出部１０ｃにより算出された調理指標がストレージ部２２に蓄積され、完成品の料理画像や料理名称と紐付けられてデータベース化されている場合を前提とする。したがって、調理指標取得部１０ｇは、ストレージ部２２から調理指標を取得することができる。
　飲食指標算出部１０ｈは、ユーザ８が飲食する飲食物の指標を算出する。具体的には、飲食指標算出部１０ｈは、撮像部３により撮像された撮像画像の解析結果に基づいて、ユーザ８が飲食する飲食分の指標を算出する。飲食する飲食物の指標とは、すなわち摂取カロリーや、摂取する栄養成分の質量を示す指標である。
　飲食指標比較部１０ｉは、飲食指標算出部１０ｈにより算出された飲食指標を、所定値と比較する。所定値とは、例えば１日の摂取カロリー上限値、１日の摂取栄養成分上限値等である。
　通知制御部１０ｅは、飲食指標算出部１０ｈにより算出された飲食指標や飲食指標比較部１０ｉによる比較結果をユーザ８に通知するよう、表示制御部１７または音声制御部１８に指示を出す。
　以上、ＨＭＤ１の主制御部１０’の機能構成について具体的に説明した。続いて、料理の調理指標に基づいて飲食時に料理のカロリーや栄養成分をユーザに通知する場合の動作処理について、図９を参照して説明する。
　　＜４－２．飲食指標の通知処理＞
　図９は、調理指標を用いて飲食時に飲食指標の通知を行う際の動作処理を示すフローチャートである。図９に示すように、まず、ステップＳ２０３において、ＨＭＤ１は、撮像部３により飲食時の撮影を開始する。ここで、ユーザ８が飲食した量を飲食指標ＡＥとする。飲食指標ＡＥは、摂取カロリーや摂取した栄養成分の質量を示す。
　次に、ステップＳ２０６において、ＨＭＤ１の主制御部１０’は、飲食開始時に、飲食指標ＡＥ＝０と認識する。
　次いで、ステップＳ２０９において、主制御部１０’の料理判別部１０ｆは、撮像部３により撮像された撮像画像の解析結果に基づいて料理の数を判別し、調理指標取得部１０ｇは、各料理の調理指標Ａを取得する。料理判別部１０ｆは、料理の数を判別した際、各料理にナンバーを振ってもよい。また、調理指標取得部１０ｇは、例えば料理がナンバー１～５の５つある場合、各料理の調理指標Ａ１～Ａ５を取得する。
　次に、ステップＳ２１２において、飲食指標算出部１０ｈは、撮像部３により撮像された撮像画像の解析結果に基づいて、ユーザ８が現在飲食している料理のナンバーｉを特定し、当該料理の調理指標Ａｉを、摂取した飲食指標ＡＥｉとして積算する。すなわち、飲食指標算出部１０ｈは、飲食指標ＡＥ（現在値）＝ＡＥｉ（今回摂取した飲食指標）として算出し、また、摂取した飲食指標ＡＥｉが追加飲食の場合は、飲食指標ＡＥ（現在値）＝ＡＥ（前回までの積算した飲食指標）＋ＡＥｉ（今回摂取した飲食指標）として算出する。
　次いで、ステップＳ２１５において、主制御部１０の通知制御部１０ｅは、飲食指標算出部１０ｈにより算出された飲食指標ＡＥの現在値を表示部２に表示するよう表示制御部１７に指示を出す。または、飲食指標比較部１０ｉにより現在の飲食指標ＡＥと所定値（摂取上限値）が比較された場合、通知制御部１０ｅは、比較結果（上限値に対する飲食指標ＡＥの現在値の割合；Ｑ％）を表示部２に表示するよう表示制御部１７に指示を出してもよい。摂取上限値は、例えば１日の摂取カロリー上限値や、１週間の摂取カロリー上限値、１日のコレステロール上限値等である。また、このような上限値は、ユーザの医療情報や健康情報に基づいて設定されていてもよい。
　続いて、ステップＳ２１８において、通知制御部１０ｅは、上記Ｑ％（摂取上限値に対する飲食指標ＡＥの現在値の割合）が、９０％以上か否かを判断する。
　９０％を下回る場合（Ｓ２１８／Ｎｏ）、ステップＳ２２１において、通知制御部１０ｅは、Ｑ％を通常表示するよう制御する。
　一方、９０％以上の場合（Ｓ２１８／Ｙｅｓ）、ステップＳ２２４において、通知制御部１０ｅは、Ｑ％が、１００＋ａ（アルファ）％以上か否かを判断する。すなわち、通知制御部１０ｅは、飲食指標ＡＥの現在値が、摂取上限値＋ａ（アルファ）を超えたか否かを判断する。
　１００＋ａ％を下回る場合（Ｓ２２４／Ｎｏ）、ステップＳ２３０において、通知制御部１０ｅは、表示部２からの警告表示または音声出力部５からの警告アナウンスを行うよう表示制御部１７または音声制御部１８に指示する。これにより、ＨＭＤ１は、飲食指標ＡＥの現在値が９０～１００＋ａ％の間の場合に、ユーザに対して警告を行うことができる。
　一方、１００＋ａ％以上の場合（Ｓ２２４／Ｙｅｓ）、ステップＳ２２７において、通知制御部１０ｅは、表示部２からのストップ表示または音声出力部５からのストップアナウンスを行うよう表示制御部１７または音声制御部１８に指示する。
　ストップ通知（禁止通知）は、警告通知よりも注意レベルが高く、例えば通知制御部１０ｅは「飲食禁止」と大きく表示部２に表示させたり、飲食を止めるまで音声出力部５から警告音を出力させたりする。
　そして、ステップＳ２３３において、主制御部１０’は、追加飲食があるか否かを判断する。例えば、撮像レンズ３ａにより撮像された撮像画像に基づいて、ユーザ８が飲食を継続しようとする動作が抽出された場合に、追加飲食ありと判断されてもよい。
　追加飲食がある場合（Ｓ２３３／Ｙｅｓ）、ステップＳ２１２において、飲食指標算出部１０ｈは、追加飲食する料理ｉの調理指標Ａｉに基づいて、飲食指標ＡＥ（現在値）＝ＡＥ（前回までの積算した飲食指標）＋ＡＥｉ（今回摂取した飲食指標）として算出する。以下、上記Ｓ２１５～Ｓ２３３が繰り返される。
　追加飲食がない場合（Ｓ２３３／Ｎｏ）、飲食終了と判断し、飲食指標の通知処理が終了する。
　　＜＜５．まとめ＞＞
　上述したように、本実施形態によるＨＭＤ１では、調理過程において指標を算出し、調理中にリアルタイムで調理指標をユーザに通知することができる。また調理指標は、料理の調理方法に応じて変換され得る。
　また、ＨＭＤ１は、現在の調理指標を、所定値と比較した比較結果に基づく警告通知や禁止通知、所定値に対する調理指標の現在値の割合の通知等を行うこともできる。
　さらに、ＨＭＤ１は、調理過程を継続的に観察して調理対象の食材や調理に使用された調味料の各調理指標を算出し、算出した調理指標を蓄積していくので、出来上がった料理のより正確な調理指標を生成することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、ＨＭＤ１に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、上述したＨＭＤ１の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、上記各実施形態では、情報処理装置の一例としてＨＭＤ１を用いたが、本実施形態による情報処理装置はＨＭＤ１に限定されず、例えば、スマートフォンおよび眼鏡型ディスプレイから形成される表示制御システムであってもよい。スマートフォン（情報処理装置）は、眼鏡型ディスプレイと無線／有線により接続可能であって、データの送受信を行うことができる。
　ここで、眼鏡型ディスプレイとは、図１に示すＨＭＤ１と同様に、両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを有し、両耳殻にかけられることでユーザに装着される。また、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部が配置される構成とされている。ＨＭＤ１は表示部２の液晶パネルの透過率を制御することで、スルー状態、即ち透明または半透明の状態にできるので、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
　また、眼鏡型ディスプレイには、図１に示すＨＭＤ１と同様に、装着状態において、ユーザの視線方向を撮像するための撮像レンズが設けられ、眼鏡型ディスプレイは、撮像した画像をスマートフォン（情報処理装置）に送信する。
　スマートフォン（情報処理装置）は、主制御部１０と同様の機能を有し、撮像画像から調理対象の食材や調味料の使用量を推定し、推定した調理指標を示す調理指標表示画像を生成する。そして、スマートフォン（情報処理装置）は、生成した調理指標表示画像を眼鏡型ディスプレイに送信し、眼鏡型ディスプレイの表示部に、調理指標表示画像が表示される。
　また、眼鏡型ディスプレイと形状は類似しているが表示機能を有しない眼鏡型装置への適用も考えられる。この場合、眼鏡型装置に設けられた、装着者（ユーザ）の視線方向を撮影するカメラにより調理過程を撮像し、撮像画像がスマートフォン（情報処理装置）に送信される。そして、スマートフォン（情報処理装置）は、撮像画像に写る調理過程に基づいて調理指標を示す調理指標表示画像を生成し、スマートフォンの表示部に表示する。
　さらに、上述した実施形態では、ＨＭＤ１の撮像画像解析部１３による撮像画像の解析結果に基づいて、使用量推定部１０ａが食材や調味料の使用量を判別したり、調理方法特定部１０ｂが調理方法を特定したりする旨を記載したが、かかる撮像画像の解析処理はクラウド上で行われてもよい。ＨＭＤ１は、通信部２１を介して調理過程の撮像画像をクラウド上に送り、クラウド上（例えば解析用サーバ）で解析された結果を受信し、これに基づいて使用量推定部１０ａや調理方法特定部１０ｂにより、使用量の推定や調理方法の特定を行う。
　なお、本技術は以下のような構成も取ることができる。
（１）
　センサにより検出された信号に基づいて、調理対象の食材および調理に使用する調味料の少なくともいずれかの使用量を推定する推定部と、
　前記推定部による推定結果に応じて、所定の調理指標を算出する指標算出部と、
　前記指標算出部により算出された調理指標を通知するよう制御する通知制御部と、
を備える、情報処理装置。
（２）
　前記情報処理装置は、調理方法を特定する調理方法特定部をさらに備え、
　前記指標算出部は、前記調理方法特定部により特定された調理方法に応じて、前記算出した調理指標を変換する、前記（１）に記載の情報処理装置。
（３）
　前記情報処理装置は、前記通知制御部による制御に従って前記調理指標を表示する表示部をさらに備える、前記（１）または（２）に記載の情報処理装置。
（４）
　前記指標算出部は、算出した調理指標を積算する、前記（１）～（３）のいずれか１項に記載の情報処理装置。
（５）
　前記通知制御部は、前記指標算出部により算出された調理指標が所定値付近に達した場合、ユーザに対して警告通知を行うよう制御する、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（６）
　前記所定値は、限界指標であって、
　前記積算された料理指標は、複数の限界指標と比較される、前記（５）に記載の情報処理装置。
（７）
　前記複数の限界指標は、健康を優先した所定の値および好みを優先した所定の値を含む、前記（６）に記載の情報処理装置。
（８）
　前記通知制御部は、前記指標算出部により積算された調理指標と調理完成時の所定値の比較結果に応じて、ユーザに対して警告通知を行うよう制御する、前記（４）に記載の情報処理装置。
（９）
　前記調理指標は、前記調理対象の食材または前記調味料の質量または熱量の値である、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
　前記質量または熱量の値は、栄養成分毎の質量または熱量の値である、前記（９）に記載の情報処理装置。
（１１）
　前記センサは、濃度センサ、撮像センサ、または匂いセンサである、前記（１）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
　前記情報処理装置は、頭部装着型または眼鏡型のヘッドマウントディスプレイである、前記（１）～（１１）のいずれか１項に記載の情報処理装置。
（１３）
　前記情報処理装置は、スマートフォン、携帯電話端末、タブレット端末、ＰＣ、デジタルカメラ、またはデジタルカムコーダである、前記（１）～（１２）のいずれか１項に記載の情報処理装置。
（１４）
　コンピュータに、
　センサにより検出された信号に基づいて、調理対象の食材および調理に使用する調味料の少なくともいずれかの使用量を推定する推定部と、
　前記推定部による推定結果に応じて、所定の調理指標を算出する指標算出部と、
　前記指標算出部により算出された調理指標を通知するよう制御する通知制御部と、
として機能させるためのプログラムが記憶された、記憶媒体。
　１　　ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）
　２　　表示部
　３　　撮像部
　３ａ　　撮像レンズ
　４　　照明部
　４ａ　　発光部
　５　　音声出力部
　６　　音声入力部
　１０、１０’　　主制御部
　１０ａ　　使用量推定部
　１０ｂ　　調理方法特定部
　１０ｃ　　指標算出部
　１０ｄ　　指標比較部
　１０ｅ　　通知制御部
　１０ｆ　　料理判別部
　１０ｇ　　調理指標取得部
　１０ｈ　　飲食指標算出部
　１０ｉ　　飲食指標比較部
　１１　　撮像制御部
　１２　　撮像信号処理部
　１３　　撮像画像解析部
　１４　　照明制御部
　１５　　音声信号処理部
　１７　　表示制御部
　１８　　音声制御部
　２１　　通信部
　２２　　ストレージ部

Claims (14)

  1. 　センサにより検出された信号に基づいて、調理対象の食材および調理に使用する調味料の少なくともいずれかの使用量を推定する推定部と、
    　前記推定部による推定結果に応じて、所定の調理指標を算出する指標算出部と、
    　前記指標算出部により算出された調理指標を通知するよう制御する通知制御部と、
    を備える、情報処理装置。
  2. 　前記情報処理装置は、調理方法を特定する調理方法特定部をさらに備え、
    　前記指標算出部は、前記調理方法特定部により特定された調理方法に応じて、前記算出した調理指標を変換する、請求項１に記載の情報処理装置。
  3. 　前記情報処理装置は、前記通知制御部による制御に従って前記調理指標を表示する表示部をさらに備える、請求項１に記載の情報処理装置。
  4. 　前記指標算出部は、算出した調理指標を積算する、請求項１に記載の情報処理装置。
  5. 　前記通知制御部は、前記指標算出部により算出された調理指標が所定値付近に達した場合、ユーザに対して警告通知を行うよう制御する、請求項１に記載の情報処理装置。
  6. 　前記所定値は、限界指標であって、
    　前記積算された料理指標は、複数の限界指標と比較される、請求項５に記載の情報処理装置。
  7. 　前記複数の限界指標は、健康を優先した所定の値および好みを優先した所定の値を含む、請求項６に記載の情報処理装置。
  8. 　前記通知制御部は、前記指標算出部により積算された調理指標と調理完成時の所定値の比較結果に応じて、ユーザに対して警告通知を行うよう制御する、請求項４に記載の情報処理装置。
  9. 　前記調理指標は、前記調理対象の食材または前記調味料の質量または熱量の値である、請求項１に記載の情報処理装置。
  10. 　前記質量または熱量の値は、栄養成分毎の質量または熱量の値である、請求項９に記載の情報処理装置。
  11. 　前記センサは、濃度センサ、撮像センサ、または匂いセンサである、請求項１に記載の情報処理装置。
  12. 　前記情報処理装置は、頭部装着型または眼鏡型のヘッドマウントディスプレイである、請求項１に記載の情報処理装置。
  13. 　前記情報処理装置は、スマートフォン、携帯電話端末、タブレット端末、ＰＣ、デジタルカメラ、またはデジタルカムコーダである、請求項１に記載の情報処理装置。
  14. 　コンピュータに、
    　センサにより検出された信号に基づいて、調理対象の食材および調理に使用する調味料の少なくともいずれかの使用量を推定する推定部と、
    　前記推定部による推定結果に応じて、所定の調理指標を算出する指標算出部と、
    　前記指標算出部により算出された調理指標を通知するよう制御する通知制御部と、
    として機能させるためのプログラムが記憶された、記憶媒体。
PCT/JP2013/083229 2013-02-28 2013-12-11 情報処理装置および記憶媒体 WO2014132521A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP13876421.2A EP2963612B1 (en) 2013-02-28 2013-12-11 Information processing device and storage medium
JP2015502724A JP6299744B2 (ja) 2013-02-28 2013-12-11 情報処理装置および記憶媒体
US14/767,632 US20160005329A1 (en) 2013-02-28 2013-12-11 Information processing device and storage medium
CN201380073632.4A CN105009165A (zh) 2013-02-28 2013-12-11 信息处理装置和存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013039356 2013-02-28
JP2013-039356 2013-02-28

Publications (1)

Publication Number Publication Date
WO2014132521A1 true WO2014132521A1 (ja) 2014-09-04

Family

ID=51427807

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/083229 WO2014132521A1 (ja) 2013-02-28 2013-12-11 情報処理装置および記憶媒体

Country Status (5)

Country Link
US (1) US20160005329A1 (ja)
EP (1) EP2963612B1 (ja)
JP (1) JP6299744B2 (ja)
CN (1) CN105009165A (ja)
WO (1) WO2014132521A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062026A (ja) * 2014-09-19 2016-04-25 株式会社日立ソリューションズ 作業工程学習支援システム
JP2016139356A (ja) * 2015-01-29 2016-08-04 日本電信電話株式会社 調理支援装置、調理支援方法、及び調理支援プログラム
JP2017119103A (ja) * 2015-12-25 2017-07-06 Ｆｕｎｆａｍ株式会社 映像表示機能付き食器システム及び食事関連資材の一つとしての食器
JP2017199296A (ja) * 2016-04-28 2017-11-02 京セラドキュメントソリューションズ株式会社 調理レシピ提供システム
JP6306785B1 (ja) * 2017-07-24 2018-04-04 クックパッド株式会社 情報処理システム、情報処理方法及び情報処理プログラム
JP2018180802A (ja) * 2017-04-10 2018-11-15 大和ハウス工業株式会社 食生活推定システム
WO2020075516A1 (ja) * 2018-10-12 2020-04-16 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP2020166557A (ja) * 2019-03-29 2020-10-08 株式会社エヌ・ティ・ティ・データ 調理支援システム
JP2020177487A (ja) * 2019-04-19 2020-10-29 株式会社Ｌｉｘｉｌ 支援装置及び支援プログラム
KR102200619B1 (ko) * 2019-10-11 2021-01-11 한국생산기술연구원 스마트 음식물 분석 시스템 및, 이를 이용한 분석 방법
WO2021162012A1 (ja) * 2020-02-13 2021-08-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 調理支援方法、調理支援装置、およびプログラム
WO2023281736A1 (ja) * 2021-07-09 2023-01-12 マクセル株式会社 拡張現実表示装置及び拡張現実表示システム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6197366B2 (ja) * 2013-05-23 2017-09-20 ソニー株式会社 情報処理装置及び記憶媒体
US9633504B2 (en) 2013-11-22 2017-04-25 Michael J Kline System, method, and apparatus for purchasing, dispensing, or sampling of products
US9701530B2 (en) 2013-11-22 2017-07-11 Michael J. Kline System, method, and apparatus for purchasing, dispensing, or sampling of products
US9527716B2 (en) 2013-11-22 2016-12-27 Michael J. Kline System, method, and apparatus for purchasing, dispensing, or sampling of products
US10657780B1 (en) 2015-01-29 2020-05-19 Transparensee Llc System, method, and apparatus for mixing, blending, dispensing, monitoring, and labeling products
JP7299292B2 (ja) * 2016-04-19 2023-06-27 マクセル株式会社 作業支援装置
US10303947B2 (en) 2017-01-27 2019-05-28 Panasonic Intellectual Property Management Co., Ltd. Information processing apparatus and information processing method
EP3379475A1 (en) * 2017-03-23 2018-09-26 Panasonic Intellectual Property Management Co., Ltd. Information presentation apparatus and information presentation method
US10482315B2 (en) * 2017-03-28 2019-11-19 Panasonic Intellectual Property Corporation Of America Display apparatus, display method, and non-transitory computer-readable recording medium
CN108509593A (zh) * 2018-03-30 2018-09-07 联想(北京)有限公司 一种显示方法及电子设备、存储介质
JP7013403B2 (ja) 2019-02-20 2022-01-31 Kddi株式会社 食材又は調味料の使用量を推定する情報装置、プログラム及び方法
CN109978351A (zh) * 2019-03-14 2019-07-05 刘强 一种基于图像采集处理的菜品评估系统
CN112006569A (zh) * 2019-05-28 2020-12-01 佛山市南海弘宙木业有限公司 一种智能厨房
US11838144B2 (en) * 2022-01-13 2023-12-05 Whirlpool Corporation Assisted cooking calibration optimizer

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006195943A (ja) 2005-01-14 2006-07-27 Eetekku:Kk ナビゲーションシステム
JP2010033326A (ja) 2008-07-29 2010-02-12 Nec Corp 食事・健康管理システム、方法及びプログラム
JP2011058782A (ja) * 2009-09-14 2011-03-24 Keio Gijuku 調理システム、この調理システムに用いられる調理器具、及び、調理システムセット
JP2011107768A (ja) * 2009-11-12 2011-06-02 Sharp Corp 食行動改善支援システム
JP2011118683A (ja) * 2009-12-03 2011-06-16 Toshiba Tec Corp 調理補助端末及びプログラム
JP2011210119A (ja) * 2010-03-30 2011-10-20 Sony Corp 情報処理装置、画像出力方法及びプログラム
JP2012238106A (ja) * 2011-05-10 2012-12-06 Sharp Corp 食事管理装置および食事管理システム
JP2013114315A (ja) * 2011-11-25 2013-06-10 Sony Corp 画像処理装置、プログラム、画像処理方法及び端末装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020133378A1 (en) * 2000-10-13 2002-09-19 Mault James R. System and method of integrated calorie management
US20060036395A1 (en) * 2004-07-30 2006-02-16 Shaya Steven A Method and apparatus for measuring and controlling food intake of an individual
WO2008091706A1 (en) * 2007-01-25 2008-07-31 Radio Robots Llc Remotely controlled system and method for the preparation of a user-defined food product or beverage
US8419433B2 (en) * 2008-04-15 2013-04-16 International Business Machines Corporation Monitoring recipe preparation using interactive cooking device
US20110318717A1 (en) * 2010-06-23 2011-12-29 Laurent Adamowicz Personalized Food Identification and Nutrition Guidance System
US20120179665A1 (en) * 2011-01-07 2012-07-12 Access Business Group International Llc Health monitoring system
WO2012115297A1 (en) * 2011-02-25 2012-08-30 Lg Electronics Inc. Analysis of food items captured in digital images
US20130004923A1 (en) * 2011-06-10 2013-01-03 Aliphcom Nutrition management method and apparatus for a wellness application using data from a data-capable band
US20140095479A1 (en) * 2012-09-28 2014-04-03 Sherry S. Chang Device, method, and system for recipe recommendation and recipe ingredient management
US9189021B2 (en) * 2012-11-29 2015-11-17 Microsoft Technology Licensing, Llc Wearable food nutrition feedback system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006195943A (ja) 2005-01-14 2006-07-27 Eetekku:Kk ナビゲーションシステム
JP2010033326A (ja) 2008-07-29 2010-02-12 Nec Corp 食事・健康管理システム、方法及びプログラム
JP2011058782A (ja) * 2009-09-14 2011-03-24 Keio Gijuku 調理システム、この調理システムに用いられる調理器具、及び、調理システムセット
JP2011107768A (ja) * 2009-11-12 2011-06-02 Sharp Corp 食行動改善支援システム
JP2011118683A (ja) * 2009-12-03 2011-06-16 Toshiba Tec Corp 調理補助端末及びプログラム
JP2011210119A (ja) * 2010-03-30 2011-10-20 Sony Corp 情報処理装置、画像出力方法及びプログラム
JP2012238106A (ja) * 2011-05-10 2012-12-06 Sharp Corp 食事管理装置および食事管理システム
JP2013114315A (ja) * 2011-11-25 2013-06-10 Sony Corp 画像処理装置、プログラム、画像処理方法及び端末装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2963612A4

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062026A (ja) * 2014-09-19 2016-04-25 株式会社日立ソリューションズ 作業工程学習支援システム
JP2016139356A (ja) * 2015-01-29 2016-08-04 日本電信電話株式会社 調理支援装置、調理支援方法、及び調理支援プログラム
JP6994185B2 (ja) 2015-12-25 2022-01-14 Ｆｕｎｆａｍ株式会社 映像表示機能付き食器システム及び食事関連資材の一つとしての食器
JP2017119103A (ja) * 2015-12-25 2017-07-06 Ｆｕｎｆａｍ株式会社 映像表示機能付き食器システム及び食事関連資材の一つとしての食器
JP2017199296A (ja) * 2016-04-28 2017-11-02 京セラドキュメントソリューションズ株式会社 調理レシピ提供システム
JP2018180802A (ja) * 2017-04-10 2018-11-15 大和ハウス工業株式会社 食生活推定システム
JP6306785B1 (ja) * 2017-07-24 2018-04-04 クックパッド株式会社 情報処理システム、情報処理方法及び情報処理プログラム
JP2019023809A (ja) * 2017-07-24 2019-02-14 クックパッド株式会社 情報処理システム、情報処理方法及び情報処理プログラム
WO2020075516A1 (ja) * 2018-10-12 2020-04-16 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP7409314B2 (ja) 2018-10-12 2024-01-09 ソニーグループ株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP2020166557A (ja) * 2019-03-29 2020-10-08 株式会社エヌ・ティ・ティ・データ 調理支援システム
JP2020177487A (ja) * 2019-04-19 2020-10-29 株式会社Ｌｉｘｉｌ 支援装置及び支援プログラム
JP7316831B2 (ja) 2019-04-19 2023-07-28 株式会社Lixil 支援装置及び支援プログラム
KR102200619B1 (ko) * 2019-10-11 2021-01-11 한국생산기술연구원 스마트 음식물 분석 시스템 및, 이를 이용한 분석 방법
WO2021162012A1 (ja) * 2020-02-13 2021-08-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 調理支援方法、調理支援装置、およびプログラム
WO2023281736A1 (ja) * 2021-07-09 2023-01-12 マクセル株式会社 拡張現実表示装置及び拡張現実表示システム

Also Published As

Publication number Publication date
EP2963612A1 (en) 2016-01-06
US20160005329A1 (en) 2016-01-07
CN105009165A (zh) 2015-10-28
EP2963612B1 (en) 2020-06-24
EP2963612A4 (en) 2016-10-12
JP6299744B2 (ja) 2018-03-28
JPWO2014132521A1 (ja) 2017-02-02

Similar Documents

Publication Publication Date Title
JP6299744B2 (ja) 情報処理装置および記憶媒体
JP6024515B2 (ja) 情報処理装置および記憶媒体
WO2014097706A1 (ja) 表示制御装置および記録媒体
US9799232B2 (en) Information processing apparatus and storage medium
US10458845B2 (en) Mobile device for food identification an quantification using spectroscopy and imaging
US10803315B2 (en) Electronic device and method for processing information associated with food
US9881517B2 (en) Information processing device and storage medium
US20160143582A1 (en) Wearable Food Consumption Monitor
US20150313539A1 (en) Willpower Glasses (TM) -- A Wearable Food Consumption Monitor
US11763437B2 (en) Analyzing apparatus and method, and image capturing system
JP2010061383A (ja) 自動レシピ作成装置およびプログラム
JP2010061381A (ja) 自動レシピ作成装置およびプログラム
US10772559B2 (en) Wearable food consumption monitor
JP6135550B2 (ja) 診断支援装置および診断支援方法
US11462006B2 (en) Systems and methods for monitoring consumption
US11144755B2 (en) Support glint for remote eye tracking
KR20150037108A (ko) 헤드 마운트 디스플레이 및 그 제어 방법
JP2016162124A (ja) 調理法決定方法及び調理法決定装置
JP2016081407A (ja) カロリー情報取得装置、サーバー装置、摂取カロリー監視システムおよびカロリー情報取得方法
WO2015156039A1 (ja) 器官画像撮影装置
Raju Energy Content and Portion Size Estimation Using Sensor-Based Methods
WO2021095767A1 (ja) 情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13876421

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015502724

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14767632

Country of ref document: US

Ref document number: 2013876421

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE