WO2014097706A1 - 表示制御装置および記録媒体 - Google Patents

表示制御装置および記録媒体 Download PDF

Info

Publication number
WO2014097706A1
WO2014097706A1 PCT/JP2013/076408 JP2013076408W WO2014097706A1 WO 2014097706 A1 WO2014097706 A1 WO 2014097706A1 JP 2013076408 W JP2013076408 W JP 2013076408W WO 2014097706 A1 WO2014097706 A1 WO 2014097706A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
food
drink
user
display control
Prior art date
Application number
PCT/JP2013/076408
Other languages
English (en)
French (fr)
Inventor
佐古 曜一郎
隆俊 中村
鎌田 恭則
有希 甲賀
博幸 花谷
智也 大沼
和之 迫田
竹原 充
今 孝安
林 和則
宏平 浅田
一弘 渡邊
丹下 明
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP13865138.5A priority Critical patent/EP2937855A4/en
Priority to CN201380065261.5A priority patent/CN104871236B/zh
Priority to US14/652,428 priority patent/US20150332620A1/en
Priority to JP2014552967A priority patent/JPWO2014097706A1/ja
Publication of WO2014097706A1 publication Critical patent/WO2014097706A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets

Definitions

  • This disclosure relates to a display control device and a recording medium.
  • Patent Document 1 discloses a technique for visually notifying a driver of an approaching situation in a specific display format when another vehicle approaches the host vehicle.
  • Non-Patent Document 1 by operating only the apparent size of food while maintaining the size of the surroundings by augmented reality, the feeling of fullness obtained when eating food is manipulated, Has been proposed a system that can change the amount of meal while maintaining a constant.
  • Non-Patent Document 1 image processing is performed in which only the target food is enlarged or reduced, and the hand holding the food is deformed so as to maintain consistency with the food while maintaining the size.
  • image processing is performed in which only the target food is enlarged or reduced, and the hand holding the food is deformed so as to maintain consistency with the food while maintaining the size.
  • it is necessary to limit how the food is held.
  • image processing for appropriately deforming a hand holding food is difficult when the hand is continuously moving.
  • Non-Patent Document 1 the sense of size of food is perceived to change the feeling of fullness and the food intake is manipulated, but the food intake is manipulated by a method other than changing the size of food. The method is not mentioned. However, in addition to the size of the food, it may be possible to control the food intake by limiting or promoting food intake by changing the appearance of the food, the amount (number), the color, and the like.
  • the present disclosure proposes a new and improved display control device and recording medium capable of controlling a meal by displaying an image in which the appearance of food and drink is changed.
  • a detection unit that detects whether or not an image of food or drink is included in the input image, and an image in which the appearance of the food or drink is changed when the food image is detected by the detection unit.
  • a display control device includes an image generation unit that generates an image and a display control unit that controls to display an image generated by the image generation unit on a display unit.
  • the detection unit that detects whether the input image includes a food image or not
  • the appearance of the food or beverage is detected.
  • a recording medium on which a program for functioning as an image generation unit that generates a changed image and a display control unit that controls to display the image generated by the image generation unit on a display unit is proposed.
  • a meal can be controlled by displaying an image in which the appearance of food and drink is changed.
  • FIG. 5 is a diagram for describing an overview of display control according to an embodiment of the present disclosure.
  • FIG. It is a figure for demonstrating the external appearance of HMD by this embodiment.
  • It is a block diagram which shows the example of an internal structure of HMD shown in FIG.
  • It is a flowchart which shows the display control process by 1st Embodiment.
  • It is a figure which shows an example of the image process by 1st Embodiment.
  • It is a figure which shows the other example of the image processing by 1st Embodiment.
  • It is a flowchart which shows the display control process by 2nd Embodiment.
  • It is a figure which shows an example of the image process for encouraging the prohibition of eating and drinking by 2nd Embodiment.
  • FIG. 1 is a diagram for describing an overview of display control according to an embodiment of the present disclosure. As shown in FIG. 1, display control according to the present embodiment is performed by an HMD (Head Mounted Display) 1 (display control device).
  • HMD Head Mounted Display 1
  • display control device display control device
  • the HMD 1 is a glasses-type wearable device worn by the user P as shown in FIG. In the wearing state, the HMD 1 is configured such that a pair of display units 2 for the left eye and the right eye are disposed immediately before both eyes of the user, that is, where a lens in normal glasses is located.
  • the display unit 2 may be a transmissive type, and the display unit 2 is set to a through state, that is, a transparent or translucent state by the HMD 1, so that the user P always wears the HMD 1 like glasses. There is no hindrance to normal life.
  • Non-Patent Document 1 image processing is performed in which only the target food is enlarged / reduced and deformed so as to maintain consistency with the food while maintaining the size of the hand holding the food.
  • the image processing to be deformed is difficult when the hand is continuously moving.
  • HMD1 display control apparatus
  • by this embodiment displays the image produced
  • FIG. 1 For example, as shown in FIG. 1, when the user P eats, the beverage 49, the salad 48, and the steak 50 that are present in front of the user are photographed with the HMD 1 worn by the user P. And HMD1 detects the image of food and drink from a captured image, produces
  • FIG. 1 shows that when the user P eats, the beverage 49, the salad 48, and the steak 50 that are present in front of the user are photographed with the HMD 1 worn by the user P. And HMD1 detects the image of food and drink from a captured image, produces
  • the HMD 1 may detect an attribute of the food and drink and generate an image in which the appearance of the food and drink is changed based on the detected attribute of the food and drink.
  • the HMD 1 can analyze each image and detect a beverage attribute, a vegetable attribute, and a meat attribute from each image. it can.
  • the user P is on a diet (restricted), for example, by performing image processing to increase the size of the image of the steak 50 in which the meat attribute is detected, the visual effect can exceed the meal amount of the actual steak. Gives you a feeling of fullness and prevents eating too much meat.
  • the HMD 1 changes the steak length L1 to L2 longer than L1 with respect to the image of the steak 50 in which the meat attribute is detected (steak image 50A).
  • the steak image 50B may be an image generated so as to be combined on the image of steak 50 (steak image 50A), or only a difference portion from the steak image 50A is generated so as to be combined around the steak image 50A. It may be an image.
  • the salad image 48A and the beverage image 49A included in the generated image 32 are not subjected to image processing for resizing.
  • the HMD 1 according to the present embodiment is not limited to changing the size of food and drink, but restricts or encourages the intake of food and drink by changing the appearance of the food and drink, the amount (number), color, and the like. Control to do is also possible. Furthermore, the HMD 1 according to the present embodiment may change the appearance of a predetermined food or drink based on whether or not the user is on a diet and based on user information such as the user's health status, allergy information, or biological information. .
  • the configuration of the HMD 1 (display control device) that performs display control according to the present embodiment will be described with reference to FIGS.
  • FIG. 2 is a view for explaining the appearance of the HMD 1 according to the present embodiment.
  • the glasses-type HMD 1 shown in FIG. 2 is also referred to as a see-through HMD, and the display unit 2 can be controlled to be in a transmissive state.
  • the HMD 1 has a mounting unit having a frame structure that, for example, makes a half turn around the head from both sides to the back of the head, and is mounted on the user by being placed on the binaural shell as shown in FIG.
  • the HMD 1 In the wearing state as shown in FIG. 2, the HMD 1 has a pair of left-eye and right-eye display units 2 disposed immediately before the user's eyes, that is, at a position where a lens in normal glasses is located. It is set as the structure.
  • a liquid crystal panel is used for the display unit 2, and the HMD 1 can be in a through state as shown in FIG. 2, that is, in a transparent or translucent state by controlling the transmittance of the liquid crystal panel.
  • the display unit 2 can also display on the display unit 2 a captured image of the real space imaged by the imaging lens 3a.
  • the display unit 2 can also reproduce and display an image generated by the HMD 1, content received from an external device, content stored in the storage medium of the HMD 1, and the like.
  • the imaging lens 3a in the state where the user P is wearing, the imaging lens 3a is arranged facing forward so that the direction viewed by the user is taken as the subject direction. Furthermore, the light emission part 4a which performs illumination with respect to the imaging direction by the imaging lens 3a is provided.
  • the light emitting part 4a is formed by, for example, an LED (Light Emitting Diode).
  • a pair of earphone speakers 5a that can be inserted into the user's right ear hole and left ear hole in the mounted state are provided.
  • microphones 6a and 6b for collecting external sound are arranged on the right side of the display unit 2 for the right eye and on the left side of the display unit 2 for the left eye.
  • the appearance of the HMD 1 shown in FIG. 1 is an example, and there are various possible structures for the user to wear the HMD 1.
  • the HMD 1 may be formed of a wearing unit that is generally a spectacle type or a head-mounted type.
  • the display unit 2 is provided in front of the user's eyes. Good.
  • a pair of display units 2 may be provided corresponding to both eyes, or one display unit 2 may be provided corresponding to one eye.
  • the imaging lens 3 a and the light emitting unit 4 a that performs illumination are disposed forward on the right eye side, but may be disposed on the left eye side or may be disposed on both sides. Good. Furthermore, the imaging lens 3a and the light emitting unit 4a may be arranged not only in the front direction but also in the lateral direction or the rear direction.
  • the earphone speaker 5a may be provided only for wearing only one ear, not the left and right stereo speakers.
  • the microphone may be one of the microphones 6a and 6b.
  • a configuration without the microphones 6a and 6b and the earphone speaker 5a is also conceivable.
  • a configuration in which the light emitting unit 4a is not provided is also conceivable.
  • the HMD 1 is used as an example of the display control device, but the display control device according to the present embodiment is not limited to the HMD 1.
  • the display control apparatus according to the present embodiment may be a smartphone, a mobile phone terminal, a PDA (Personal Digital Assistant), a PC (Personal Computer), a tablet terminal, or the like.
  • FIG. 3 is a block diagram showing an example of the internal configuration of the HMD 1 shown in FIG.
  • the HMD 1 includes a display unit 2, an imaging unit 3, an illumination unit 4, an audio output unit 5, an audio input unit 6, a system controller 10, an imaging control unit 11, a display image processing unit 12, and a display driving unit. 13, display control unit 14, imaging signal processing unit 15, audio signal processing unit 16, image analysis unit 17, illumination control unit 18, storage unit 25, communication unit 26, image input / output control 27, audio input / output control 28, and A speech synthesizer 29 is included.
  • the system controller 10 includes, for example, a microcomputer including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a nonvolatile memory, and an interface unit, and controls each component of the HMD 1.
  • a microcomputer including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a nonvolatile memory, and an interface unit, and controls each component of the HMD 1.
  • the system controller 10 detects a food or drink image from the captured image or detects a food or drink attribute based on the image analysis result by the image analysis unit 17. And function as an operation control unit 10 b that controls the operation of the HMD 1.
  • the detection unit 10a detects an image of food and drink from the captured image based on the image analysis result by the image analysis unit 17. For example, the detection unit 10a can detect an image of food and drink by matching the image analysis result of the captured image with a pattern image for food and drink detection stored in the storage unit 25 in advance. Moreover, the detection part 10a detects the attribute of food and drink based on the detected image of food and drink. For example, the detection unit 10a may detect the attribute of the food and drink by matching the detected food and drink image with a pattern image in which the attribute of the food and drink stored in advance in the storage unit 25 is associated. it can.
  • the operation control unit 10b controls each operation of the HMD1. More specifically, the motion control unit 10b according to the present embodiment changes the appearance of the food or drink according to the attribute or user information of the food or drink when the image of the food or drink is detected from the captured image by the detection unit 10a. It functions as an image generation unit that generates the processed image. Then, the operation control unit 10b instructs the display control unit 14 to display the generated image on the display unit 2.
  • the imaging unit 3 photoelectrically captures imaging light obtained by a lens system including an imaging lens 3a, a diaphragm, a zoom lens, and a focus lens, a drive system that causes the lens system to perform a focus operation and a zoom operation, and the lens system. It has a solid-state image sensor array that generates image signals by conversion.
  • the solid-state imaging device array may be realized by, for example, a CCD (Charge Coupled Device) sensor array or a CMOS (Complementary Metal Oxide Semiconductor) sensor array.
  • the imaging signal processing unit 15 includes a sample hold / AGC (Automatic Gain Control) circuit that performs gain adjustment and waveform shaping on a signal obtained by the solid-state imaging device of the imaging unit 3, and a video A / D (analog / digital) converter. . Thereby, the imaging signal processing unit 15 obtains an imaging signal as digital data.
  • the imaging signal processing unit 15 also performs white balance processing, luminance processing, color signal processing, blur correction processing, and the like on the imaging signal.
  • the imaging control unit 11 controls the operations of the imaging unit 3 and the imaging signal processing unit 15 based on instructions from the system controller 10. For example, the imaging control unit 11 controls on / off of operations of the imaging unit 3 and the imaging signal processing unit 15.
  • the imaging control unit 11 performs control (motor control) for causing the imaging unit 3 to perform operations such as auto focus, automatic exposure adjustment, aperture adjustment, and zoom.
  • the imaging control unit 11 includes a timing generator, and for the solid-state imaging device and the sample hold / AGC circuit of the imaging signal processing unit 15 and the video A / D converter, a signal processing operation is performed by a timing signal generated by the timing generator. To control.
  • the imaging frame rate can be variably controlled by this timing control.
  • the imaging control unit 11 controls imaging sensitivity and signal processing in the solid-state imaging device and the imaging signal processing unit 15. For example, gain control of a signal read from a solid-state image sensor can be performed as imaging sensitivity control, black level setting control, various coefficient control of imaging signal processing in a digital data stage, correction amount control in blur correction processing, and the like can be performed. .
  • An imaging signal (image data obtained by imaging) captured by the imaging unit 3 and processed by the imaging signal processing unit 15 is supplied to the image input / output control 27.
  • the image input / output control 27 controls the transfer of image data in accordance with the control of the system controller 10. That is, the image input / output control 27 controls the transfer of image data among the imaging signal processing unit 15, the display image processing unit 12, the image analysis unit 17, the storage unit 25, and the communication unit 26.
  • the image input / output control 27 performs an operation of supplying image data (captured image) as an imaging signal processed by the imaging signal processing unit 15 to the image analysis unit 17.
  • the display image processing unit 12 is a so-called video processor, for example, and is a part capable of executing various display processes on the supplied image data. For example, brightness level adjustment, color correction, contrast adjustment, sharpness (contour emphasis) adjustment of image data can be performed.
  • the display driving unit 13 includes a pixel driving circuit for displaying the image data supplied from the display image processing unit 12 on the display unit 2 that is a liquid crystal display, for example. That is, a drive signal based on the video signal is applied to each pixel arranged in a matrix in the display unit 2 at a predetermined horizontal / vertical drive timing, and display is executed.
  • the display drive unit 13 can control the transmittance of each pixel of the display unit 2 in accordance with an instruction from the display control unit 14 to put the display unit 2 in a through state.
  • the display control unit 14 controls the processing operation of the display image processing unit 12 and the operation of the display driving unit 13 according to the control of the system controller 10. Specifically, the display control unit 14 controls the display image processing unit 12 to perform the above-described brightness level adjustment of the image data.
  • the display control unit 14 displays, on the display unit 2, an image generated by the operation control unit 10 b (image generation unit) in which the appearance of food and drink has been changed according to the control of the system controller 10.
  • the operation of the display drive unit 13 is controlled so as to display.
  • the audio input unit 6 includes the microphones 6a and 6b shown in FIG. 2 and a microphone amplifier unit and an A / D converter for amplifying the audio signals obtained by the microphones 6a and 6b. Output to the output control 28.
  • the voice input / output control 28 controls the transfer of voice data in accordance with the control of the system controller 10. Specifically, the audio input / output control 28 controls transfer of audio signals among the audio input unit 6, the audio signal processing unit 16, the storage unit 25, and the communication unit 26. For example, the audio input / output control 28 performs an operation of supplying the audio data obtained by the audio input unit 6 to the audio signal processing unit 16, to the storage unit 25, or to the communication unit 26. Further, the audio input / output control 28 performs an operation of supplying audio data reproduced by the storage unit 25 to the audio signal processing unit 16 or supplying it to the communication unit 26, for example. The audio input / output control 28 performs an operation of supplying audio data received by the communication unit 26 to the audio signal processing unit 16 or supplying to the storage unit 25, for example.
  • the audio signal processing unit 16 includes, for example, a digital signal processor, a D / A converter, and the like.
  • the audio signal processing unit 16 is supplied with audio data obtained by the audio input unit 6 and audio data from the storage unit 25 or the communication unit 26 via the audio input / output control 28.
  • the audio signal processing unit 16 performs processing such as volume adjustment, sound quality adjustment, and acoustic effect on the supplied audio data according to the control of the system controller 10.
  • the processed audio data is converted into an analog signal and supplied to the audio output unit 5.
  • the audio signal processing unit 16 is not limited to a configuration that performs digital signal processing, and may perform signal processing using an analog amplifier or an analog filter.
  • the audio output unit 5 includes a pair of earphone speakers 5a shown in FIG. 2 and an amplifier circuit for the earphone speakers 5a. Moreover, the audio
  • the storage unit 25 is a part that records and reproduces data on a predetermined recording medium.
  • the storage unit 25 is realized as an HDD (Hard Disc Drive), for example.
  • various recording media such as a solid-state memory such as a flash memory, a memory card incorporating a fixed memory, an optical disk, a magneto-optical disk, and a hologram memory are conceivable.
  • the storage unit 25 performs recording / reproduction according to the recording medium employed. What is necessary is just to be made the structure which can be performed.
  • image data captured image
  • image capturing unit 3 image signal captured by the image capturing unit 3 and processed by the image capturing signal processing unit 15, and the appearance of food and drink generated by the operation control unit 10b are changed.
  • Image data or the like is supplied via the image input / output control 27.
  • audio data obtained by the audio input unit 6 and audio data received by the communication unit 26 are supplied to the storage unit 25 via the audio input / output control 28.
  • the communication unit 26 transmits / receives data to / from an external device.
  • the communication unit 26 is an example of a configuration for acquiring outside world information.
  • the communication unit 26 uses a method such as a wireless LAN (Local Area Network), Wi-Fi (registered trademark, Wireless Fidelity), infrared communication, Bluetooth (Bluetooth, registered trademark), etc., directly with an external device or as a network access point. Via wireless communication.
  • the voice synthesizer 29 performs voice synthesis under the control of the system controller 10 and outputs a voice signal.
  • the audio signal output from the audio synthesis unit 29 is supplied to the audio signal processing unit 16 via the audio input / output control 28 and processed, and then supplied to the audio output unit 5 and output to the user as audio. .
  • the illumination unit 4 includes a light emitting unit 4a shown in FIG. 2 and a light emitting circuit that emits light from the light emitting unit 4a (for example, LED).
  • the illumination control unit 18 causes the illumination unit 4 to perform a light emission operation according to the control of the system controller 10. Since the light emitting unit 4a in the illuminating unit 4 is attached to illuminate the front as shown in FIG. 2, the illuminating unit 4 performs an illuminating operation with respect to the user's visual field direction.
  • the image analysis unit 17 is an example of a configuration for acquiring outside world information. Specifically, the image analysis unit 17 analyzes the image data and obtains image information included in the image data. Image data is supplied to the image analysis unit 17 via the image input / output control 27.
  • the image data to be subjected to image analysis in the image analysis unit 17 is image data as a captured image obtained by the imaging unit 3 and the imaging signal processing unit 15, image data received by the communication unit 26, or a storage unit. 25 is image data reproduced from the recording medium.
  • the image analysis unit 17 analyzes the captured image (image data) obtained by the imaging signal processing unit 15 and performs point detection, line / contour detection, region division, and the like, and the image analysis result is transmitted to the system controller 10. To the detection unit 10a.
  • the internal configuration of the HMD 1 according to the present embodiment has been described in detail above.
  • combination part 29 were shown as a structure of an audio system, these do not necessarily need to provide all.
  • the communication part 26 was shown as a structure of HMD1, it is not necessary to necessarily provide.
  • the HMD 1 can control the user P's meal by causing the display unit 2 to display an image generated by changing the appearance of the food and drink in the captured image captured by the imaging unit 3 in real time.
  • the display unit 2 can display an image generated by changing the appearance of the food and drink in the captured image captured by the imaging unit 3 in real time.
  • HMD1 produces
  • the display control according to the first embodiment will be specifically described below with reference to FIGS.
  • FIG. 4 is a flowchart showing display control processing according to the first embodiment.
  • step S ⁇ b> 103 of FIG. 4 the HMD 1 attached to the user P images food and drinks in the line of sight of the user P by the imaging unit 3.
  • step S106 the detection unit 10a detects the image of the food and drink and the attribute of the food and drink from the captured image.
  • the motion control unit 10b has a case where the attribute of the food and drink detected by the detection unit 10a corresponds to a preset attribute of food and drink that is not good for health or when the user P is on a diet. Judge whether there is. Whether or not the user P is dieting can be determined by whether or not the diet mode is set by a user operation. When the user P is on a diet, the operation control unit 10b further determines whether or not the attribute of the food or drink detected by the detection unit 10a corresponds to the attribute of the food or drink to be controlled.
  • the operation control part 10b displays the image captured by the imaging unit 3 on the display unit 2 in real time as it is, or controls the display unit 2 to be in a transmissive state.
  • the operation control unit 10b determines the appearance of the food / drink. change. Specifically, in step S112, the operation control unit 10b (image generation unit) suppresses image processing or appetite for giving a sense of fullness greater than the actual meal amount to the detected food and drink image. Image processing is performed.
  • Image processing for giving a feeling of fullness that exceeds the actual amount of meal is, for example, image processing for increasing the amount of food or drink or increasing the size.
  • the image processing for suppressing appetite is image processing for changing the color and texture of food and drink to a predetermined color and texture for suppressing appetite.
  • FIG. 5 and FIG. 6 a specific example of image processing for increasing the amount of food or drink or increasing the size will be described as image processing for giving a fullness more than the actual amount of meal. .
  • FIG. 5 is an example of an image generated by performing image processing for increasing the size of the cookie when the user holds the cookie.
  • the operation control unit 10b image generation unit
  • the cookie image 35B changed to the long L5 is generated.
  • the operation control unit 10b image generation unit
  • the cookie image 35C changed to T5 thicker than T4 is generated.
  • FIG. 6 is a diagram showing an example of an image generated by changing to increase the amount of rice when rice is served in the bowl.
  • the operation control unit 10b image generation unit
  • the detection unit 10a detects an image of an object placed around the food and drink from the captured image, and the motion control unit 10b does not change the appearance of the detected object and the food and drink.
  • the objects arranged around the food and drink include tableware such as a plate and chopsticks, and a table in addition to a teacup as shown in FIG.
  • the motion control unit 10b may generate an image in which the appearance of the tableware containing the food and drink is changed together with the food and drink detected by the detection unit 10a.
  • the operation control unit 10b image generation unit
  • the operation control unit 10b may generate an image 42B that is changed so as to enlarge the image 42A including rice and teacups.
  • HMD1 produces
  • FIG. 7 is a flowchart showing display control processing according to the second embodiment.
  • the operation control unit 10b acquires user information.
  • the user information is, for example, the user's biological information (height, weight, sweating amount, heart rate, pulse rate, blood component information), information indicating health status (information about the disease currently suffering, etc.), preference information about food and drink (Preferred taste, etc.), eating and drinking prohibition or eating restriction information regarding the user's food and drink, calorie intake information, user's salt intake information, user's lipid intake information, user's sugar intake information, user's alcohol intake information, or allergies Information etc.
  • These pieces of user information may be acquired from user information registered in advance in the storage unit 25, may be acquired from user information registered in advance in an external device via the communication unit 26, or attached to the user. It may be detected and acquired in real time from the various sensors.
  • the operation control unit 10b determines whether the user is a healthy body based on the acquired user information. For example, when the abnormal value is not detected with reference to the biological information of the user, when the disease information is not included in the information indicating the health state, or when there is no allergy information regarding food and drink, the operation control unit 10b Judged to be healthy. In addition, when an abnormal value is detected with reference to the biological information of the user, when the disease information is included in the information indicating the health condition, or when there is allergy information related to food and drink, the operation control unit 10b Judged not healthy.
  • step S129 the operation control unit 10b is prohibited from eating or drinking based on the user information, or eating or drinking is not preferable.
  • Get special information about food and drink the operation control unit 10b may extract special information from user information, or may acquire corresponding special information from the storage unit 25 or an external device based on the user information. For example, when it is found from the user information that the user has diabetes or hyperlipidemia, the operation control unit 10b is prohibited from eating or drinking during the diabetes or hyperlipidemia or eating and drinking is not preferable. Food and drink are extracted as special information.
  • step S ⁇ b> 132 the food and drink in the direction of the line of sight of the user P is imaged by the imaging unit 3.
  • step S135 the detection unit 10a detects an image of food and drink from the captured image. At this time, the detection unit 10a may also detect the attributes of the food and drink.
  • step S138 the operation control unit 10b determines whether the food or drink image detected by the detection unit 10a is a food or drink image related to the special information. In other words, the operation control unit 10b determines whether food or drink that is prohibited from eating or drinking is included in the captured image.
  • step S141 the operation control unit 10b generates an image in which the appearance of the food and drink related to the special information is changed to the display unit. 2 and prompts the food and drink prohibition.
  • FIG. 8 shows an example of image processing for encouraging eating and drinking prohibition.
  • the operation control unit 10 b may superimpose and display a prohibition mark 46 on the captured alcoholic beverage image 45 ⁇ / b> A.
  • movement control part 10b may produce
  • steps S103 to S115 the processing of the same steps (S103 to S115) described above with reference to FIG. 4 is performed.
  • the operation control unit 10b proceeds to step S109. Perform the process shown. That is, the operation control unit 10b determines whether or not the attribute of the food or drink detected by the detection unit 10a corresponds to a preset attribute of food or drink that is not good for health, or whether the user P is on a diet. to decide. Then, the operation control unit 10b performs processing shown in S112 to S115 (processing shown in the same step described above with reference to FIG. 4) according to the determination result.
  • HMD1 can produce
  • the operation control unit 10b may refer to the user information when changing the appearance of the food or drink corresponding to the condition shown in S109 in S112.
  • the operation control unit 10b refers to the user's preference information, performs display control so as to increase the amount of foods and drinks that the user likes, and more effectively feels fullness and satisfaction due to visual effects. Can be given.
  • the operation control unit 10b refers to the user's calorie intake information, and the food and drink that is assumed to have calories exceeding the daily calorie intake required.
  • image processing for suppressing appetite may be performed.
  • HMD1 performs the display control which changes an external appearance with respect to the some food / beverage detected by the detection part 10a according to the attribute of each food / beverage.
  • display control according to the third embodiment will be specifically described with reference to FIGS.
  • FIG. 9 is a flowchart showing display control processing according to the third embodiment.
  • the HMD 1 images the entire table (plate) including a plurality of foods and drinks by the imaging unit 3.
  • step S156 the detection unit 10a individually detects a plurality of food and drink images from the captured image. At this time, the detection unit 10a may also detect attributes of a plurality of foods and drinks.
  • step S159 the operation control unit 10b numbers the detected food and drink and counts the total number N. For example, as shown in FIG. 10, when the salad image 48A, the beverage image 49A, and the steak image 50A are detected from the captured image 30, the operation control unit 10b sets “1” for the salad image 48A and “2” for the beverage image 49A. ”,“ 3 ”is assigned to the steak image 50A, and the total number“ 3 ”is counted.
  • step S171 the operation control unit 10b normally displays an image of the food and drink n, that is, in a state of taking an image without changing the appearance.
  • the display unit 2 is controlled to display. For example, if it is determined that the attribute of the captured salad image 48A does not correspond to any of the above, as shown in FIG. 10, the image 32 displayed on the display unit 2 has a salad image whose appearance is not changed. 48A is included.
  • step S174 the operation control unit 10b determines whether the currently set “n” is smaller than the total number “N”.
  • the motion control unit 10b has an attribute of the food / drink that is not good for the health set in advance for the beverage image 49A numbered “2”. It is judged whether it falls under the attribute of food or drink or the attribute of food or drink subject to moderation.
  • step S168 the operation control unit 10b changes the appearance of the food. Specifically, the operation control unit 10b (image generation unit) performs image processing for giving a sense of fullness greater than the actual amount of meal to the detected food image or image processing for suppressing appetite. I do.
  • the operation control unit 10 b sets the height of the glass containing the beverage to the beverage image 49 ⁇ / b> A of the captured image 30 as illustrated in FIG. 10.
  • the beverage image 49B changed to T9 higher than the height T8 is generated.
  • the glass is displayed larger than the actual size, and if it is a transparent glass, the display is enlarged to increase the amount of contents while increasing the size of the glass. A feeling of fullness exceeding the amount can be given.
  • the beverage image 49B is changed to have a higher height, not a glass width, so there is no need to perform image processing such as deforming the user's hand holding the glass.
  • the operation control unit 10b sets the length of the steak to the length L1 of the steak image 50A of the captured image 30, as shown in FIG. A steak image 50B changed to a longer L2 is generated.
  • HMD1 changes an external appearance based on the attribute for every food and drink, and controls a user's meal also when the image of several food and drink is detected from a captured image. Can do.
  • FIG. 11 is a flowchart showing display control processing according to the fourth embodiment.
  • the operation control unit 10b of the HMD 1 determines whether or not the meal mode is set.
  • step S189 the HMD 1 detects the user's line of sight.
  • the line-of-sight detection is performed, for example, based on the analysis result of the image analysis unit 17 on the captured image captured by the imaging lens (not shown) provided in the HMD 1 toward the inside so as to capture the user's eyes when the HMD 1 is mounted. It is detected by the control unit 10b. Specifically, the motion control unit 10b can determine where the user is looking (the line of sight) by tracking the movement of the pupil of the captured user's eye and calculating the direction of the line of sight. it can.
  • step S192 the detection unit 10a specifies the food or drink that the user is viewing based on the line-of-sight detection result obtained by the operation control unit 10b and the captured image of the food or drink captured by the imaging unit 3. Moreover, the detection part 10a detects the attribute of the food / beverage specified together.
  • step S195 the motion control unit 10b determines in advance that the attribute of the food and drink specified by the detection unit 10a is the preset attribute of the food and drink that is not good for health, or when the user P is on a diet. It is judged whether it corresponds to the attribute of the food / beverage which is set to be restricted.
  • step S198 the operation control unit 10b generates an image in which the appearance of the specified food and drink is changed and displays the image on the display unit 2. Specifically, the operation control unit 10b changes the color and texture of the specified food and drink to reduce the appetite and image processing to increase the specified food and drink to give a feeling of fullness greater than the actual amount of meal. Perform image processing.
  • the operation control unit 10b changes the glass height T8 of the beverage image 49A to T9 higher than T8.
  • An image 49B is generated and displayed.
  • the operation control unit 10b changes the steak length L1 of the steak image 50A to L2 longer than L1.
  • the prepared steak image 50B is generated and displayed.
  • the display of the line-of-sight direction 53 shown in the images 52 and 54 in FIG. 12 is shown for convenience of explanation, and is not necessarily displayed on the display unit 2.
  • the operation control unit 10b according to the present embodiment can control the display of the line-of-sight direction 53 to be displayed or hidden according to the setting.
  • HMD1 produces
  • the user's satiety and intake can be controlled.
  • the process of changing the appearance is also performed for food and drink other than the food and drink related to the special information (S109 to S112 shown in FIG. 7). ) May be referred to, but the display control according to the present disclosure is not limited to this.
  • the HMD 1 may perform display control so that only the food and drink related to the special information acquired from the user information is changed.
  • the display control according to the fifth embodiment will be specifically described with reference to FIG.
  • FIG. 13 is a flowchart showing display control processing according to the fifth embodiment.
  • the operation control unit 10b acquires user information.
  • step S216 the operation control unit 10b determines whether the user is a healthy body based on the acquired user information.
  • step S219 when it is determined that the user is not a healthy body (S216 / No), in step S219, the operation control unit 10b is prohibited from eating or drinking based on the user information, or is not preferable to eat or drink. Get special information about food and drink.
  • step S222 the imaging unit 3 images food and drink in the direction of the user's line of sight.
  • step S225 the detection unit 10a detects an image of food and drink related to the special information from the captured image. That is, the operation control unit 10b detects, from the captured image, an image of food or drink for which food or drink is prohibited or food or drink is not preferable.
  • step S231 the operation control unit 10b generates an image in which the appearance of the food and drink related to the special information is changed. Displayed on the display unit 2 to urge the food and drink to be prohibited.
  • the operation control unit 10b is the imaging unit 3.
  • the image picked up by the above is displayed on the display unit 2 in real time as it is, or the display unit 2 is controlled to be in a transmissive state.
  • display control can be performed so that only the food and drink related to the special information acquired from the user information is changed.
  • the HMD 1 performs display control in which the imaging unit 3 captures food and drink that actually exists in front of the user and changes the appearance of the food and drink reflected in the captured image. Is going.
  • the display control according to the present disclosure is not limited to this, and the HMD 1 can change the appearance of the food and drink even when the imaging unit 3 captures the food and drink (photo) presented on the paper medium or the electronic medium. It is also possible to control to change and display on the display unit 2.
  • display control according to the sixth embodiment in which the process of changing the appearance of food and drink photos as described above is specifically described with reference to FIGS.
  • FIG. 14 is a diagram for explaining an overview of display control according to the sixth embodiment.
  • the HMD 1 according to the present embodiment captures a menu image 710 of food and drink that the user is looking at with an imaging lens 3 a provided facing outward so as to capture the user's line-of-sight direction.
  • the menu image 710 is displayed on the display unit 71 of the tablet-type electronic terminal 70.
  • the menu image 710 includes photos of steaks, omelets, and salads as examples of menus.
  • HMD1 by this embodiment displays the image which changed the external appearance of the food and drink contained in the menu image 710 imaged with the imaging lens 3a according to the attribute of food and drink on the display part 2.
  • FIG. 15 shows an example of an image in which the appearance of the food and drink included in the menu image 710 is changed according to the attribute of the food and drink.
  • the image 55 illustrated in FIG. 15 is generated by the operation control unit 10b of the HMD 1 by changing the appearance of the food and drink according to the attribute of the food and drink detected from the captured image obtained by capturing the menu image 710 by the detection unit 10a. It is an image.
  • the HMD 1 displays the image 55 generated in this way on the display unit 2.
  • the operation control unit 10 b displays the steak image 56 ⁇ / b> A so as to refrain from ordering steak (to suppress appetite for steak).
  • a reduced steak image 56B is generated.
  • the operation control unit 10b prompts the order of the omelet (to produce a good feeling) ), An omelette image 57B is generated by enlarging the omelette image 57A. Furthermore, when the salad does not correspond to any of the pre-registered foods that are not good for health and foods subject to moderation, the operation control unit 10b prompts the order of salads (to produce a good feeling) ), A salad image 58B with a larger salad image 58A is generated.
  • the HMD 1 when ordering food at a restaurant or the like, the HMD 1 is a food or drink listed on the menu so as to refrain from ordering if the user is on a diet or is unhealthy food or drink The appearance can be changed. Moreover, HMD1 can change the external appearance of the food / beverage displayed on the menu so that order for food / beverage that is good for health may be urged.
  • the meal can be controlled by changing the appearance of the food or drink that the user is trying to eat in real time.
  • HMD1 by this embodiment can give the feeling of fullness more than an actual meal amount by visual effect by enlarging the size and quantity of food and drink.
  • the HMD 1 can restrict the intake of predetermined food and drink without stress by changing the color and texture of food and drink to a predetermined color and texture for suppressing appetite.
  • a computer program for causing hardware such as a CPU, ROM, and RAM incorporated in the HMD 1 to exhibit the functions of the HMD 1 described above.
  • a computer-readable storage medium storing the computer program is also provided.
  • the HMD 1 when the HMD 1 according to the present embodiment has a function of generating a predetermined odor, in addition to the change in the appearance of the food and drink described above, it is also possible to control the meal by the odor. For example, when the user is on a diet or when the user is trying to eat food or drink that is not healthy, the HMD 1 generates a grapefruit scent, a scent of cherries, or a cedarwood scent as a scent that suppresses appetite Let
  • HMD1 by this embodiment also displays the quantity of the food / beverage in the produced
  • the operation control unit 10b of the HMD 1 when the operation control unit 10b of the HMD 1 generates an image that has been changed so as to increase the amount of food and drink, the generated image displayed on the display unit 2 is reduced more than the amount that the actual food and drink is reduced. Display control may be performed. Moreover, when the operation control part 10b of HMD1 produced
  • the HMD 1 is used as an example of the display control device.
  • the display control device according to the present embodiment is not limited to the HMD 1, and is, for example, a display control system formed from a smartphone and a glasses-type display. May be.
  • a smartphone display control device
  • the eyeglass-type display has a mounting unit having a frame structure that circulates from the heads of both sides to the back of the head and is worn by the user by being put on the ear shells.
  • a pair of display units for the left eye and the right eye are arranged immediately before the user's eyes, that is, at a position where a lens in normal glasses is located.
  • the HMD 1 can be in a through state, that is, a transparent or translucent state by controlling the transmittance of the liquid crystal panel of the display unit 2, so that even if the user always wears it like glasses, it interferes with normal life. There is no.
  • the eyeglass-type display is provided with an imaging lens for taking an image of the user's line-of-sight direction in the mounted state, similar to the HMD 1 shown in FIG. 2, and the eyeglass-type display displays the captured image on a smartphone (display control device). ).
  • the smartphone has the same functions as the detection unit 10a and the operation control unit 10b, detects an image and attribute of food and drink from the captured image, and depending on the attribute and user information of the food and drink Generate an image with a modified appearance.
  • the smartphone transmits the generated image to the glasses-type display, and an image in which the appearance of the food or drink is changed is displayed on the display unit of the glasses-type display.
  • a spectacle-type device that is similar in shape to the spectacle-type display but does not have a display function.
  • food and drink are imaged by a camera provided in the eyeglass-type device that captures the line-of-sight direction of the wearer (user), and the captured image is transmitted to the smartphone (display control device).
  • a smart phone display control device
  • a smart phone generates the picture which changed the appearance of food and drink according to the attribute and user information of food and drink which appear in a captured image, and displays it on the display part of a smart phone.
  • this technique can also take the following structures.
  • the detection unit further detects an attribute of the food and drink,
  • the said image generation part is a display control apparatus as described in said (1) which produces
  • the detection unit detects attributes of the plurality of foods and drinks detected from the input image
  • the said image generation part is a display control apparatus as described in said (1) which produces
  • the image generation unit increases the amount of the food or drink when the attribute of the food or drink corresponds to a preset attribute of food or drink that is not good for health or the attribute of food or drink targeted for moderation.
  • the display control device according to (2) or (3), wherein the display control device generates an image that is increased in size or has a color and texture that are changed to a predetermined color and texture for suppressing appetite.
  • the display control device according to any one of (2) to (4), wherein the image generation unit further generates an image in which an appearance of the food or drink is changed based on user information.
  • the user information includes user biometric information, user health information, preference information about the user's food and drink, eating and drinking prohibition or restriction information on the user's food and drink, user's calorie intake information, user's salt intake information,
  • the display control device which is at least one of user lipid intake information, user sugar intake information, user alcohol intake information, and user allergy information.
  • the image generation unit generates an image in which an appearance of the food or drink is changed based on user information.
  • the user information includes user biometric information, user health information, preference information about the user's food and drink, eating and drinking prohibition or restriction information on the user's food and drink, user's calorie intake information, user's salt intake information,
  • the display control device which is at least one of user lipid intake information, user sugar intake information, user alcohol intake information, and user allergy information.
  • the detection unit detects an image of food or drink from which the user is prohibited or restricted from the input image based on user information,
  • the image generating unit generates the image that is changed so as to urge the prohibition or restriction of food or drink for which food or drink is prohibited or restricted, according to any one of (1) to (5). Display controller.
  • the user information includes user biometric information, user health information, preference information about the user's food and drink, eating and drinking prohibition or restriction information on the user's food and drink, user's calorie intake information, user's salt intake information,
  • the display control device which is at least one of user lipid intake information, user sugar intake information, user alcohol intake information, and user allergy information.
  • the display control apparatus according to any one of (1) to (10), wherein the input image is a captured image captured in real time by an imaging unit.
  • the said control image is a display control apparatus as described in said (11) which is a captured image which imaged the food and drink which exist in real space.
  • the display control device according to (11), wherein the captured image is a captured image obtained by capturing a paper medium or electronic medium on which food or drink is presented.
  • the detection unit detects an image of an object arranged around the food and drink from the input image, The display control device according to any one of (1) to (13), wherein the image generation unit generates an image in which an appearance of the food or drink is changed without changing an appearance of the object.
  • the detection unit detects an image of the tableware containing the food and drink from the input image, The display control apparatus according to any one of (1) to (14), wherein the image generation unit generates an image in which an appearance of the tableware is changed together with the food and drink.
  • the detection unit detects food and drink in the user's line-of-sight direction, The said image generation part produces

Abstract

本発明の課題は、飲食物の外観を変更した画像を表示することで食事をコントロールすることが可能な表示制御装置および記録媒体を提供することにある。そのために、本発明の表示制御装置は、入力画像に飲食物の画像が含まれているか否かを検出する検出部と、前記検出部により飲食物の画像が検出されたとき、当該飲食物の外観を変更した画像を生成する画像生成部と、前記画像生成部により生成された画像を表示部に表示するよう制御する表示制御部と、を備える。

Description

表示制御装置および記録媒体
 本開示は、表示制御装置および記録媒体に関する。
 近年、状況に応じて表示態様を変更することで、視覚的にユーザに報知する技術が知られている。例えば、下記特許文献1では、自車両に他車両が接近する場合に、その接近状況を特有の表示形式によって視覚的に運転者に報知する技術が開示されている。
 さらに、食品の表示態様を変更して視覚的にユーザの満腹感を操作する表示システムも提案されている。例えば、下記非特許文献1では、拡張現実感によって周囲のものの大きさは保ったまま食品の見た目のサイズだけを操作することで、食品を食べたときに得られる満腹感を操作し、満腹感は一定のまま食事量を変えてしまうことが可能なシステムが提案されている。
特開2012-208566号公報
鳴海拓志、外4名、「拡張満腹感:拡張現実感を利用した食品の見た目の操作による満腹感のコントロール」、情報処理学会インタラクション2012、2012年3月15日、p.25-32
 上記非特許文献1では、対象となる食品のみを拡大・縮小し、食品を持つ手は、サイズはそのままで、食品と整合性を保つよう変形させる画像処理が行われている。しかしながら、食品を持つ手を適切に変形させる画像処理を実現するためには、食品の持ち方を限定する必要があった。また、食品を持つ手を適切に変形させる画像処理は、手が連続的に動いている場合等は困難であった。
 したがって、食品を持つ手を変形する画像処理を用いることなく、食品を変化させる画像処理により食事をコントロールできることが求められる。
 また、非特許文献1では、食品のサイズ感を知覚させることで、満腹感を変化させ、食品摂取量を操作しているが、食品のサイズを変化させる以外の方法により食品摂取量を操作する方法については言及していない。しかしながら、食品のサイズの他、食品の質感や、量(数)、色等の外観を変化させることで、食品摂取を制限したり促したり等のコントロールを行うことも考え得る。
 そこで、本開示では、飲食物の外観を変更した画像を表示することで食事をコントロールすることが可能な、新規かつ改良された表示制御装置および記録媒体を提案する。
 本開示によれば、入力画像に飲食物の画像が含まれているか否かを検出する検出部と、前記検出部により飲食物の画像が検出されたとき、当該飲食物の外観を変更した画像を生成する画像生成部と、前記画像生成部により生成された画像を表示部に表示するよう制御する表示制御部と、を備える表示制御装置を提案する。
 本開示によれば、コンピュータを、入力画像に飲食物の画像が含まれているか否かを検出する検出部と、前記検出部により飲食物の画像が検出されたとき、当該飲食物の外観を変更した画像を生成する画像生成部と、前記画像生成部により生成された画像を表示部に表示するよう制御する表示制御部、として機能させるためのプログラムが記録された記録媒体を提案する。
 以上説明したように本開示によれば、飲食物の外観を変更した画像を表示することで食事をコントロールすることが可能となる。
本開示の一実施形態による表示制御の概要を説明するための図である。 本実施形態によるHMDの外観を説明するための図である。 図2に示すHMDの内部構成例を示すブロック図である。 第1の実施形態による表示制御処理を示すフローチャートである。 第1の実施形態による画像処理の一例を示す図である。 第1の実施形態による画像処理の他の例を示す図である。 第2の実施形態による表示制御処理を示すフローチャートである。 第2の実施形態による飲食禁止を促すための画像処理の一例を示す図である。 第3の実施形態による表示制御処理を示すフローチャートである。 第3の実施形態による画像処理の一例を示す図である。 第4の実施形態による表示制御処理を示すフローチャートである。 第4の実施形態による画像処理の具体例について説明するための図である。 第5の実施形態による表示制御処理を示すフローチャートである。 第6の実施形態による表示制御の概要を説明するための図である。 第6の実施形態によるメニュー画像に含まれる飲食物の外観を飲食物の属性に応じて変更した画像の一例を示す図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、説明は以下の順序で行うものとする。
 1.本開示の一実施形態による表示制御の概要
 2.HMDの構成
 3.各実施形態
  3-1.第1の実施形態
  3-2.第2の実施形態
  3-3.第3の実施形態
  3-4.第4の実施形態
  3-5.第5の実施形態
  3-6.第6の実施形態
 4.まとめ
  <<1.本開示の一実施形態による表示制御システムの概要>>
 まず、本開示の一実施形態による表示制御の概要について、図1を参照して説明する。
 図1は、本開示の一実施形態による表示制御の概要を説明するための図である。図1に示すように、本実施形態による表示制御は、HMD(Head Mounted Display)1(表示制御装置)により実施される。
 HMD1は、図1に示すようにユーザPに装着される眼鏡型のウェアラブル装置である。HMD1は、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部2が配置される構成となっている。
 表示部2は透過型であってもよく、HMD1により表示部2がスルー状態、即ち透明または半透明の状態とされることで、ユーザPは、HMD1を眼鏡のように常時装着していても通常の生活には支障がない。
 ここで、上述した非特許文献1では、対象となる食品のみを拡大・縮小し、食品を持つ手のサイズはそのままで食品と整合性を保つよう変形させる画像処理が行われるが、手を適切に変形させる画像処理は、手が連続的に動いている場合等は困難であった。
 これに対し、本実施形態によるHMD1(表示制御装置)は、飲食物を持つ手を変形する画像処理を用いることなく、飲食物の外観を変更する画像処理を用いて生成した画像を表示することで食事をコントロールすることが可能である。
 例えば、図1に示すように、ユーザPが食事を行う際に、ユーザPが装着するHMD1で目の前に在る飲料49、サラダ48、ステーキ50が撮影される。そして、HMD1は、撮像画像から飲食物の画像を検出し、当該飲食物の外観を変更した画像を生成して表示部2に表示する。
 この際、HMD1は、飲食物の属性を検出し、検出した飲食物の属性に基づいて、飲食物の外観を変更した画像を生成してもよい。
 例えば、HMD1は、撮像画像から飲料49の画像、サラダ48の画像、ステーキ50の画像が検出された場合、各画像を解析し、各画像から飲料属性、野菜属性、肉属性を検出することができる。そして、ユーザPがダイエット中(節制中)である場合、例えば肉属性が検出されたステーキ50の画像のサイズを大きくする画像処理を行うことで、視覚的効果により実物のステーキの食事量以上の満腹感を与え、肉類の食べ過ぎを防止することができる。
 具体的には、図1に示すように、HMD1は、肉属性が検出されたステーキ50の画像(ステーキ画像50A)に対して、ステーキの長さL1を、L1より長いL2に変更する画像処理を行い、サイズが大きくされたステーキ画像50Bを含む画像32を生成し、表示部2に表示する。ステーキ画像50Bは、ステーキ50の画像(ステーキ画像50A)の上に合成するよう全て生成された画像であってもよいし、ステーキ画像50Aの周囲に合成するようステーキ画像50Aとの差分部分のみ生成された画像であってもよい。
 また、ユーザPがダイエット中(節制中)であっても、飲料属性や野菜属性が検出された飲食物は多く摂取することが好ましいので、これらの属性が検出された画像に対しては、サイズ変更の画像処理は行わないようにしてもよい。したがって、図1に示すように、生成された画像32に含まれるサラダ画像48Aおよび飲料画像49Aは、サイズ変更の画像処理が行われていない。
 以上、本実施形態による表示制御の概要について説明した。なお、本実施形態によるHMD1は、飲食物のサイズ変更に限定されず、飲食物の質感や、量(数)、色等の外観を変更することで、飲食物の摂取を制限したり促したりするコントロールも可能となる。さらに、本実施形態によるHMD1は、ユーザがダイエット中か否かの他、ユーザの健康状態、アレルギー情報、または生体情報等のユーザ情報に基づいて、所定の飲食物の外観を変更してもよい。
 続いて、本実施形態による表示制御を実施するHMD1(表示制御装置)の構成について、図2~図3を参照して説明する。
  <<2.HMDの構成>>
  <2-1.HMDの外観>
 図2は、本実施形態によるHMD1の外観を説明するための図である。図2に示す眼鏡型のHMD1は、シースルーHMDとも称され、表示部2が透過状態に制御され得る。
 具体的には、HMD1は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを有し、図2に示すように両耳殻にかけられることでユーザに装着される。
 そしてこのHMD1は、図2に示すような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部2が配置される構成とされている。この表示部2には、例えば液晶パネルが用いられ、HMD1は液晶パネルの透過率を制御することで、図2に示すようなスルー状態、即ち透明または半透明の状態にできる。表示部2がスルー状態にされることで、HMD1を眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
 表示部2は、撮像レンズ3aで撮像された現実空間の撮像画像を表示部2に表示することも可能である。また、表示部2は、HMD1が生成した画像や、外部機器から受信したコンテンツ、HMD1の記憶媒体に記憶されるコンテンツ等を再生表示することも可能である。
 また、図2に示すように、ユーザPが装着した状態において、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ3aが配置されている。さらに、撮像レンズ3aによる撮像方向に対して照明を行う発光部4aが設けられる。発光部4aは例えばLED(Light Emitting Diode)により形成される。
 また、図2では左耳側しか示されていないが、装着状態でユーザの右耳孔および左耳孔に挿入できる一対のイヤホンスピーカ5aが設けられる。
 また右眼用の表示部2の右方と、左眼用の表示部2の左方に、外部音声を集音するマイクロホン6a、6bが配置される。
 なお図1に示すHMD1の外観は一例であり、HMD1をユーザが装着するための構造は多様に考えられる。HMD1は、一般に眼鏡型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部2が設けられていればよい。また表示部2は、両眼に対応して一対設けられる他、片側の眼に対応して1つ設けられる構成でもよい。
 また撮像レンズ3a、照明を行う発光部4aは、図1に示す例では右眼側に前方に向けて配置されているが、左眼側に配置されてもよいし、両側に配置されてもよい。さらに、撮像レンズ3a、発光部4aは、前方のみならず、横方向や後方に向けて配置されてもよい。
 またイヤホンスピーカ5aは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために1つ設けられるのみでもよい。またマイクロホンも、マイクロホン6a、6bのうちの一方でもよい。
 また、マイクロホン6a、6bやイヤホンスピーカ5aを備えない構成も考えられる。また発光部4aを設けない構成も考えられる。
 以上、本実施形態によるHMD1の外観について説明した。なお、本実施形態では、表示制御装置の一例としてHMD1を用いているが、本実施形態による表示制御装置はHMD1に限定されない。例えば、本実施形態による表示制御装置は、スマートフォン、携帯電話端末、PDA(Personal Digital Assistants)、PC(Personal Computer)、タブレット端末等であってもよい。
  <2-2.HMDの内部構成>
 次に、本実施形態によるHMD1の内部構成について図3を参照して説明する。図3は、図2に示すHMD1の内部構成例を示すブロック図である。
 図3に示すように、HMD1は、表示部2、撮像部3、照明部4、音声出力部5、音声入力部6、システムコントローラ10、撮像制御部11、表示画像処理部12、表示駆動部13、表示制御部14、撮像信号処理部15、音声信号処理部16、画像解析部17、照明制御部18、ストレージ部25、通信部26、画像入出力コントロール27、音声入出力コントロール28、および音声合成部29を有する。
 (システムコントローラ)
 システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ、インタフェース部を備えたマイクロコンピュータにより構成され、HMD1の各構成を制御する。
 また、システムコントローラ10は、図2に示すように、画像解析部17による画像解析結果に基づいて、撮像画像から飲食物の画像を検出したり、飲食物の属性を検出したりする検出部10aと、HMD1の動作を制御する動作制御部10bとして機能する。
 検出部10aは、画像解析部17による画像解析結果に基づいて、撮像画像から飲食物の画像を検出する。例えば検出部10aは、撮像画像の画像解析結果と、予めストレージ部25に記憶されている飲食物検出用のパターン画像とをマッチングすることにより、飲食物の画像を検出することができる。また、検出部10aは、検出した飲食物の画像に基づいて、飲食物の属性を検出する。例えば検出部10aは、検出した飲食物の画像と、予めストレージ部25に記憶されている飲食物の属性が紐付けられたパターン画像とをマッチングすることにより、飲食物の属性を検出することができる。
 動作制御部10bは、HMD1の各動作を制御する。より具体的には、本実施形態による動作制御部10bは、検出部10aにより撮像画像から飲食物の画像が検出された場合、飲食物の属性やユーザ情報に応じて、飲食物の外観を変更した画像を生成する画像生成部として機能する。そして、動作制御部10bは、生成した画像を表示部2に表示するよう表示制御部14に指示を出す。
 (撮像部)
 撮像部3は、撮像レンズ3a、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。
 (撮像信号処理部)
 撮像信号処理部15は、撮像部3の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド/AGC(Automatic Gain Control)回路や、ビデオA/D(アナログ/デジタル)コンバータを備える。これにより、撮像信号処理部15は、デジタルデータとしての撮像信号を得る。また、撮像信号処理部15は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。
 (撮像制御部)
 撮像制御部11は、システムコントローラ10からの指示に基づいて、撮像部3及び撮像信号処理部15の動作を制御する。例えば撮像制御部11は、撮像部3、撮像信号処理部15の動作のオン/オフを制御する。また撮像制御部11は撮像部3に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御(モータ制御)を行うものとされる。また撮像制御部11はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部15のサンプルホールド/AGC回路、ビデオA/Dコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
 さらに撮像制御部11は、固体撮像素子及び撮像信号処理部15における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。
 (画像入出力コントロール)
 上記撮像部3で撮像され、撮像信号処理部15で処理された撮像信号(撮像による画像データ)は画像入出力コントロール27に供給される。画像入出力コントロール27は、システムコントローラ10の制御に応じて、画像データの転送を制御する。即ち画像入出力コントロール27は、撮像信号処理部15、表示画像処理部12、画像解析部17、ストレージ部25、通信部26の間の画像データの転送を制御する。例えば画像入出力コントロール27は、撮像信号処理部15で処理された撮像信号としての画像データ(撮像画像)を、画像解析部17に供給する動作を行う。
 (表示画像処理部)
 表示画像処理部12は、例えばいわゆるビデオプロセッサとされ、供給された画像データに対して各種表示処理を実行できる部位とされる。例えば画像データの輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整などを行うことができる。
 (表示駆動部)
 表示駆動部13は、表示画像処理部12から供給される画像データを、例えば液晶ディスプレイとされる表示部2において表示させるための画素駆動回路で構成されている。即ち表示部2においてマトリクス状に配置されている各画素について、それぞれ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示駆動部13は、表示制御部14の指示に従って、表示部2の各画素の透過率を制御し、表示部2をスルー状態にすることもできる。
 (表示制御部)
 表示制御部14は、システムコントローラ10の制御に応じて、表示画像処理部12の処理動作や表示駆動部13の動作を制御する。具体的には、表示制御部14は、表示画像処理部12に対して、上述した画像データの輝度レベル調整等を行うよう制御する。
 また、本実施形態による表示制御部14は、システムコントローラ10の制御に応じて、動作制御部10b(画像生成部)により生成された、飲食物の外観が変更された画像を、表示部2に表示するよう表示駆動部13の動作を制御する。
 (音声入力部)
 音声入力部6は、図2に示したマイクロホン6a、6bと、そのマイクロホン6a、6bで得られた音声信号を増幅処理するマイクアンプ部やA/D変換器を有し、音声データを音声入出力コントロール28に出力する。
 (音声入出力コントロール)
 音声入出力コントロール28は、システムコントローラ10の制御に応じて、音声データの転送を制御する。具体的には、音声入出力コントロール28は、音声入力部6、音声信号処理部16、ストレージ部25、通信部26の間の音声信号の転送を制御する。例えば、音声入出力コントロール28は、音声入力部6で得られた音声データを、音声信号処理部16に供給したり、ストレージ部25に供給したり、通信部26に供給する動作を行う。また音声入出力コントロール28は例えばストレージ部25で再生された音声データを、音声信号処理部16に供給したり、通信部26に供給する動作を行う。また音声入出力コントロール28は例えば通信部26で受信された音声データを、音声信号処理部16に供給したり、ストレージ部25に供給する動作を行う。
 (音声信号処理部)
 音声信号処理部16は、例えばデジタルシグナルプロセッサ、D/A変換器などからなる。この音声信号処理部16には、音声入力部6で得られた音声データや、ストレージ部25、あるいは通信部26からの音声データが、音声入出力コントロール28を介して供給される。音声信号処理部16は、供給された音声データに対して、システムコントローラ10の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声データをアナログ信号に変換して音声出力部5に供給する。なお、音声信号処理部16は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。
 (音声出力部)
 音声出力部5は、図2に示した一対のイヤホンスピーカ5aと、そのイヤホンスピーカ5aに対するアンプ回路を有する。また、音声出力部5は、いわゆる骨伝導スピーカとして構成されてもよい。さらにユーザは、音声出力部5により、外部音声を聞いたり、ストレージ部25で再生された音声を聞いたり、通信部26で受信された音声を聞くことができる。
 (ストレージ部)
 ストレージ部25は、所定の記録媒体に対してデータの記録再生を行う部位とされる。ストレージ部25は、例えばHDD(Hard Disc Drive)として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部25としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
 ストレージ部25には、撮像部3で撮像され、撮像信号処理部15で処理された撮像信号としての画像データ(撮像画像)や、動作制御部10bで生成された飲食物の外観が変更された画像データ等が、画像入出力コントロール27を介して供給される。また、ストレージ部25には、音声入力部6で得られた音声データや、通信部26で受信した音声データが、音声入出力コントロール28を介して供給される。
 (通信部)
 通信部26は外部機器との間でのデータの送受信を行う。通信部26は、外界情報を取得するための構成の一例である。通信部26は、例えば無線LAN(Local Area Network)、Wi-Fi(登録商標、Wireless Fidelity)、赤外線通信、Bluetooth(ブルートゥース、登録商標)等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。
 (音声合成部)
 音声合成部29は、システムコントローラ10の制御に応じて音声合成を行い、音声信号を出力する。音声合成部29から出力された音声信号は、音声入出力コントロール28を介して音声信号処理部16に供給されて処理された後、音声出力部5に供給され、ユーザに対して音声出力される。
 (照明部、照明制御部)
 照明部4は、図2に示した発光部4aとその発光部4a(例えばLED)を発光させる発光回路から成る。照明制御部18は、システムコントローラ10の制御に応じて、照明部4に発光動作を実行させる。照明部4における発光部4aが図2に示したように前方に対する照明を行うものとして取り付けられていることで、照明部4はユーザの視界方向に対する照明動作を行うことになる。
 (画像解析部)
 画像解析部17は、外界情報を取得するための構成の一例である。具体的には、画像解析部17は、画像データを解析し、画像データに含まれる画像の情報を得る。画像解析部17には、画像入出力コントロール27を介して画像データが供給される。画像解析部17において画像解析の対象となる画像データとは、撮像部3、撮像信号処理部15により得られた撮像画像としての画像データや、通信部26で受信された画像データ、あるいはストレージ部25で記録媒体から再生された画像データである。
 本実施形態による画像解析部17は、撮像信号処理部15により得られた撮像画像(画像データ)を解析し、点検出、線・輪郭検出、領域分割等を行い、画像解析結果をシステムコントローラ10の検出部10aに出力する。
 以上、本実施形態によるHMD1の内部構成について詳細に説明した。なお、音声系の構成として、音声出力部5、音声入力部6、音声信号処理部16、音声入出力コントロール28、音声合成部29を示したが、これらは必ずしも全てを備える必要はない。また、HMD1の構成として通信部26を示したが、必ずしも備える必要はない。
 上記構成により、HMD1は、撮像部3により撮像された撮像画像に写る飲食物の外観を変更させて生成した画像をリアルタイムで表示部2に表示させ、ユーザPの食事をコントロールすることができる。次に、本実施形態のHMD1がどのような場合にどのような画像を生成し、どのように食事をコントロールするのかについて、複数の実施形態を用いて具体的に説明する。
  <<3.各実施形態>>
  <3-1.第1の実施形態>
 第1の実施形態では、HMD1が、検出部10aにより検出された飲食物の属性に基づいて当該飲食物の外観を変更した画像を生成する。以下、第1の実施形態による表示制御について、図4~図6を参照して具体的に説明する。
 図4は、第1の実施形態による表示制御処理を示すフローチャートである。まず、図4のステップS103において、ユーザPに装着されたHMD1は、撮像部3によりユーザPの視線方向に在る飲食物を撮像する。
 次いで、ステップS106において、検出部10aは、撮像画像から飲食物の画像および飲食物の属性を検出する。
 次に、ステップS109において、動作制御部10bは、検出部10aにより検出された飲食物の属性が予め設定された健康に良くない飲食物の属性に該当する場合またはユーザPがダイエット中の場合であるか否かを判断する。ユーザPがダイエット中か否かは、ユーザ操作によりダイエットモードに設定されているか否かにより判断され得る。ユーザPがダイエット中の場合、動作制御部10bは、さらに検出部10aにより検出された飲食物の属性が節制対象の飲食物の属性に該当するか否かを判断する。
 そして、健康に良くない飲食物の属性に該当しない場合、ユーザPがダイエット中ではない場合、またはダイエット中だが節制対象の飲食物の属性に該当しない場合(S109/No)、動作制御部10bは飲食物の外観を変更する必要がない。したがって、ステップS115において、動作制御部10bは、撮像部3により撮像された画像を表示部2にそのままリアルタイムで表示、または表示部2を透過状態に制御する。
 一方、健康に良くない飲食物の属性に該当する場合またはユーザPがダイエット中であって節制対象の飲食物の属性に該当する場合(S109/Yes)、動作制御部10bは飲食物の外観を変更する。具体的には、ステップS112において、動作制御部10b(画像生成部)は、検出された飲食物の画像に対して、実際の食事量以上の満腹感を与えるための画像処理、または食欲を抑えるための画像処理を行う。
 実際の食事量以上の満腹感を与えるための画像処理とは、例えば飲食物の量を増やしたり、サイズを大きくしたりする画像処理である。また、食欲を抑えるための画像処理とは、飲食物の色や質感を、食欲を抑える所定の色、質感に変更する画像処理である。
 ここで、図5および図6を用いて、実際の食事量以上の満腹感を与えるための画像処理として、飲食物の量を増やしたり、サイズを大きくしたりする画像処理の具体例について説明する。
 図5は、ユーザがクッキーを保持している場合に、クッキーのサイズを大きくする画像処理を行って生成した画像の一例である。図5の画像34に示すように、ユーザが円形のクッキーの厚み方向を保持している場合、動作制御部10b(画像生成部)は、クッキー画像35Aの径方向の長さL4を、L4より長いL5に変更したクッキー画像35Bを生成する。一方、図5の画像36に示すように、ユーザが円形のクッキーの径方向を保持している場合、動作制御部10b(画像生成部)は、クッキー画像35Aの厚み方向の厚さT4を、T4より厚いT5に変更したクッキー画像35Cを生成する。このように、ユーザが飲食物を保持している方向に応じて、保持個所に影響がないよう飲食物のサイズを変更することで、手を変形する画像処理が不要となる。
 図6は、器に米が盛られている場合に、米の量を増やすよう変更して生成した画像の一例を示す図である。例えば、図6の画像38に示すように、動作制御部10b(画像生成部)は、器に盛られた米画像39Aに基づいて、米のみを増量するよう変更した米画像39Bを生成することができる。より具体的には、検出部10aが、撮像画像から飲食物の周辺に配置されたオブジェクトの画像を検出し、動作制御部10bが、検出された上記オブジェクトの外観は変更せずに、飲食物の外観を変更した画像を生成する。ここで、飲食物の周辺に配置されたオブジェクトとは、図6に示すような茶碗の他、皿や箸等の食器、およびテーブルが含まれる。
 また、動作制御部10bは、検出部10aにより検出された飲食物とともに、当該飲食物が入っている食器の外観も変更した画像を生成してもよい。例えば、図6の画像41に示すように、動作制御部10b(画像生成部)は、米および茶碗を含む画像42Aを拡大するよう変更した画像42Bを生成してもよい。
 以上、第1の実施形態による表示制御について説明した。第1の実施形態によれば、HMD1は、検出部10aにより検出された飲食物の属性に基づいて当該飲食物の外観を変更した画像を生成し、ユーザの満腹感や摂取量をコントロールすることができる。
  <3-2.第2の実施形態>
 第2の実施形態では、HMD1が、検出部10aにより検出された飲食物の属性およびユーザ情報に基づいて当該飲食物の外観を変更した画像を生成する。以下、第2の実施形態による表示制御について、図7~図8を参照して具体的に説明する。
 図7は、第2の実施形態による表示制御処理を示すフローチャートである。まず、図7のステップS123において、動作制御部10bは、ユーザ情報を取得する。ユーザ情報とは、例えばユーザの生体情報(身長、体重、発汗量、心拍数、脈拍数、血液成分情報)、健康状態を示す情報(現在患っている病気に関する情報等)、飲食物に関する嗜好情報(好みの味等)、ユーザの飲食物に関する飲食禁止または飲食制限情報、カロリー摂取情報、ユーザの塩分摂取情報、ユーザの脂質摂取情報、ユーザの糖分摂取情報、ユーザのアルコール分摂取情報、またはアレルギー情報等である。これらのユーザ情報は、ストレージ部25に予め登録されたユーザ情報から取得されてもよいし、通信部26を介して外部機器に予め登録されたユーザ情報から取得されてもよいし、ユーザに装着された各種センサからリアルタイムに検出され取得されてもよい。
 次に、ステップS126において、動作制御部10bは、取得したユーザ情報に基づいて、ユーザが健康体か否かを判断する。例えば動作制御部10bは、ユーザの生体情報を参照して異常値が検出されない場合、健康状態を示す情報に病気情報が含まれていない場合、または飲食物に関するアレルギー情報がない場合は、ユーザが健康体であると判断する。また、動作制御部10bは、ユーザの生体情報を参照して異常値が検出された場合、健康状態を示す情報に病気情報が含まれる場合、または飲食物に関するアレルギー情報がある場合は、ユーザが健康体ではないと判断する。
 次いで、ユーザが健康体ではないと判断された場合(S126/No)、ステップS129において、動作制御部10bは、ユーザ情報に基づいて、飲食が禁止されている、または飲食が好ましくないとされる飲食物に関する特殊情報を取得する。具体的には、動作制御部10bは、ユーザ情報から特殊情報を抽出してもよいし、ユーザ情報に基づいて、ストレージ部25や外部機器から対応する特殊情報を取得してもよい。例えば、ユーザ情報からユーザが糖尿病や高脂血症であることが判明した場合、動作制御部10bは、糖尿病や高脂血症の際に飲食が禁止されている、または飲食が好ましくないとされる飲食物を特殊情報として抽出する。
 次に、ステップS132において、撮像部3によりユーザPの視線方向に在る飲食物が撮像される。
 次いで、ステップS135において、検出部10aは、撮像画像から飲食物の画像を検出する。この際、検出部10aは、併せて飲食物の属性を検出してもよい。
 次に、ステップS138において、動作制御部10bは、検出部10aにより検出された飲食物の画像が、特殊情報に関係する飲食物の画像であるか否かを判断する。すなわち、動作制御部10bは、飲食が禁止されている、または飲食が好ましくないとされる飲食物が撮像画像に含まれているか否かを判断する。
 続いて、特殊情報に関係する飲食物の画像である場合(S138/Yes)、ステップS141において、動作制御部10bは、特殊情報に関係する飲食物の外観を変更した画像を生成して表示部2に表示し、当該飲食物の飲食禁止を促す。ここで、図8に、飲食禁止を促すための画像処理の一例を示す。図8の画像44に示すように、動作制御部10bは、撮像されたアルコール飲料画像45Aに禁止マーク46を重畳表示してもよい。また、図8の画像47に示すように、動作制御部10bは、アルコール飲料の外観を、食欲を抑える効果がある所定の色に変更したアルコール飲料画像45Bを生成してもよい。
 一方、ユーザが健康体ではあると判断された場合(S126/Yes)、ステップS103~S115において、図4を参照して上述した同ステップ(S103~S115)の処理が行われる。
 また、上記S138で、検出部10aにより検出された飲食物の画像が、特殊情報に関係する飲食物の画像ではないと判断された場合(S138/No)、動作制御部10bは、ステップS109に示す処理を行う。すなわち、動作制御部10bは、検出部10aにより検出された飲食物の属性が予め設定された健康に良くない飲食物の属性に該当する場合またはユーザPがダイエット中の場合であるか否かを判断する。そして、動作制御部10bは、判断結果に応じてS112~S115に示す処理(図4を参照して上述した同ステップに示す処理)を行う。
 以上、第2の実施形態による表示制御について説明した。第2の実施形態によれば、HMD1は、ユーザ情報および飲食物の属性に基づいて、当該飲食物の外観を変更した画像を生成し、ユーザの食事をコントロールすることができる。
 なお、上述した例では、ユーザ情報に基づいて取得される飲食に関する特殊情報に関係する飲食物(例えば飲食が禁止されている飲食物)が検出された場合に、当該飲食物の飲食禁止を促す表示制御を行っているが、本実施形態による表示制御はこれに限定されない。
 例えば、本実施形態による動作制御部10bは、上記S112において、S109に示す条件に該当する飲食物の外観を変更する際にユーザ情報を参照してもよい。具体的には、例えば動作制御部10bは、ユーザの嗜好情報を参照し、ユーザが好きな飲食物をより増量するよう表示制御し、視覚的効果による満腹感や満足感を、より効果的に与えることができる。また、動作制御部10bは、ユーザがダイエット中の場合(S109/Yes)、ユーザのカロリー摂取情報を参照し、一日に必要なカロリー摂取量を超えるカロリーを有することが想定される飲食物に対して、食欲を抑えるための画像処理を行ってもよい。
  <3-3.第3の実施形態>
 第3の実施形態では、HMD1が、検出部10aにより検出された複数の飲食物に対して、それぞれの飲食物の属性に応じて外観を変更する表示制御を行う。以下、第3の実施形態による表示制御について、図9~図10を参照して具体的に説明する。
 図9は、第3の実施形態による表示制御処理を示すフローチャートである。まず、図9のステップS153において、HMD1は、撮像部3により、複数の飲食物を含む食卓(プレート)全体を撮像する。
 次に、ステップS156において、検出部10aは、撮像画像から複数の飲食物の画像を個別に検出する。この際、検出部10aは、併せて複数の飲食物の属性を検出してもよい。
 次いで、ステップS159において、動作制御部10bは、検出された複数の飲食物に付番を行い、総数 Nをカウントする。例えば、図10に示すように、撮像画像30からサラダ画像48A、飲料画像49A、ステーキ画像50Aが検出された場合、動作制御部10bは、サラダ画像48Aに「1」、飲料画像49Aに「2」、ステーキ画像50Aに「3」を付番し、総数「3」をカウントする。
 次に、ステップS162において、動作制御部10bは、n=1にセットする。
 続いて、ステップS165において、動作制御部10bは、飲食物nの属性が、予め設定された健康に良くない飲食物の属性、または節制対象の飲食物の属性に該当するか否かを判断する。例えば、n=1にセットされている場合は、「1」が付番されたサラダ画像48Aに対して判断が行われる。
 次に、上記いずれにも該当しない場合(S165/No)、ステップS171において、動作制御部10bは、飲食物nの画像を通常表示するよう、すなわち外観を変更せずに撮像したままの状態で表示部2に表示するよう制御する。例えば撮像されたサラダ画像48Aの属性が、上記いずれにも該当しないと判断された場合、図10に示すように、表示部2に表示される画像32には、外観が変更されていないサラダ画像48Aが含まれる。
 そして、ステップS174において、動作制御部10bは、現在セットされている「n」が総数「N」より小さいか否かを判断する。
 次に、「N」より小さい場合(S174/No)、ステップS177において、動作制御部10bは、現在セットしている「n」に対してインクリメント処理を行う。これにより動作制御部10bは、n=2にセットすることができる。
 次いで、上記S165が繰り返され、より具体的には、動作制御部10bは、「2」が付番された飲料画像49Aに対して、当該飲食物の属性が、予め設定された健康に良くない飲食物の属性、または節制対象の飲食物の属性に該当するか否かを判断する。
 次に、上記S165で該当すると判断された場合(S165/Yes)、ステップS168において、動作制御部10bは、当該飲食物の外観を変更する。具体的には、動作制御部10b(画像生成部)は、検出された飲食物の画像に対して、実際の食事量以上の満腹感を与えるための画像処理、または食欲を抑えるための画像処理を行う。
 例えば飲料画像49Aの属性が節制対象の飲食物の属性に該当する場合、動作制御部10bは、図10に示すように、飲料が入っているグラスの高さを、撮像画像30の飲料画像49Aの高さT8よりも高いT9に変更した飲料画像49Bを生成する。このように実際の大きさよりも大きくグラスを表示し、また、透明のグラスであればグラスを大きくすると共に内容物の量も増やす表示に変更することで、ユーザに、視覚的効果により実際の食事量以上の満腹感を与えることができる。
 また、通常、グラスを持つ際は、グラスの下半分または中央部分を持つので、高さT8との差分部分であるグラスの上方が生成画像であっても、ユーザは違和感なくグラスを持って、実際に飲むことができる。また、図10に示すように、飲料画像49Bはグラスの幅ではなく高さがより高く変更されているので、グラスを持つユーザの手を変形する等の画像処理を行う必要はない。
 また、ステーキ画像50Aの属性が節制対象の飲食物の属性に該当する場合、動作制御部10bは、図10に示すように、ステーキの長さを、撮像画像30のステーキ画像50Aの長さL1よりも長いL2に変更したステーキ画像50Bを生成する。
 このように、上記S165~S177を繰り返し、現在セットされている「n」が総数「N」以上になった場合(S174/Yes)、飲食物の外観を変更する表示制御が終了する。
 以上、第3の実施形態による表示制御について説明した。第3の実施形態によれば、HMD1は、撮像画像から複数の飲食物の画像が検出された場合も、飲食物毎に、その属性に基づいて外観を変更し、ユーザの食事をコントロールすることができる。
  <3-4.第4の実施形態>
 上述した各実施形態では、撮像画像から検出された飲食物の外観を、飲食物の属性やユーザ情報に応じて変更していたが、ユーザが見ていない時に飲食物の外観を変更していても、視覚的効果による満腹感等を与えることはできない。そこで、第4の実施形態では、HMD1が視線検出機能を有している場合、ユーザが見ている飲食物の外観を変更するよう制御することで、より確実に、ユーザに対して視覚的効果による満腹感等を与えることができる。以下、第4の実施形態による表示制御について、図11~図12を参照して説明する。
 図11は、第4の実施形態による表示制御処理を示すフローチャートである。まず、図11のステップS183において、HMD1の電源が投入されると、次のステップS186において、HMD1の動作制御部10bは、食事用モードに設定されたか否かを判断する。
 次に、食事用モードに設定された場合(S186/Yes)、ステップS189において、HMD1はユーザの視線を検出する。視線検出は、HMD1装着時にユーザの眼を撮影するよう内側方向に向けてHMD1に設けられた撮像レンズ(不図示)により撮像した撮像画像に対する、画像解析部17による解析結果に基づいて、例えば動作制御部10bにより検出される。具体的には、動作制御部10bは、撮像されたユーザの眼の瞳孔の動きを追跡して視線の向きを算出することで、ユーザがどこを見つめているか(視線方向)を特定することができる。
 次いで、ステップS192において、検出部10aは、動作制御部10bによる視線検出結果および撮像部3により撮像された飲食物の撮像画像に基づいて、ユーザが見ている飲食物を特定する。また、検出部10aは、併せて特定した飲食物の属性を検出する。
 次に、ステップS195において、動作制御部10bは、検出部10aにより特定された飲食物の属性が、予め設定された健康に良くない飲食物の属性、またはユーザPがダイエット中の場合等に予め設定された節制対象の飲食物の属性に該当するか否かを判断する。
 次いで、上記いずれかに該当すると判断された場合(S195/Yes)、ステップS198において、動作制御部10bは、特定した飲食物の外観を変更した画像を生成し、表示部2に表示させる。具体的には、動作制御部10bは、実際の食事量以上の満腹感を与えるために特定した飲食物を増量させる画像処理や、食欲を抑えるために特定した飲食物の色や質感を変更する画像処理を行う。
 ここで、図12を用いて、本実施形態による画像処理の具体例について説明する。図12の画像52に示すように、ユーザの視線方向53に、飲料画像49Aが在る場合、動作制御部10bは、飲料画像49Aのグラスの高さT8を、T8より高いT9に変更した飲料画像49Bを生成し、表示する。また、図12の画像54に示すように、ユーザの視線方向53に、ステーキ画像50Aが在る場合、動作制御部10bは、ステーキ画像50Aのステーキの長さL1を、L1より長いL2に変更したステーキ画像50Bを生成し、表示する。なお、図12の画像52、54に示す視線方向53の表示は、説明の便宜上図示したものであって、表示部2に必ずしも表示する必要はない。本実施形態による動作制御部10bは、設定に応じて視線方向53の表示を表示または非表示にするよう制御することが可能である。
 以上、第4の実施形態による表示制御について説明した。第4の実施形態によれば、HMD1は、ユーザの視線方向に在る飲食物、すなわちユーザが見て飲食しようとしている飲食物の外観を、飲食物の属性に基づいて変更した画像を生成し、ユーザの満腹感や摂取量をコントロールすることができる。
  <3-5.第5の実施形態>
 上述した第2の実施形態では、特殊情報に関係する飲食物以外の飲食物に対しても外観を変更する処理を行い(図7に示すS109~S112)、その際にユーザ情報(嗜好情報等)を参照してもよい旨を述べたが、本開示による表示制御はこれに限定されない。例えば、次に説明する第5の実施形態では、HMD1が、ユーザ情報から取得される特殊情報に関係する飲食物のみ外観を変更するよう表示制御してもよい。以下、第5の実施形態による表示制御について、図13を参照して具体的に説明する。
 図13は、第5の実施形態による表示制御処理を示すフローチャートである。まず、図13のステップS213において、動作制御部10bは、ユーザ情報を取得する。
 次に、ステップS216において、動作制御部10bは、取得したユーザ情報に基づいて、ユーザが健康体か否かを判断する。
 次いで、ユーザが健康体ではないと判断された場合(S216/No)、ステップS219において、動作制御部10bは、ユーザ情報に基づいて、飲食が禁止されている、または飲食が好ましくないとされる飲食物に関する特殊情報を取得する。
 次に、ステップS222において、撮像部3によりユーザPの視線方向に在る飲食物が撮像される。
 次いで、ステップS225において、検出部10aは、撮像画像から特殊情報に関係する飲食物の画像を検出する。すなわち、動作制御部10bは、飲食が禁止されている、または飲食が好ましくないとされる飲食物の画像を、撮像画像から検出する。
 続いて、特殊情報に関係する飲食物の画像が検出された場合(S228/Yes)、ステップS231において、動作制御部10bは、特殊情報に関係する飲食物の外観を変更した画像を生成して表示部2に表示し、当該飲食物の飲食禁止を促す。
 一方、ユーザが健康体であると判断された場合(S216/Yes)、および特殊情報に関係する飲食物の画像が検出されなかった場合(S228/No)、動作制御部10bは、撮像部3により撮像された画像を表示部2にそのままリアルタイムで表示、または表示部2を透過状態に制御する。
 以上説明したように、第5の実施形態によれば、ユーザ情報から取得される特殊情報に関係する飲食物のみ外観を変更するよう表示制御することができる。
  <3-6.第6の実施形態>
 上述した各実施形態では、HMD1が、撮像部3で、ユーザがこれから食べようとしている実際に目の前に存在する飲食物を撮像し、撮像画像に写る飲食物の外観を変更する表示制御を行っている。しかしながら、本開示による表示制御はこれに限定されず、HMD1は、例えば紙媒体または電子媒体で提示された飲食物(の写真)を撮像部3で撮像した場合にも、当該飲食物の外観を変更して表示部2に表示するよう制御することも可能である。以下、このように飲食物の写真に対しても外観変更の処理を行う第6の実施形態による表示制御について、図14~図15を参照して具体的に説明する。
 図14は、第6の実施形態による表示制御の概要を説明するための図である。図14に示すように、本実施形態によるHMD1は、ユーザの視線方向を撮像するよう外側を向けて設けられた撮像レンズ3aにより、ユーザが見ている飲食物のメニュー画像710を撮像する。メニュー画像710は、図14に示すように、タブレット型の電子端末70の表示部71に表示されている。また、メニュー画像710には、メニューの一例として、ステーキ、オムレツ、およびサラダの写真が掲載されている。
 本実施形態によるHMD1は、撮像レンズ3aで撮像したメニュー画像710に含まれる飲食物の外観を飲食物の属性に応じて変更した画像を表示部2に表示する。ここで、メニュー画像710に含まれる飲食物の外観を飲食物の属性に応じて変更した画像の一例を図15に示す。
 図15に示す画像55は、HMD1の動作制御部10bが、検出部10aによりメニュー画像710を撮像した撮像画像から検出された飲食物の属性に応じて、飲食物の外観を変更して生成した画像である。HMD1はこのように生成した画像55を表示部2に表示する。
 より具体的には、例えばステーキが節制対象の飲食物である場合、図15に示すように、動作制御部10bは、ステーキの注文を控えるよう(ステーキに対する食欲を抑えるよう)、ステーキ画像56Aを小さくしたステーキ画像56Bを生成する。
 また、オムレツが、予め登録された健康に良くない飲食物および節制対象の飲食物のいずれにも該当しない場合は、動作制御部10bは、オムレツの注文を促すよう(お得感を演出するよう)、オムレツ画像57Aを大きくしたオムレツ画像57Bを生成する。さらに、サラダが、予め登録された健康に良くない飲食物および節制対象の飲食物のいずれにも該当しない場合は、動作制御部10bは、サラダの注文を促すよう(お得感を演出するよう)、サラダ画像58Aを大きくしたサラダ画像58Bを生成する。
 これにより、例えばレストラン等で料理を注文する際、HMD1は、ユーザがダイエット中であったり、健康に良くない飲食物であったりする場合には、注文を控えるよう、メニューに掲載された飲食物の外観を変更することができる。また、HMD1は、健康に良い飲食物については注文を促すよう、メニューに掲載された飲食物の外観を変更することができる。
  <4.まとめ>
 上述したように、本実施形態による表示制御では、ユーザが食べようとしている飲食物の外観をリアルタイムに変更することで、食事をコントロールすることができる。例えば、本実施形態によるHMD1は、飲食物のサイズや量を大きくすることで、視覚的効果により、実際の食事量以上の満腹感を与えることができる。これにより、ユーザがダイエット中の場合や、健康に良くない飲食物の場合に、飲食物の摂取量をストレスなく抑えることができる。また、HMD1は、飲食物の色や質感を、食欲を抑えるための所定の色や質感に変更することで、所定の飲食物の摂取をストレスなく制限することができる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、HMD1に内蔵されるCPU、ROM、およびRAM等のハードウェアに、上述したHMD1の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
 また、本実施形態によるHMD1が、所定の匂いを発生する機能を有している場合、上述した飲食物の外観の変更に加えて、匂いにより食事をコントロールすることも可能である。例えば、HMD1は、ユーザがダイエット中の場合や、ユーザが健康に良くない飲食物を食べようとしている場合に、食欲を抑える匂いとして、グレープフルーツの香りや、パチェリーの香り、またはシダーウッドの香りを発生させる。
 また、本実施形態によるHMD1は、ユーザの飲食により実際の飲食物が減る量に応じて、表示部2に表示する、飲食物の外観を変更して生成した生成画像内の飲食物の量も減らすよう表示制御する。
 例えば、HMD1の動作制御部10bは、飲食物を増量するよう変更した画像を生成した際、表示部2に表示させた生成画像において、実際の飲食物が減る量よりも多く減っているように表示制御してもよい。また、HMD1の動作制御部10bは、飲食物を増量するよう変更した画像を生成した際、実際の飲食物が減って所定の量以下になった場合に、表示部2に表示させた生成画像の飲食物の量も実際の飲食物と同量になるよう変更してもよい。
 このように、飲食物を増量するよう変更した場合でも、実際の飲食物が減った場合には、表示部2に表示される外観が変更された飲食物の量も減るので、ユーザは違和感なく食事を行うことができる。
 また、上記各実施形態では、表示制御装置の一例としてHMD1を用いたが、本実施形態による表示制御装置はHMD1に限定されず、例えば、スマートフォンおよび眼鏡型ディスプレイから形成される表示制御システムであってもよい。スマートフォン(表示制御装置)は、眼鏡型ディスプレイと無線/有線により接続可能であって、データの送受信を行うことができる。
 ここで、眼鏡型ディスプレイとは、図2に示すHMD1と同様に、両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを有し、両耳殻にかけられることでユーザに装着される。また、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部が配置される構成とされている。HMD1は表示部2の液晶パネルの透過率を制御することで、スルー状態、即ち透明または半透明の状態にできるので、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
 また、眼鏡型ディスプレイには、図2に示すHMD1と同様に、装着状態において、ユーザの視線方向を撮像するための撮像レンズが設けられ、眼鏡型ディスプレイは、撮像した画像をスマートフォン(表示制御装置)に送信する。
 スマートフォン(表示制御装置)は、上記検出部10aおよび動作制御部10bと同様の機能を有し、撮像画像から飲食物の画像および属性を検出し、飲食物の属性やユーザ情報に応じて、飲食物の外観を変更した画像を生成する。
 そして、スマートフォン(表示制御装置)は、生成した画像を眼鏡型ディスプレイに送信し、眼鏡型ディスプレイの表示部に、飲食物の外観が変更された画像が表示される。
 また、眼鏡型ディスプレイと形状は類似しているが表示機能を有しない眼鏡型装置への適用も考えられる。この場合、眼鏡型装置に設けられた、装着者(ユーザ)の視線方向を撮影するカメラにより飲食物を撮像し、撮像画像がスマートフォン(表示制御装置)に送信される。そして、スマートフォン(表示制御装置)は、撮像画像に写る飲食物の属性やユーザ情報に応じて、飲食物の外観を変更した画像を生成し、スマートフォンの表示部に表示する。
 なお、本技術は以下のような構成も取ることができる。
(1)
 入力画像に飲食物の画像が含まれているか否かを検出する検出部と、
 前記検出部により飲食物の画像が検出されたとき、当該飲食物の外観を変更した画像を生成する画像生成部と、
 前記画像生成部により生成された画像を表示部に表示するよう制御する表示制御部と、
を備える、表示制御装置。
(2)
 前記検出部は、さらに前記飲食物の属性を検出し、
 前記画像生成部は、前記検出部により検出された前記飲食物の属性に基づいて、前記飲食物の外観を変更した画像を生成する、前記(1)に記載の表示制御装置。
(3)
 前記検出部は、前記入力画像から検出された複数の前記飲食物の属性を検出し、
 前記画像生成部は、前記飲食物の属性に基づいて、選択的にそれぞれの前記飲食物の外観を変更した画像を生成する、前記(1)に記載の表示制御装置。
(4)
 前記画像生成部は、前記飲食物の属性が、予め設定された健康に良くない飲食物の属性に該当する場合または節制対象の飲食物の属性に該当する場合、前記飲食物の量を増やす、サイズを大きくする、または色、質感を、食欲を抑えるための所定の色、質感にするよう変更した画像を生成する、前記(2)または(3)に記載の表示制御装置。
(5)
 前記画像生成部は、さらにユーザ情報に基づいて、前記飲食物の外観を変更した画像を生成する、前記(2)~(4)のいずれか1項に記載の表示制御装置。
(6)
 前記ユーザ情報は、ユーザの生体情報、ユーザの健康状態を示す情報、ユーザの飲食物に関する嗜好情報、ユーザの飲食物に関する飲食禁止または飲食制限情報、ユーザのカロリー摂取情報、ユーザの塩分摂取情報、ユーザの脂質摂取情報、ユーザの糖分摂取情報、ユーザのアルコール分摂取情報、およびユーザのアレルギー情報の少なくともいずれかである、前記(5)に記載の表示制御装置。
(7)
 前記画像生成部は、ユーザ情報に基づいて、前記飲食物の外観を変更した画像を生成する、前記(1)~(5)のいずれか1項に記載の表示制御装置。
(8)
 前記ユーザ情報は、ユーザの生体情報、ユーザの健康状態を示す情報、ユーザの飲食物に関する嗜好情報、ユーザの飲食物に関する飲食禁止または飲食制限情報、ユーザのカロリー摂取情報、ユーザの塩分摂取情報、ユーザの脂質摂取情報、ユーザの糖分摂取情報、ユーザのアルコール分摂取情報、およびユーザのアレルギー情報の少なくともいずれかである、前記(7)に記載の表示制御装置。
(9)
 前記検出部は、ユーザ情報に基づいて、前記入力画像からユーザが飲食を禁止または制限されている飲食物の画像を検出し、
 前記画像生成部は、前記飲食を禁止または制限されている飲食物に対して、飲食禁止または制限を促すよう変更した画像を生成する、前記(1)~(5)のいずれか1項に記載の表示制御装置。
(10)
 前記ユーザ情報は、ユーザの生体情報、ユーザの健康状態を示す情報、ユーザの飲食物に関する嗜好情報、ユーザの飲食物に関する飲食禁止または飲食制限情報、ユーザのカロリー摂取情報、ユーザの塩分摂取情報、ユーザの脂質摂取情報、ユーザの糖分摂取情報、ユーザのアルコール分摂取情報、およびユーザのアレルギー情報の少なくともいずれかである、前記(9)に記載の表示制御装置。
(11)
 前記入力画像は、撮像部により実時間で撮像された撮像画像である、前記(1)~(10)のいずれか1項に記載の表示制御装置。
(12)
 前記撮像画像は、実空間に存在する飲食物を撮像した撮像画像である、前記(11)に記載の表示制御装置。
(13)
 前記撮像画像は、飲食物が提示された紙媒体または電子媒体を撮像した撮像画像である、前記(11)に記載の表示制御装置。
(14)
 前記検出部は、前記入力画像から、前記飲食物の周辺に配置されたオブジェクトの画像を検出し、
 前記画像生成部は、前記オブジェクトの外観は変更せずに、前記飲食物の外観を変更した画像を生成する、前記(1)~(13)のいずれか1項に記載の表示制御装置。
(15)
 前記検出部は、前記入力画像から、前記飲食物が入っている食器の画像を検出し、
 前記画像生成部は、前記飲食物とともに、前記食器の外観も変更した画像を生成する、前記(1)~(14)のいずれか1項に記載の表示制御装置。
(16)
 前記検出部は、ユーザの視線方向に在る飲食物を検出し、
 前記画像生成部は、前記検出部により検出された、前記ユーザの視線方向に在る飲食物の外観を変更した画像を生成する、前記(1)~(15)のいずれか1項に記載の表示制御装置。
(17)
 コンピュータを、
 入力画像に飲食物の画像が含まれているか否かを検出する検出部と、
 前記検出部により飲食物の画像が検出されたとき、当該飲食物の外観を変更した画像を生成する画像生成部と、
 前記画像生成部により生成された画像を表示部に表示するよう制御する表示制御部、
として機能させるためのプログラムが記録された記録媒体。
 1  HMD(Head Mounted Display)
 2  表示部
 3  撮像部
 3a  撮像レンズ
 4  照明部
 4a  発光部
 5  音声出力部
 6  音声入力部
 10  システムコントローラ
 10a  検出部
 10b  動作制御部
 11  撮像制御部
 12  表示画像処理部
 13  表示駆動部
 14  表示制御部
 15  撮像信号処理部
 16  音声信号処理部
 17  画像解析部
 18  照明制御部
 25  ストレージ部
 26  通信部
 27  画像入出力コントロール
 28  音声入出力コントロール
 29  音声合成部

Claims (17)

  1.  入力画像に飲食物の画像が含まれているか否かを検出する検出部と、
     前記検出部により飲食物の画像が検出されたとき、当該飲食物の外観を変更した画像を生成する画像生成部と、
     前記画像生成部により生成された画像を表示部に表示するよう制御する表示制御部と、
    を備える、表示制御装置。
  2.  前記検出部は、さらに前記飲食物の属性を検出し、
     前記画像生成部は、前記検出部により検出された前記飲食物の属性に基づいて、前記飲食物の外観を変更した画像を生成する、請求項1に記載の表示制御装置。
  3.  前記検出部は、前記入力画像から検出された複数の前記飲食物の属性を検出し、
     前記画像生成部は、前記飲食物の属性に基づいて、選択的にそれぞれの前記飲食物の外観を変更した画像を生成する、請求項1に記載の表示制御装置。
  4.  前記画像生成部は、前記飲食物の属性が、予め設定された健康に良くない飲食物の属性に該当する場合または節制対象の飲食物の属性に該当する場合、前記飲食物の量を増やす、サイズを大きくする、または色、質感を、食欲を抑えるための所定の色、質感にするよう変更した画像を生成する、請求項2に記載の表示制御装置。
  5.  前記画像生成部は、さらにユーザ情報に基づいて、前記飲食物の外観を変更した画像を生成する、請求項2に記載の表示制御装置。
  6.  前記ユーザ情報は、ユーザの生体情報、ユーザの健康状態を示す情報、ユーザの飲食物に関する嗜好情報、ユーザの飲食物に関する飲食禁止または飲食制限情報、ユーザのカロリー摂取情報、ユーザの塩分摂取情報、ユーザの脂質摂取情報、ユーザの糖分摂取情報、ユーザのアルコール分摂取情報、およびユーザのアレルギー情報の少なくともいずれかである、請求項5に記載の表示制御装置。
  7.  前記画像生成部は、ユーザ情報に基づいて、前記飲食物の外観を変更した画像を生成する、請求項1に記載の表示制御装置。
  8.  前記ユーザ情報は、ユーザの生体情報、ユーザの健康状態を示す情報、ユーザの飲食物に関する嗜好情報、ユーザの飲食物に関する飲食禁止または飲食制限情報、ユーザのカロリー摂取情報、ユーザの塩分摂取情報、ユーザの脂質摂取情報、ユーザの糖分摂取情報、ユーザのアルコール分摂取情報、およびユーザのアレルギー情報の少なくともいずれかである、請求項7に記載の表示制御装置。
  9.  前記検出部は、ユーザ情報に基づいて、前記入力画像からユーザが飲食を禁止または制限されている飲食物の画像を検出し、
     前記画像生成部は、前記飲食を禁止または制限されている飲食物に対して、飲食禁止または制限を促すよう変更した画像を生成する、請求項1に記載の表示制御装置。
  10.  前記ユーザ情報は、ユーザの生体情報、ユーザの健康状態を示す情報、ユーザの飲食物に関する嗜好情報、ユーザの飲食物に関する飲食禁止または飲食制限情報、ユーザのカロリー摂取情報、ユーザの塩分摂取情報、ユーザの脂質摂取情報、ユーザの糖分摂取情報、ユーザのアルコール分摂取情報、およびユーザのアレルギー情報の少なくともいずれかである、請求項9に記載の表示制御装置。
  11.  前記入力画像は、撮像部により実時間で撮像された撮像画像である、請求項1に記載の表示制御装置。
  12.  前記撮像画像は、実空間に存在する飲食物を撮像した撮像画像である、請求項11に記載の表示制御装置。
  13.  前記撮像画像は、飲食物が提示された紙媒体または電子媒体を撮像した撮像画像である、請求項11に記載の表示制御装置。
  14.  前記検出部は、前記入力画像から、前記飲食物の周辺に配置されたオブジェクトの画像を検出し、
     前記画像生成部は、前記オブジェクトの外観は変更せずに、前記飲食物の外観を変更した画像を生成する、請求項1に記載の表示制御装置。
  15.  前記検出部は、前記入力画像から、前記飲食物が入っている食器の画像を検出し、
     前記画像生成部は、前記飲食物とともに、前記食器の外観も変更した画像を生成する、請求項1に記載の表示制御装置。
  16.  前記検出部は、ユーザの視線方向に在る飲食物を検出し、
     前記画像生成部は、前記検出部により検出された、前記ユーザの視線方向に在る飲食物の外観を変更した画像を生成する、請求項1に記載の表示制御装置。
  17.  コンピュータを、
     入力画像に飲食物の画像が含まれているか否かを検出する検出部と、
     前記検出部により飲食物の画像が検出されたとき、当該飲食物の外観を変更した画像を生成する画像生成部と、
     前記画像生成部により生成された画像を表示部に表示するよう制御する表示制御部、
    として機能させるためのプログラムが記録された記録媒体。
PCT/JP2013/076408 2012-12-21 2013-09-27 表示制御装置および記録媒体 WO2014097706A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP13865138.5A EP2937855A4 (en) 2012-12-21 2013-09-27 DISPLAY CONTROL APPARATUS AND INFORMATION CARRIER
CN201380065261.5A CN104871236B (zh) 2012-12-21 2013-09-27 显示控制设备和方法
US14/652,428 US20150332620A1 (en) 2012-12-21 2013-09-27 Display control apparatus and recording medium
JP2014552967A JPWO2014097706A1 (ja) 2012-12-21 2013-09-27 表示制御装置および記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012279697 2012-12-21
JP2012-279697 2012-12-21

Publications (1)

Publication Number Publication Date
WO2014097706A1 true WO2014097706A1 (ja) 2014-06-26

Family

ID=50978056

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/076408 WO2014097706A1 (ja) 2012-12-21 2013-09-27 表示制御装置および記録媒体

Country Status (5)

Country Link
US (1) US20150332620A1 (ja)
EP (1) EP2937855A4 (ja)
JP (1) JPWO2014097706A1 (ja)
CN (1) CN104871236B (ja)
WO (1) WO2014097706A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016031254A1 (ja) * 2014-08-28 2016-03-03 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2016115125A (ja) * 2014-12-15 2016-06-23 Kddi株式会社 ウェアラブル検索システム
CN105786175A (zh) * 2015-01-09 2016-07-20 国际商业机器公司 基于接收到的容器的图像提供容量指示的方法、系统和设备
JP2016224086A (ja) * 2015-05-27 2016-12-28 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
CN108259700A (zh) * 2018-03-16 2018-07-06 东莞信大融合创新研究院 一种基于空间联合量化的隐式成像通信方法
CN108471330A (zh) * 2018-03-16 2018-08-31 东莞信大融合创新研究院 一种基于量化误差最小化的隐式成像通信方法
JP2019061518A (ja) * 2017-09-27 2019-04-18 株式会社Nttドコモ 情報処理装置及びプログラム
JPWO2020071057A1 (ja) * 2018-10-01 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2023054662A1 (ja) 2021-10-01 2023-04-06 株式会社電通 食品、感覚提示システムおよび感覚提示方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9772495B2 (en) * 2013-11-04 2017-09-26 Weng-Kong TAM Digital loupe device
KR102265086B1 (ko) * 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
US9858676B2 (en) * 2015-01-08 2018-01-02 International Business Machines Corporation Displaying location-based rules on augmented reality glasses
WO2017030193A1 (ja) * 2015-08-20 2017-02-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR102030884B1 (ko) * 2016-08-25 2019-11-18 가톨릭대학교 산학협력단 네트워크 기반의 비만관리 시스템
US9754168B1 (en) * 2017-05-16 2017-09-05 Sounds Food, Inc. Incentivizing foodstuff consumption through the use of augmented reality features
CN109756834B (zh) * 2017-11-06 2021-07-20 杨沁沁 一种音频骨传导处理方法、装置和系统
US20190341149A1 (en) 2018-05-07 2019-11-07 Medtronic Minimed, Inc. Augmented reality guidance for medical devices
US11526322B2 (en) * 2018-08-25 2022-12-13 Microsoft Technology Licensing, Llc Enhanced techniques for merging content from separate computing devices
KR102647656B1 (ko) * 2018-09-04 2024-03-15 삼성전자주식회사 증강 현실 영상에 부가 객체를 표시하는 전자 장치 및 상기 전자 장치의 구동 방법
EP3764274A1 (en) * 2019-07-11 2021-01-13 Koninklijke Philips N.V. An apparatus and method for performing image-based food quantity estimation
CN110987141A (zh) * 2019-12-23 2020-04-10 深圳市纳美健康科技有限公司 一种智能灯光辅助控制饭量的装置及方法
US11481985B1 (en) * 2021-04-23 2022-10-25 International Business Machines Corporation Augmented reality enabled appetite enhancement

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012208566A (ja) 2011-03-29 2012-10-25 Denso Corp 車載制御装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH109753A (ja) * 1996-06-26 1998-01-16 Matsushita Refrig Co Ltd 冷凍冷蔵庫の食品在庫管理装置
JP4890671B2 (ja) * 1999-07-23 2012-03-07 雅信 鯨田 個人別味判定機能を備えた料理もしくは食品の映像提供システム
JP2005338960A (ja) * 2004-05-24 2005-12-08 Hidemasa Yamaguchi 栄養計算方法、栄養計算プログラム及びコンピューター読み取り可能な記録媒体
US7474318B2 (en) * 2004-05-28 2009-01-06 National University Of Singapore Interactive system and method
US8549442B2 (en) * 2005-12-12 2013-10-01 Sony Computer Entertainment Inc. Voice and video control of interactive electronically simulated environment
US8684922B2 (en) * 2006-05-12 2014-04-01 Bao Tran Health monitoring system
JP2007334653A (ja) * 2006-06-15 2007-12-27 Matsushita Electric Ind Co Ltd 問診装置、問診方法、問診プログラム
US8223196B2 (en) * 2009-06-10 2012-07-17 Disney Enterprises, Inc. Projector systems and methods for producing digitally augmented, interactive cakes and other food products
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
CN102028542B (zh) * 2009-09-29 2015-03-11 理康互联科技(北京)有限公司 信息采集显示系统/方法/装置/媒介及设备和终端
JP5746477B2 (ja) * 2010-02-26 2015-07-08 キヤノン株式会社 モデル生成装置、3次元計測装置、それらの制御方法及びプログラム
JP5087101B2 (ja) * 2010-03-31 2012-11-28 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
JP2011221637A (ja) * 2010-04-06 2011-11-04 Sony Corp 情報処理装置、情報出力方法及びプログラム
JP2012113627A (ja) * 2010-11-26 2012-06-14 Terumo Corp 携帯端末、カロリー推定方法及びカロリー推定プログラム
US10133950B2 (en) * 2011-03-04 2018-11-20 Qualcomm Incorporated Dynamic template tracking
US9053483B2 (en) * 2011-09-30 2015-06-09 Microsoft Technology Licensing, Llc Personal audio/visual system providing allergy awareness
US20140002643A1 (en) * 2012-06-27 2014-01-02 International Business Machines Corporation Presentation of augmented reality images on mobile computing devices

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012208566A (ja) 2011-03-29 2012-10-25 Denso Corp 車載制御装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
PAO, JIKKURI MANABU: "Web Page Design Saizensen eno Michi Joshitsu no Page Design o Kiwameru", WEB CREATORS, vol. 33, 1 September 2004 (2004-09-01), pages 62 - 65, XP008179652 *
TAKUJI NARUMI ET AL.: "Augmented Satiety: Controlling Satiety by Changing Appearance of Food with Augmented Reality", IPSJ INTERACTION 2012, 17 March 2012 (2012-03-17), pages 25 - 32, XP008179423 *
TAKUJI NARUMI ET AL.: "Augmented Satiety: Controlling sense of satiety by manipulating appearance of food with augmented reality", INFORMATION PROCESSING SOCIETY OF JAPAN, INTERACTION, 15 March 2012 (2012-03-15), pages 25 - 32
TAKUJI NARUMI ET AL.: "Basic Study on an Augmented Feeling of Fullness", HUMAN INTERFACE SOCIETY KENKYU HOKOKUSHU 2011, vol. 13, 27 February 2012 (2012-02-27), pages 63 - 68, XP008179428 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10134164B2 (en) 2014-08-28 2018-11-20 Sony Corporation Information processing apparatus, information processing system, information processing method, and program
WO2016031254A1 (ja) * 2014-08-28 2016-03-03 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JPWO2016031254A1 (ja) * 2014-08-28 2017-06-15 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2016115125A (ja) * 2014-12-15 2016-06-23 Kddi株式会社 ウェアラブル検索システム
US10269183B2 (en) 2015-01-09 2019-04-23 International Business Machines Corporation Providing volume indicators based on received images of containers
CN105786175A (zh) * 2015-01-09 2016-07-20 国际商业机器公司 基于接收到的容器的图像提供容量指示的方法、系统和设备
CN105786175B (zh) * 2015-01-09 2018-09-04 国际商业机器公司 基于接收到的容器的图像提供容量指示的方法、系统和设备
US10810802B2 (en) 2015-01-09 2020-10-20 International Business Machines Corporation Providing volume indicators based on received images of containers
JP2016224086A (ja) * 2015-05-27 2016-12-28 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP2019061518A (ja) * 2017-09-27 2019-04-18 株式会社Nttドコモ 情報処理装置及びプログラム
CN108259700A (zh) * 2018-03-16 2018-07-06 东莞信大融合创新研究院 一种基于空间联合量化的隐式成像通信方法
CN108471330A (zh) * 2018-03-16 2018-08-31 东莞信大融合创新研究院 一种基于量化误差最小化的隐式成像通信方法
CN108259700B (zh) * 2018-03-16 2019-06-18 东莞信大融合创新研究院 一种基于空间联合量化的隐式成像通信方法
CN108471330B (zh) * 2018-03-16 2020-01-14 东莞信大融合创新研究院 一种基于量化误差最小化的隐式成像通信方法
JPWO2020071057A1 (ja) * 2018-10-01 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2023054662A1 (ja) 2021-10-01 2023-04-06 株式会社電通 食品、感覚提示システムおよび感覚提示方法

Also Published As

Publication number Publication date
EP2937855A1 (en) 2015-10-28
CN104871236B (zh) 2018-02-02
EP2937855A4 (en) 2016-08-10
CN104871236A (zh) 2015-08-26
JPWO2014097706A1 (ja) 2017-01-12
US20150332620A1 (en) 2015-11-19

Similar Documents

Publication Publication Date Title
WO2014097706A1 (ja) 表示制御装置および記録媒体
JP6299744B2 (ja) 情報処理装置および記憶媒体
JP6098326B2 (ja) 情報処理装置および記憶媒体
JP6094190B2 (ja) 情報処理装置および記録媒体
EP3992788B1 (en) Dark-mode display interface processing method, electronic device, and storage medium
JP2014167716A (ja) 情報処理装置および記憶媒体
US9881402B2 (en) Image processor and storage medium
JP5309448B2 (ja) 表示装置、表示方法
US9881517B2 (en) Information processing device and storage medium
JP5683745B2 (ja) 画像表示装置及び方法
US20080062291A1 (en) Image pickup apparatus and image pickup method
TW200827769A (en) Display device and display method
US20140292637A1 (en) Method for adjusting head-mounted display adaptively and head-mounted display
WO2015072202A1 (ja) 瞳孔径に基づく眼の疲労検出のための情報処理装置、方法、およびプログラム
JP2008096868A (ja) 撮像表示装置、撮像表示方法
JP2014090386A (ja) 情報処理システム、情報処理装置、およびプログラム
JP2013210643A (ja) 表示装置、表示方法
JP2014165706A (ja) 信号処理装置および記憶媒体
US20230341498A1 (en) Audio-based feedback for head-mountable device
CN114175045A (zh) 利用亮度变化来确定用户特征
JP6501389B2 (ja) ヘッドマウントディスプレイ装置、撮影制御方法、及びプログラム
JP2013083994A (ja) 表示装置、表示方法
JP2014143595A (ja) 画像記録装置
WO2019150668A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6108831B2 (ja) 携帯機器、サーバ、画像生成方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13865138

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014552967

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013865138

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14652428

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE