WO2018066190A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2018066190A1
WO2018066190A1 PCT/JP2017/024627 JP2017024627W WO2018066190A1 WO 2018066190 A1 WO2018066190 A1 WO 2018066190A1 JP 2017024627 W JP2017024627 W JP 2017024627W WO 2018066190 A1 WO2018066190 A1 WO 2018066190A1
Authority
WO
WIPO (PCT)
Prior art keywords
heating
cooking
user
emotion
control unit
Prior art date
Application number
PCT/JP2017/024627
Other languages
English (en)
French (fr)
Inventor
芳徳 高木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201780058010.2A priority Critical patent/CN109891362B/zh
Priority to US16/328,837 priority patent/US11212882B2/en
Priority to JP2018543591A priority patent/JP6891897B2/ja
Publication of WO2018066190A1 publication Critical patent/WO2018066190A1/ja

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24CDOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00Stoves or ranges heated by electric energy
    • F24C7/08Arrangement or mounting of control or safety devices
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24CDOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00Stoves or ranges heated by electric energy
    • F24C7/08Arrangement or mounting of control or safety devices
    • F24C7/082Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/083Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on tops, hot plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B6/00Heating by electric, magnetic or electromagnetic fields
    • H05B6/02Induction heating
    • H05B6/10Induction heating apparatus, other than furnaces, for specific applications
    • H05B6/12Cooking devices
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B6/00Heating by electric, magnetic or electromagnetic fields
    • H05B6/02Induction heating
    • H05B6/10Induction heating apparatus, other than furnaces, for specific applications
    • H05B6/12Cooking devices
    • H05B6/1209Cooking devices induction cooking plates or the like and devices to be used in combination with them
    • H05B6/1218Cooking devices induction cooking plates or the like and devices to be used in combination with them with arrangements using lights for heating zone state indication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B40/00Technologies aiming at improving the efficiency of home appliances, e.g. induction cooking or efficient technologies for refrigerators, freezers or dish washers

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • an electric heating cooker that cooks electricity using a heating coil has become widespread in terms of safety and energy efficiency.
  • a cooking utensil for an object to be heated is placed on the top board and heated, and a display indicating thermal power is performed by lighting a lamp, etc., but unlike a gas stove that uses fire, the user is It was difficult to grasp the strength intuitively.
  • Patent Document 2 discloses a technique for projecting and displaying on the outer surface of a cooking utensil a display that allows the user to intuitively understand the heating output.
  • Patent Document 3 discloses a technique for displaying a heating state with a sense closer to that of a gas cooker, regardless of the shape or size of the cooking container.
  • each of the above technologies is intended to accurately convey the heating situation, and does not take into account entertainment with entertainment. For example, if the flame is too large, it gives people a sense of fear, but if it is lit down, it gives a sense of security and relaxation.
  • the present disclosure proposes an information processing apparatus, an information processing method, and a program capable of changing the presentation of the situation during cooking according to the user emotion.
  • an emotion detection unit that detects a user's emotion and a control unit that controls to display and output a heating state during cooking, the control unit detects a user emotion detected by the emotion detection unit.
  • An information processing apparatus is proposed that changes the display of the heating status in response to the above.
  • the processor detects the emotion of the user, controls to display and output the heating status during cooking, and changes the display of the heating status according to the detected user emotion.
  • An information processing method is proposed.
  • the computer is caused to function as an emotion detection unit that detects a user's emotion and a control unit that controls to display and output a heating state during cooking, and the control unit is controlled by the emotion detection unit.
  • a program is proposed that changes the display of the heating status in accordance with the detected user emotion.
  • FIG. 1 is a diagram illustrating an overview of an entertainment cooking system according to an embodiment of the present disclosure.
  • the entertainment cooking system includes a heating cooking apparatus 1 (information processing apparatus) and a camera 111 that captures the periphery of the cooking area.
  • the cooking device 1 includes a heating unit 14 and a top plate 20, and the cooking utensil 2 is placed on the top plate 20.
  • the heating cooking device 1 can heat the cooking utensil 2 placed on the top plate 20 by passing a current through the heating coil 141 of the heating unit 14 disposed on the lower side of the top plate 20.
  • the heating cooking apparatus 1 by this embodiment has the output part 13 which outputs an image by projection, for example.
  • the output unit 13 projects a flame image 131 corresponding to the heating state (the intensity of heating output) by the heating coil 141 on the outer surface of the cooking utensil 2.
  • the user can grasp
  • the heating cooking apparatus 1 can detect the user's emotion by imaging the user's facial expression with the camera 111, and can change the flame image 131 in consideration of the user's emotion. Specifically, the cooking device 1 changes the size, color, or flickering of the flame image 131 so that the user has a comfortable emotion. Thereby, entertainment property, such as giving a relaxation effect to a user during cooking or eliminating the boring waiting time of stewed cooking, can be presented.
  • FIG. 2 is a block diagram showing an example of the configuration of the cooking device 1-1 according to the first embodiment.
  • the cooking device 1-1 includes a control unit 10-1, an emotion detection unit 11, an operation unit 12, an output unit 13, a heating unit 14, and a storage unit 15.
  • the control unit 10-1 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the cooking device 1-1 according to various programs.
  • the control unit 10-1 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 10-1 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • control unit 10-1 also functions as the heating state projection control unit 101 and the heating control unit 102.
  • the heating status projection control unit 101 controls the output unit 13 to project a display indicating the heating status by the heating unit 14.
  • the display indicating the heating status is a flame image (either a still image or a moving image) having a size (or number or color) proportional to the heating output.
  • the heating condition projection control unit 101 can change the image of the flame to be projected according to the user emotion detected by the emotion detection unit 11 described later.
  • the heating state projection control unit 101 changes the size and fluctuation of the flame so that the user has a comfortable feeling, and gives the user a relaxing effect and enjoyment.
  • the user emotion detected by the emotion detection unit 11 may be a plurality of emotion parameter values defined by an emotion model. Specifically, for example, Japanese Patent Application Laid-Open No.
  • the heating state projection control unit 101 feeds back such an emotion detection result and changes the size and fluctuation of the flame so that the user emotion becomes “pleasant emotion”.
  • the heating situation projection control unit 101 changes the direction in the direction as it is.
  • the change is changed in the opposite direction.
  • the heating control unit 102 controls the heating output by the heating unit 14. For example, the heating control unit 102 controls “weak”, “strong”, “ON / OFF”, and the like of the heating output in accordance with a user operation from the operation unit 12.
  • the emotion detection unit 11 has a function of detecting user emotions (joy, sadness, anger, surprise, anxiety, disgust, etc.). For example, the emotion detection unit 11 recognizes the face image of the user who is cooking from the captured image captured by the camera 111, and quantifies the user emotion from the recognition result of the face image. The emotion detection unit 11 can also recognize the user's speech content, voice color, and the like from the user voice collected by the microphone and quantify the user emotion. Furthermore, the emotion detection unit 11 can also recognize user biometric information (pulse, heartbeat, sweat rate, brain wave, body temperature, etc.) detected by the biosensor and quantify the user emotion. As a specific example of emotion analysis using biometric information, for example, as described in Japanese Patent Application Laid-Open No.
  • the emotion parameter value may be obtained from a plurality of types of biological information.
  • the user emotion is extracted from information such as the user's facial expression, gesture, and voice to predict the user emotion, Furthermore, the user's emotion may be predicted from the meta information of the content viewed by the user, and the user's emotion may be recognized based on the prediction results of both.
  • the operation unit 12 receives a heating output operation instruction from the user.
  • the operation unit 12 may be a touch sensor, a pressure sensor, a button, a switch, or a lever.
  • the user can operate the heating output intensity or ON / OFF from the operation unit 12.
  • the operation unit 12 is provided on the top plate 20, for example.
  • the output unit 13 has a function of outputting a display indicating the heating status.
  • the output unit 13 projects and outputs an image on the outer surface of the cooking utensil 2 as shown in FIG.
  • the output unit 13 may be a display device such as a liquid crystal display (LCD) or an organic EL (Electroluminescence) display.
  • the heating unit 14 has an electromagnetic induction heating function that heats the cooking utensil 2 placed on the top plate 20 by passing an electric current through the heating coil 141.
  • the storage unit 15 stores programs and parameters for the above-described control unit 10-1 to execute each function.
  • the storage unit 15 includes a storage device including a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, and a deletion device that deletes data recorded on the storage medium. .
  • FIG. 3 is a flowchart showing an operation process of the cooking device 1-1 according to the first embodiment.
  • the cooking device 1-1 projects an image for displaying the heating status by the heating status projection control unit 101 (step S103).
  • the heating status projection control unit 101 projects a flame image indicating the intensity of the heating output as the heating status on the outer surface of the cooking utensil 2 being heated.
  • the cooking device 1-1 detects the emotion of the user who is cooking by the emotion detection unit 11 (step S106).
  • the emotion detection unit 11 analyzes the user's facial expression based on the captured image captured by the camera 111 and quantifies the user's emotion.
  • the heating state projection control unit 101 of the heating cooking apparatus 1-1 changes the image of the heating state so that the user's emotion is directed toward pleasant emotion (step S109). For example, the heating state projection control unit 101 changes the flame image indicating the heating state using the flickering pattern stored in the storage unit 15, and the user's emotion goes to “comfortable” based on feedback based on the emotion detection result. Change the shimmering pattern.
  • Steps S106 to S109 described above are repeated until the heating stop operation is performed (step S112).
  • step S112 when heating stop operation (for example, power supply OFF) is performed (step S112 / Yes), the heating control part 102 stops the heating by the heating part 14 (step S115). At this time, the image projection of the flame by the heating state projection control unit 101 is also stopped.
  • heating stop operation for example, power supply OFF
  • control according to the user emotion according to the present embodiment is not limited to the projection control of the heating state, and can be used for the control of the heating output, for example.
  • control according to the user emotion according to the present embodiment is not limited to the projection control of the heating state, and can be used for the control of the heating output, for example.
  • a description will be given with reference to FIG.
  • FIG. 4 is a flowchart showing another operation process of the cooking device 1-1 according to the first embodiment. As shown in FIG. 4, first, the cooking device 1-1 projects an image for displaying the heating status by the heating status projection control unit 101 (step S123).
  • the cooking device 1-1 detects the emotion of the user who is cooking by the emotion detection unit 11 (step S126).
  • control unit 10-1 of the cooking device 1-1 determines whether or not the user emotion has reached an excitement and an unpleasant value that are equal to or greater than a predetermined value (step S129).
  • the excitement and discomfort values exceed a certain level, it can be determined that the user is in an emergency and is in a panic state.
  • step S129 / Yes when it is determined that the excitement and the unpleasant value are equal to or greater than the predetermined value (step S129 / Yes), the heating control unit 102 of the cooking device 1-1 determines that the user is in a panic state due to an emergency situation. Since it can be determined, heating by the heating unit 14 is stopped (step S132). At this time, the image projection of the flame by the heating state projection control unit 101 is also stopped.
  • the heating cooking apparatus 1-1 uses the heating situation projection control unit 101 in the same manner as the operation process described above.
  • the image of the heating situation is changed so that the user's emotion is directed toward pleasant emotion (step S135).
  • step S138 when a heating stop operation (for example, power OFF) is performed (step S138 / Yes), the heating control unit 102 stops heating by the heating unit 14 (step S132).
  • a heating stop operation for example, power OFF
  • the emotion detection target is a user, that is, an operator (cooker) who operates the heating cooking apparatus 1, but this embodiment is not limited to this, and heating is performed.
  • Other persons in the vicinity of the cooking device 1 can also perform control processing according to user emotions as targets for emotion detection.
  • the cooking device 1 in addition to the cook, for example, children or elderly people with dementia who do not cook, rather, the cooking device 1 should not be operated to prevent danger. (Hereinafter referred to as non-cookers).
  • FIG. 5 is a block diagram illustrating an example of the configuration of the cooking device 1-2 according to the present embodiment.
  • the heating cooking device 1-2 includes a control unit 10-2, an emotion detection unit 11, an operation unit 12, an output unit 13, a heating unit 14, a storage unit 15, and a distance measuring unit 16.
  • the control unit 10-2 functions as an arithmetic processing device and a control device, and controls the overall operation in the cooking device 1-2 according to various programs.
  • the control unit 10-2 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 10-2 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • control unit 10-2 also functions as the heating state projection control unit 103 and the heating control unit 102.
  • the heating status projection control unit 103 controls the output unit 13 to project a display indicating the heating status by the heating unit 14 as in the first embodiment. Further, the heating state projection control unit 103 according to the present embodiment projects the non-cooker according to the user's emotion of the non-cooker detected by the emotion detection unit 11 when the non-cooker approaches the cooking device 1-2. By changing the flame image, it is possible to prevent the non-cooker from feeling uncomfortable or nervous and approaching the cooking device 1-2. Whether or not the person is a non-cooker can be determined, for example, by an adult or a child. For example, in the case of “child”, it may be set in advance so as to be determined to be a non-cooker. Further, the user may register the face image of the non-cooker in advance.
  • the heating control unit 102 controls the heating output by the heating unit 14 as in the first embodiment.
  • the emotion detection unit 11 can detect the user emotion of the cook or non-cooker near the cooking device 1-2 by analyzing the facial expression from each captured face image.
  • the distance measuring unit 16 can detect the distance of a cook or non-cooker in the vicinity of the cooking device 1-2.
  • the distance measurement unit 16 may analyze a captured image captured by the camera 111 and measure the distance to a surrounding person, or may be a human sensor using infrared rays, a laser distance sensor, or a non-cooker. You may measure by the beacon detection transmitted from the given communication terminal.
  • FIG. 6 is a flowchart showing an operation process of the cooking device 1-2 according to the second embodiment.
  • the cooking device 1-2 projects an image for displaying the heating status by the heating status projection control unit 103 (step S203).
  • the distance measuring unit 16 detects the distance of the surrounding person from the cooking device 1-2 (step S206).
  • the cooking device 1-2 determines whether or not the non-cooker has approached a predetermined distance or more (step S209).
  • step S212 when the non-cooker approaches more than a predetermined distance (step S209 / No), the cooking device 1-2 detects the emotion of the non-cooker by the emotion detection unit 11 (step S212).
  • the heating situation projection control unit 103 changes the image of the heating situation so that the emotion of the non-cooker is directed toward an unpleasant emotion (step S215).
  • the heating state projection control unit 103 adjusts the size of the flame and the amount of fluctuation so that the user's emotion of the non-cooker is directed to “uncomfortable and excited or nervous”, and prevents the non-cooker from approaching. .
  • the heating state projection control unit 103 gives a sense of fear by increasing the flame and the fluctuation as the non-cooker approaches.
  • the heating cooking apparatus 1-2 changes the image of the heating situation by the heating situation projection control unit 103 so that the emotion of the cook turns to a pleasant feeling. (Step S218).
  • heating control part 102 stops the heating by the heating part 14 (step S225). At this time, the image projection of the flame by the heating state projection control unit 103 is also stopped.
  • the cooking device 1-2 can also make a warning sound or the like to prevent the child from approaching.
  • FIG. 7 is a diagram for explaining a method of physically isolating the cooking utensil 2 to realize danger prevention.
  • the cooking utensil 2 can be moved away when a non-cooker approaches.
  • a structure in which a fence 172 appears on the top plate 20 around the cooking utensil 2 (at least on the near side) from the cooking device 1-2 has brought a non-cooker closer. The approach can be blocked by the fence 172.
  • the cooking device 1-2 may not only move the cooking utensil 2 away or cause the fence 172 to appear only when a non-cooker approaches, but may perform appropriate control processing using the emotion detection result. .
  • the emotion parameter of “excitement-relaxation” on the second axis of the emotion model described above for example, when excitement is high, the cooking utensil 2 is further controlled and the fence 172 is controlled higher, If the degree of relaxation is high, it may be possible to allow the non-operator to approach to some extent.
  • the cooking utensil 2 and the non-operator, who are actually dangerous are isolated above and below the table or the fence.
  • the degree of danger may increase. Therefore, since it is assumed that the object that the child is interested in is an image of a flame projected on the cooking utensil 2 (a portion with a large visible change such as a flicker), the image of the flame is taken from the cooking utensil 2. By separating and guiding the child away, it is possible to achieve both operability and safety.
  • FIG. 7 a specific description will be given with reference to FIG.
  • FIG. 8 is a diagram illustrating the separation of the flame image 131 according to the present embodiment.
  • the heating cooking device 1-2 passes the flame image 131 projected on the cooking utensil 2 by the output unit 13 on the wall surface or on the wall surface, so that the TV in the living room Control is performed so that projection / display output is performed on the display device 4 and other display devices such as smartphones and tablet terminals.
  • the cooking device 1-2 may transmit the flame image 131 to the projector 3 connected via a home network or the like, and the projector 3 may project the flame image 131 on the wall surface of a living room or the like.
  • the flame image 131 is controlled to be gradually moved from the cooking utensil 2 by the projector 3, and finally the other display device, for example, the television device 4 as shown in FIG. May be displayed and output.
  • the heating cooking device 1-2 uses the emotion detection result of the non-cooker so that the non-cooker feels “fun” and “comfortable” in order to attract an appropriate induction speed and non-cooker's interest.
  • the flame image 131 may be changed.
  • the cooking device 1-2 may move the flame image 131 to guide the non-cooker, while projecting the flame image again for the cook on the cooking utensil 2.
  • FIG. 9 is a diagram showing a system configuration according to the present embodiment.
  • the cooking device 1-3 according to the present embodiment can connect to the communication terminal 5 that is the sharing destination via the network 6 to transmit and receive data.
  • the communication terminal 5 is realized by, for example, a smartphone, a mobile phone terminal, a tablet terminal, or a PC.
  • the cooking device 1-3 transmits the cooking status (specifically, for example, the heating status, a captured image obtained by imaging the cooking status, etc.) to the communication terminal 5 and shares the cooking status.
  • the communication terminal 5 displays the cooking status, accepts a heating adjustment operation (heating output strength, ON / OFF, etc.) as necessary, and transmits it as heating operation information to the heating cooking apparatus 1-3.
  • the cooking device 1-3 controls cooking output according to the received heating operation information, so that cooking can be performed jointly with other users at remote locations.
  • FIG. 10 is a block diagram illustrating a configuration example of the cooking device 1-3 according to the present embodiment.
  • the cooking device 1-3 includes a control unit 10-3, an emotion detection unit 11, an operation unit 12, an output unit 13, a heating unit 14, a storage unit 15, a cooking status acquisition unit 18, and a communication. Part 19.
  • the control unit 10-3 functions as an arithmetic processing device and a control device, and controls the overall operation in the cooking device 1-3 according to various programs.
  • the control unit 10-3 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor, for example.
  • the control unit 10-2 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • control unit 10-3 also functions as the heating status projection control unit 101, the heating control unit 104, the cooking status sharing control unit 105, the authority delegation determination unit 106, and the cooking content storage control unit 107.
  • the heating status projection control unit 101 controls the output unit 13 to project a display indicating the heating status by the heating unit 14 as in the first embodiment. Further, similarly to the first embodiment, the heating state projection control unit 101 changes the image of the flame to be projected so that the user has a comfortable emotion according to the detected user emotion.
  • the heating control unit 104 controls the heating output by the heating unit 14.
  • the control of the heating output is performed according to the heating operation information received from the communication terminal 5 of the sharing destination via the communication unit 19 in addition to the operation from the user by the operation unit 12.
  • the cooking status sharing control unit 105 transmits cooking status information from the communication unit 19 to the communication terminal 5 that is the sharing destination via the network 6.
  • the cooking status information is, for example, an image during cooking imaged by the camera 111, a heating status (heating output status), recipe information referred to by the user, a cooking name, a seasoning preference, and a use. Includes material information.
  • the sharing of cooking status will be described with reference to FIG.
  • FIG. 11 is a diagram for explaining cooking status sharing according to the present embodiment.
  • the cooking state in the heating cooking apparatus 1-3 is captured by the camera 111 and transmitted to the communication terminal 5 as the sharing destination as cooking status information.
  • the user's emotion detection result may be transmitted to the communication terminal 5 as the sharing destination.
  • a captured image 51 obtained by imaging the cooking state On the display screen of the communication terminal 5, a captured image 51 obtained by imaging the cooking state, an emotion detection result 52, a display indicating that the heating authority has been delegated, and a button for heating operation (strong or weak, ON / OFF) are displayed.
  • a button for heating operation strong or weak, ON / OFF
  • the strength of the heating output of the cooking device 1-3 can be grasped from the flame image projected on the cooking utensil 2, but the strength of the heating output is separately displayed on the display screen of the communication terminal 5 by means of numerical values or words. May be.
  • the sharing person gives cooking advice to the user by voice input, character input, input with video (video call, etc.) while viewing the captured image 51, or the heating authority is transferred and the button for the heating operation is displayed.
  • the sharer can predict the situation that will occur from the situation of cooking and the emotional state of the user (cooker), and perform advice and heat adjustment. Specifically, for example, if the intensity of the heating output is too strong and it burns as it is, but the user is nervous and the hand is not moving, the sharer advises to reduce the heating output or adjusts the heating To do.
  • the sharer advises to reduce the heating output or Adjust the heating.
  • advice or heating adjustment is performed to increase the heating output.
  • the advice input by voice or text is output as voice or displayed (projected) on the user side.
  • the communication terminal 5 includes a display unit such as a mobile phone terminal, a tablet terminal, a PC (Personal Computer), a wearable terminal (HMD (Head Mounted Display), a transparent HMD, a smart watch) in addition to the smartphone as shown in FIG.
  • a communication terminal provided.
  • the communication terminal 5 may be a home projector that can project an image on a wall surface of a kitchen or a living room, a table, or the like. Moreover, you may project the flame image corresponding to the heating condition on the user side on the cooking utensil 2 placed in the kitchen on the sharer side.
  • the authority delegation determination unit 106 determines whether or not to delegate the heating operation authority to the sharing destination user (sharer). For example, when the user has reached a certain degree of tension (exceeding a predetermined value) based on the detection result of the user emotion by the emotion detection unit 11, the authority delegation determination unit 106 gives the sharing destination user a heating operation authority. Is determined to be delegated. For example, when the user is more than a certain level of tension, or when the user is not focused, there is a high possibility that the user will be scorched or failed. Determine to delegate to the sharer.
  • the sharer may be designated in advance by the user at the start of cooking, or registered in advance by the cooking device 1-3 when it becomes necessary to transfer operating authority to someone during cooking. You may be automatically selected from candidates (cooking teachers, family members who live away). In the case of automatic selection, for example, a candidate who is sufficiently relaxed among candidates may be selected.
  • the cooking content storage control unit 107 stores information on the user's cooking status (captured image, operation history of heating output, recipe information, etc.), advice transmitted from the sharer, heating operation information, and the like as a cooking history. 15 is controlled so as to be stored. By accumulating the cooking history, it is possible to present an explanation of why the heating output was adjusted by the sharer later using a graph display or the like. Further, the cooking flow and the heating output adjustment content history when cooking is successful are also used to generate a “cooking game” as described later.
  • the cooking status acquisition unit 18 acquires the cooking status information on the user side. Specifically, for example, an image during cooking is acquired from the camera 111 as cooking status information. Moreover, a heating status (heating output status) is acquired from the heating unit 14 as cooking status information.
  • the recipe information referred to by the user, the name of the dish, the taste of seasoning, the information on the ingredients used, and the like are acquired from a communication terminal such as a smartphone used by the user (the user inputs in advance) Assuming you are searching for recipes and displaying them).
  • the used material may be acquired by object recognition from a captured image obtained by capturing the periphery of the kitchen with the camera 111, or the captured image may be presented as it is to the sharer as used material information.
  • the communication unit 19 is a communication module for transmitting / receiving data to / from other devices by wire / wireless.
  • the communication unit 19 is a system such as a wired LAN (Local Area Network), a wireless LAN, Wi-Fi (Wireless Fidelity, registered trademark), infrared communication, Bluetooth (registered trademark), short-range / non-contact communication, and the like. Wirelessly or directly via a network access point.
  • the configuration of the cooking device 1-3 according to the present embodiment has been specifically described above.
  • FIG. 12 is a sequence diagram showing an operation process of this embodiment.
  • the heating cooking apparatus 1-3 projects an image for displaying the heating status by the heating status projection control unit 101 (step S303).
  • the emotion detection unit 11 detects the emotion of the user who is cooking (step S306).
  • the cooking device 1-3 acquires the cooking status by the cooking status acquisition unit 18 (step S309).
  • the cooking status sharing control unit 105 of the heating cooking apparatus 1-3 transmits the detected user emotion and the acquired cooking status information to the sharing person (step S312).
  • the communication terminal 5 displays the received user emotion and cooking status information (step S315).
  • the sharer can appropriately give advice to the user with reference to the user emotion and the cooking situation.
  • the authority delegation determining unit of the cooking device 1-3 determines whether or not to transfer the heating authority to the sharer based on the user emotion (step S318).
  • step S318 / Yes when it is determined that the heating authority is transferred to the sharing person (step S318 / Yes), the control unit 10-3 of the heating cooking apparatus 1-3 transfers the heating authority to the communication terminal 5 that is the sharing destination. Is notified (step S321).
  • the communication terminal 5 requests the sharing person for heating adjustment (display such as “please perform heating operation”) (step S324), and the input heating operation information is input to the cooking device 1-3. (Step S327).
  • the heating control unit 104 of the heating cooking apparatus 1-3 adjusts the heating output of the heating unit 14 according to the received heating operation information by the sharing person (step S330).
  • the flame image corresponding to the heating state is projected onto the cooking utensil 2, but the present embodiment is not limited to this, and an image inside the cooking utensil 2 may be further projected.
  • An image in the cooking utensil 2 is captured by a camera provided in the kitchen or a camera provided in the cooking utensil 2.
  • the scent information may be a numerical value of the scent substance component amount detected by a sensor that measures the scent substance.
  • FIG. 13 shows an example of presenting various information during cooking.
  • the flame image 131 corresponding to the heating state and the video 133 in the cooking utensil 2 are projected on the outer surface of the cooking utensil 2 by the output unit 13 of the cooking device 1.
  • the projector 3 projects various detection results 134 such as temperature, aroma, and cooking status in real time. At this time, not only the actual measurement results are displayed, but also the emotion of the viewer is detected, and the display is deformed in the direction of "comfortable and excited” to improve entertainment. Is possible.
  • FIG. 14 is a flowchart of deformation display processing in consideration of user emotion. As shown in FIG. 14, first, the cooking device 1 projects the acquired cooking status from the output unit 13 or the projector 3 (step S343).
  • the cooking device 1 detects the user's emotion (step S346), and deforms the display of the cooking status so that the user's emotion is directed toward a pleasant emotion (eg, “comfortable and excited”) (step S349). . More specifically, the cooking device 1 learns by repeatedly performing deformation display and emotion detection, and performs deformation display in which the user's emotion is directed in the “comfortable and excited” direction. For example, when the temperature change is large, the temperature display is enlarged, and the optimum temperature display method for the user is learned according to whether or not the user's emotion has swung in the “comfortable and excited” direction. Further, when the amount of scent component exceeds 100, a large red display is performed, and an optimal scent component amount display method for the user is learned in accordance with whether or not the user's emotion has swung in the “comfortable and excited” direction.
  • FIG. 15 is a flowchart showing the fluctuation learning process according to the present embodiment.
  • the cooking device 1 acquires the heating status (step S353).
  • the heating state is a state of heating output by the heating unit 14 and is, for example, an operation input value from the operation unit 12, a current value of the heating coil 141, a heating temperature, or the like.
  • the cooking device 1 generates a flame flickering pattern (step S356).
  • the flame flickering pattern is generated from the acquired heating state, a certain amount of random number information, and the past flickering pattern.
  • the cooking device 1 outputs the generated flickering pattern (step S359). Specifically, for example, the output unit 13 projects the flame of the generated flickering pattern.
  • the cooking device 1 detects the user emotion (step S362), and determines whether the emotion is a comfortable emotion (for example, a pleasant emotion) (step S365). If the emotion is not comfortable (step S365 / No), the process from step S356 is repeated to change the flickering pattern.
  • the cooking device 1 uses a genetic algorithm to store a plurality of shimmering patterns as genes, and to actually output the user emotion (whether it was “pleasant” or “uncomfortable”) ) As an evaluation function, and a flickering pattern that is comfortable for the user may be learned.
  • the flickering pattern corresponds to the flickering of the flame, the flickering of the interior lighting if the cooking device 1 is a microwave oven type, and the blinking of the indicators of the various cooking devices.
  • the information detected by the various sensors provided in the cooking utensil 2 and the heating cooking device 1 such as the temperature information and the scent information in the cooking utensil 2 described above is stored in the sharing destination explained in the third embodiment. It can also be transmitted as information and displayed on the communication terminal 5. Further, in the shared kitchen, the cooking device according to the present embodiment is provided, and when the cooking utensil is placed, the flame image 131 and the video 133 in the cooking utensil 2 are displayed as in the projection example shown in FIG. You may make it project on the outer surface of a cooking appliance, and may make the various detection result 134 of a cooking condition project on a surrounding wall surface. Thereby, the sharing destination user can also perform cooking advice and heat adjustment as if he / she is standing in the same kitchen as the cooking user.
  • a cooking situation performed by a person who serves as a model in advance may be stored and scored in comparison with the cooking situation of the user. For example, if the operation of the heating output is correct, an image indicating “Fire OK!” Is projected around the kitchen and the score is added.
  • the user can use the “master heating output operation” and “video of the result” to match the timing of the “master heating output operation” that is presented.
  • a game that can be scored by manipulating it is also possible. At this time, it is not limited to the heating output operation of the heating cooking device, and it is also possible to improve the game performance by combining the operations of the plurality of heating cooking devices and cooking utensils, cooking operations and the like in substantially parallel.
  • a flame image is displayed as an image indicating a heating state by a so-called stove-type heating cooking apparatus 1 that places a cooking utensil 2 on a top plate and heats it with a heating coil provided under the top plate.
  • a so-called stove-type heating cooking apparatus 1 that places a cooking utensil 2 on a top plate and heats it with a heating coil provided under the top plate.
  • the cooking device according to the present embodiment may be a microwave-type cooking device.
  • a microwave-type cooking device When the heating of a kind that has been taken for granted in a pan (directly visible: visible) until now is heated using a microwave oven, the contents become invisible so that the contents cannot be seen directly. Therefore, in a microwave-type cooking device, an image of the inside is displayed and visualized on the outside of the door, or a flame image is displayed on the outside of the door according to the intensity of heating. Also good. It is also possible to change the flickering of the interior lighting and make the user feel comfortable.
  • the flame image to be projected in order to intuitively grasp the heating state in electric heating is changed according to the user emotion, thereby making the user emotion more comfortable. It is possible.
  • the third embodiment it is possible to entertain the viewer by sharing the cooking situation for learning or by deforming the display of the cooking situation. It also senses user sentiment, so you can relax in any scene during cooking, and learn what scenes you should not keep an eye on (concentrate).
  • this technique can also take the following structures.
  • the information processing apparatus according to (1) wherein the control unit controls to display a flame image corresponding to a heating output as the heating state.
  • the control unit changes a magnitude or fluctuation of a flame to be displayed so as to guide the user to a pleasant emotion according to the detected user emotion.
  • the control unit controls to stop heating by the heating coil when the user emotion detected by the emotion detection unit becomes a tension or an unpleasant value equal to or greater than a predetermined value.
  • the information processing apparatus according to any one of claims.
  • the emotion detection unit detects the emotions of the cook and the non-cooker, When the non-cooker approaches a heating place, the control unit changes the size or fluctuation of the flame to be displayed so as to lead the non-cooker to an uncomfortable or tense state according to the emotion of the non-cooker.
  • the information processing apparatus according to any one of (1) to (5).
  • (7) The information processing apparatus according to any one of (1) to (6), wherein the control unit controls the display of the heating status to be displayed on an external display device.
  • the control unit moves the place where the display of the heating status is projected so as to keep the non-cooker away from the heating place.
  • Any one of (1) to (7) The information processing apparatus according to claim 1.
  • the control unit controls to share information on cooking status including the heating status with other users in real time.
  • the control unit determines whether to delegate heating adjustment authority to the other user according to the emotion of the user.
  • the control unit controls to delegate the heating adjustment authority to the other user.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Induction Heating Cooking Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electric Stoves And Ranges (AREA)

Abstract

【課題】調理中の状況の提示をユーザ感情に応じて変化させることが可能な情報処理装置、情報処理方法、およびプログラムを提供する。 【解決手段】ユーザの感情を検知する感情検知部と、調理中における加熱状況を表示出力するよう制御する制御部と、を備え、前記制御部は、前記感情検知部により検知したユーザ感情に応じて、前記加熱状況の表示を変化させる、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
 本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
 近年、加熱コイルを用いて電気で調理を行う電気加熱調理器が、安全性の面やエネルギー効率の良さ等から普及してきている。このような電気加熱調理器は、天板に被加熱物の調理器具が載置され加熱し、ランプ点灯等により火力を示す表示を行うが、火を使用するガスコンロと異なり、利用者は火力の強さを直感的に把握し難かった。
 このような電気加熱調理器に関し、例えば下記特許文献1では、光を透過する天板を備えたコンロ装置において、天板の下方から加熱中の調理具の側面を照明することで、コンロ装置の正面に立っていなくても調理具が加熱中であることを容易に識別できる技術が開示されている。
 また、下記特許文献2では、使用者が感覚的に加熱出力を理解し易い表示を調理具の外面に投影表示する技術が開示されている。また、下記特許文献3では、調理容器の形状または大きさに関係なく、よりガス調理器に近い感覚で加熱状態を表示させる技術が開示されている。
特開2008-004387号公報 特開2003-272815号公報 特許第3909518号公報
 しかしながら、上記いずれの技術も、加熱の状況を正確に伝えることを目的としものであって、エンターテイメント性を備えた演出は考慮されていない。例えば炎というものは、大きすぎると人に恐怖感を与えるが、小さく灯る場合は安心感やリラックス効果を与える。
 そこで、本開示では、調理中の状況の提示をユーザ感情に応じて変化させることが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
 本開示によれば、ユーザの感情を検知する感情検知部と、調理中における加熱状況を表示出力するよう制御する制御部と、を備え、前記制御部は、前記感情検知部により検知したユーザ感情に応じて、前記加熱状況の表示を変化させる、情報処理装置を提案する。
 本開示によれば、プロセッサが、ユーザの感情を検知することと、調理中における加熱状況を表示出力するよう制御することと、前記検知したユーザ感情に応じて、前記加熱状況の表示を変化させることと、を含む、情報処理方法を提案する。
 本開示によれば、コンピュータを、ユーザの感情を検知する感情検知部と、調理中における加熱状況を表示出力するよう制御する制御部と、として機能させ、前記制御部は、前記感情検知部により検知したユーザ感情に応じて、前記加熱状況の表示を変化させる、プログラムを提案する。
 以上説明したように本開示によれば、調理中の状況の提示をユーザ感情に応じて変化させることが可能となる。
 なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態によるエンターテイメント調理システムの概要を説明する図である。 第1の実施形態による加熱調理装置の構成の一例を示すブロック図である。 第1の実施形態による加熱調理装置の動作処理を示すフローチャートである。 第1の実施形態の加熱調理装置の他の動作処理を示すフローチャートである。 第2の実施形態による加熱調理装置の構成の一例を示すブロック図である。 第2の実施形態による加熱調理装置の動作処理を示すフローチャートである。 第2の実施形態による、物理的に調理器具を隔離して危険防止を実現する方法について説明する図である。 第2の実施形態による炎画像の分離について説明する図である。 第3の実施形態によるエンターテイメント調理システムのシステム構成を説明する図である。 第3の実施形態による加熱調理装置の構成の一例を示すブロック図である。 第3の実施形態による調理状況の共有について説明する図である。 第3の実施形態による加熱調理装置の動作処理を示すシーケンス図である。 本開示の一実施形態による調理中における様々な情報を提示する例を示す図である。 本開示の一実施形態によるユーザ感情を考慮してデフォルメ表示処理のフローチャートである。 本開示の一実施形態による揺らめき学習処理を示すフローチャートである。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、説明は以下の順序で行うものとする。
 1.本開示の一実施形態によるエンターテイメント調理システムの概要
 2.各実施形態
  2-1.第1の実施形態
  2-2.第2の実施形態
  2-3.第3の実施形態
  2-4.補足
 3.まとめ
 <<1.本開示の一実施形態によるエンターテイメント調理システムの概要>>
 まず、本開示の一実施形態によるエンターテイメント調理システムの概要について説明する。図1は、本開示の一実施形態によるエンターテイメント調理システムの概要を説明する図である。
 図1に示すように、本実施形態によるエンターテイメント調理システムは、加熱調理装置1(情報処理装置)と、調理場周辺を撮像するカメラ111を含む。加熱調理装置1は、加熱部14と天板20を有し、天板20には調理器具2が載置される。加熱調理装置1は、天板20の下側に配置された加熱部14の加熱コイル141に電流を流すことで天板20に載置された調理器具2を加熱することが可能である。
 また、本実施形態による加熱調理装置1は、例えば投影により画像を出力する出力部13を有する。出力部13は、加熱コイル141による加熱状況(加熱出力の強さ)に応じた炎画像131を、調理器具2の外面に投影する。これにより、ユーザは、加熱調理装置1による加熱の状況を、火を用いたガスコンロのように直感的に把握することができる。
 さらに、本実施形態による加熱調理装置1は、カメラ111によりユーザの表情を撮像してユーザの感情を検知し、ユーザの感情を考慮して炎画像131を変化させることができる。具体的には、加熱調理装置1は、ユーザが快適な感情になるよう、炎画像131の大きさ、色、または揺らめき等を変化させる。これにより、調理中にユーザにリラックス効果を与えたり、煮込み料理の待ち時間の退屈さを解消したり等、エンターテインメント性を提示することができる。
 以上、本実施形態によるエンターテイメント調理システムの概要について説明した。続いて、本実施形態によるエンターテイメント調理システムを実現する加熱調理装置1について、複数の実施形態を用いて具体的に説明する。
 <<2.各実施形態>>
 <2-1.第1の実施形態>
 まず、本開示の第1の実施形態による加熱調理装置1-1について、図2~図4を参照して説明する。
 (2-1-1.構成)
 図2は、第1の実施形態による加熱調理装置1-1の構成の一例を示すブロック図である。図2に示すように、加熱調理装置1-1は、制御部10-1、感情検知部11、操作部12、出力部13、加熱部14、および記憶部15を有する。
 制御部10-1は、演算処理装置および制御装置として機能し、各種プログラムに従って加熱調理装置1-1内の動作全般を制御する。制御部10-1は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部10-1は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
 また、本実施形態による制御部10-1は、加熱状況投影制御部101、および加熱制御部102としても機能する。
 加熱状況投影制御部101は、加熱部14による加熱の状況を示す表示を出力部13により投影するよう制御する。加熱の状況を示す表示は、加熱出力に比例する大きさ(または数や色)の炎の画像(静止画または動画のいずれでも)である。また、本実施形態による加熱状況投影制御部101は、後述する感情検知部11により検知されたユーザ感情に応じて、投影する炎の画像を変化させることも可能である。例えば加熱状況投影制御部101は、ユーザが快適な感情になるよう、炎の大きさや揺らぎを変化させ、ユーザにリラックス効果や楽しさを与える。感情検知部11により検知されるユーザ感情は、感情モデルで定義される複数の感情パラメータ値であってもよい。具体的には、例えば特開2005-64839号公報を引用し、快適と不快とのどちらにより近いかの度合いを示す第1軸と、興奮または緊張とリラックスとのどちらにより近いかの度合いを示す第2軸との2軸により形成される2軸感情モデルが用いてもよい。この場合、2軸で定まる感情2次元空間におけるそれぞれの感情の状態が、第1軸方向のパラメータ(座標値)と第2軸方向のパラメータ(座標値)からなる感情パラメータにより表現される。加熱状況投影制御部101は、このような感情検知結果をフィードバックし、ユーザ感情が「快感情」になるよう炎の大きさや揺らぎを変化させる。例えば加熱状況投影制御部101は、炎の大きさや揺らぎを変化させた際に上記感情の第1軸において「快適(受け入れ)」方向にユーザ感情が振れた場合はそのままその方向で変化させ、反対に「不快(拒否方向)」方向に振れた場合は当該変化を逆方向に変化させる。
 加熱制御部102は、加熱部14による加熱出力を制御する。例えば加熱制御部102は、操作部12からのユーザ操作に従って加熱出力の「弱」、「強」、「ON/OFF」等を制御する。
 感情検知部11は、ユーザ感情(喜び、悲しみ、怒り、驚き、不安、嫌悪等)を検知する機能を有する。例えば感情検知部11は、カメラ111により撮像された撮像画像から調理中のユーザの顔画像を認識し、顔画像の認識結果からユーザ感情を定量化する。また、感情検知部11は、マイクロホンにより収音されたユーザ音声からユーザの発話内容、声色等を認識し、ユーザ感情を定量化することも可能である。さらに、感情検知部11は、生体センサにより検知されたユーザの生体情報(脈拍、心拍、発汗量、脳波、体温等)を認識し、ユーザ感情を定量化することも可能である。生体情報を用いた感情の解析の具体例としては、例えば特開2005-64839号公報に記載されているように、学習済み、またはユーザ個別に再学習を行った感情モデルを用いて、デジタル化された複数種類の生体情報から感情パラメータ値を求めてもよい。また、ユーザ感情をより精度良く認識するために、特開2007-41988号公報に記載されているように、ユーザの表情、ジェスチャー、声といった情報から特徴量を抽出してユーザ感情を予測し、さらにユーザが視聴しているコンテンツのメタ情報からユーザの感情を予測し、これら両者の予測結果に基づいてユーザの感情を認識してもよい。
 操作部12は、ユーザによる加熱出力の操作指示を受け付ける。操作部12は、タッチセンサ、圧力センサ、ボタン、スイッチ、またはレバーなどであってもよい。ユーザは、操作部12から加熱出力の強弱やON/OFFを操作することが可能である。図1には図示されていないが、操作部12は、例えば天板20上に設けられる。
 出力部13は、加熱状況を示す表示を出力する機能を有する。例えば出力部13は、図1に示すように、調理器具2の外面に画像を投影して出力する。また、出力部13は、液晶ディスプレイ(LCD:Liquid CrystalDisplay)、有機EL(Electroluminescence)ディスプレイなどの表示装置であってもよい。
 加熱部14は、加熱コイル141に電流を流して天板20に載置された調理器具2を加熱する電磁誘導加熱機能を有する。
 記憶部15は、上述した制御部10-1が各機能を実行するためのプログラムやパラメータを格納する。また、記憶部15は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含むストレージ装置により構成される。
 以上、本実施形態による加熱調理装置1-1の構成の一例について説明した。
 (2-1-2.動作処理)
 続いて、本実施形態による加熱調理装置1-1の動作処理について図3を参照して説明する。図3は、第1の実施形態による加熱調理装置1-1の動作処理を示すフローチャートである。
 図3に示すように、まず、加熱調理装置1-1は、加熱状況投影制御部101により、加熱状況を表示する画像を投影する(ステップS103)。具体的には、加熱状況投影制御部101は、加熱されている調理器具2の外面に、加熱状況として加熱出力の強さを示す炎の画像を投影する。
 次に、加熱調理装置1-1は、感情検知部11により、調理を行っているユーザの感情を検知する(ステップS106)。例えば感情検知部11は、カメラ111により撮像された撮像画像に基づいて、ユーザの表情を解析し、ユーザの感情を定量化する。
 次いで、加熱調理装置1-1の加熱状況投影制御部101は、ユーザの感情が快感情に向かうよう、加熱状況の画像を変化させる(ステップS109)。例えば加熱状況投影制御部101は、記憶部15に記憶されている揺らめきパターンを用いて加熱状況を示す炎の画像を変化させ、感情検知結果によるフィードバックを踏まえてユーザの感情が「快適」に向かうよう揺らめきパターンを変化させる。
 以上説明したステップS106~S109は、加熱停止操作が行われるまで繰り返される(ステップS112)。
 そして、加熱停止操作(例えば電源OFF)が行われると(ステップS112/Yes)、加熱制御部102は、加熱部14による加熱を停止する(ステップS115)。この際、加熱状況投影制御部101による炎の画像投影も停止される。
 これにより、加熱状況を示す炎の画像を用いてユーザにリラックス効果を与える等のエンターテインメント性を発揮することができる。
 以上、本実施形態による動作処理について具体的に説明した。なお、本実施形態によるユーザ感情に応じた制御は、加熱状況の投影制御に限定されず、例えば加熱出力の制御に用いることも可能である。以下、図4を参照して説明する。
 図4は、第1の実施形態の加熱調理装置1-1の他の動作処理を示すフローチャートである。図4に示すように、まず、加熱調理装置1-1は、加熱状況投影制御部101により、加熱状況を表示する画像を投影する(ステップS123)。
 次に、加熱調理装置1-1は、感情検知部11により、調理を行っているユーザの感情を検知する(ステップS126)。
 次いで、加熱調理装置1-1の制御部10-1は、ユーザ感情が、所定値以上の興奮および不快値になったか否かを判断する(ステップS129)。ある一定以上の興奮および不快値となった際には、ユーザが緊急事態に陥りパニック状態になっているものと判断できる。
 次に、所定値以上の興奮および不快値になったと判断された場合(ステップS129/Yes)、加熱調理装置1-1の加熱制御部102は、ユーザが緊急事態でパニック状態になっていると判断できるため、加熱部14による加熱を停止する(ステップS132)。この際、加熱状況投影制御部101による炎の画像投影も停止される。
 一方、所定値以上の興奮および不快値になっていないと判断された場合(ステップS129/No)、加熱調理装置1-1は、上述した動作処理と同様に、加熱状況投影制御部101により、ユーザの感情が快感情に向かうよう加熱状況の画像を変化させる(ステップS135)。
 そして、上述した動作処理と同様に、加熱停止操作(例えば電源OFF)が行われると(ステップS138/Yes)、加熱制御部102は、加熱部14による加熱を停止する(ステップS132)。
 これにより、安全面も考慮した動作処理が可能となる。
 <2-2.第2の実施形態>
 上述した第1の実施形態では、感情検知の対象はユーザ、すなわち加熱調理装置1を操作する操作者(調理者)であることを前提としているが、本実施形態はこれに限定されず、加熱調理装置1周辺に居る他の人物も感情検知の対象として、ユーザ感情に応じた制御処理を行うことが可能である。
 例えば加熱調理装置1が設置されているキッチンには、調理者以外にも、例えば子供や認知症の高齢者など、調理をしない者、むしろ危険防止のため加熱調理装置1の操作をさせるべきでない者(以下、非調理者と称す)が存在する。
 そこで、本実施形態では、加熱調理装置1を操作すべきでない、すなわち、危険防止のため加熱調理装置1に近付くべきでない人物を認識し、当該人物のユーザ感情に応じて適切な動作処理を行い、安全性を確保することを可能とする。以下、このような第2の実施形態について、図5~図8を参照して具体的に説明する。
 (2-2-1.構成)
 図5は、本実施形態による加熱調理装置1-2の構成の一例を示すブロック図である。図5に示すように、加熱調理装置1-2は、制御部10-2、感情検知部11、操作部12、出力部13、加熱部14、記憶部15、および測距部16を有する。
 制御部10-2は、演算処理装置および制御装置として機能し、各種プログラムに従って加熱調理装置1-2内の動作全般を制御する。制御部10-2は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部10-2は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
 また、本実施形態による制御部10-2は、加熱状況投影制御部103、および加熱制御部102としても機能する。
 加熱状況投影制御部103は、上記第1の実施形態と同様に、加熱部14による加熱の状況を示す表示を出力部13により投影するよう制御する。また、本実施形態による加熱状況投影制御部103は、非調理者が加熱調理装置1-2に近付いた際に、感情検知部11により検知された非調理者のユーザ感情に応じて、投影する炎の画像を変化させ、非調理者に不快感や緊張感を与えて加熱調理装置1-2に近付くことを防止することができる。なお非調理者か否かは、例えば大人か子供かで判別され得る。例えば「子供」の場合は非調理者であると判別するよう予め設定されていてもよい。また、ユーザが非調理者の顔画像を予め登録するようにしていてもよい。
 加熱制御部102は、上記第1の実施形態と同様に、加熱部14による加熱出力を制御する。
 また、感情検知部11、操作部12、出力部13、加熱部14、および記憶部15は、図2を参照して説明した第1の実施形態と同様であるため、ここでの説明は省略する。なお感情検知部11は、加熱調理装置1-2付近に居る調理者または非調理者のユーザ感情を、撮像されたそれぞれの顔画像から表情を解析することで検知することが可能である。
 測距部16は、加熱調理装置1-2付近に居る調理者または非調理者の距離を検知することが可能である。例えば測距部16は、カメラ111により撮像された撮像画像を解析して周辺の人物との距離を測定してもよいし、赤外線等による人感センサ、レーザ測距センサ、または非調理者に持たせた通信端末から発信されるビーコン検知により測定してもよい。
 以上、本実施形態による加熱調理装置1-2の構成の一例について説明した。
 (2-2-2.動作処理)
 続いて、本実施形態による加熱調理装置1-2の動作処理について図6を参照して説明する。図6は、第2の実施形態による加熱調理装置1-2の動作処理を示すフローチャートである。
 図6に示すように、まず、加熱調理装置1-2は、加熱状況投影制御部103により、加熱状況を表示する画像を投影する(ステップS203)。
 次に、加熱調理装置1-2は、測距部16により、周辺人物の加熱調理装置1-2からの距離を検知する(ステップS206)
 次いで、加熱調理装置1-2は、非調理者が所定の距離以上近付いたか否かを判断する(ステップS209)。
 次に、非調理者が所定の距離以上近付いた場合(ステップS209/No)、加熱調理装置1-2は、感情検知部11により、当該非調理者の感情を検知する(ステップS212)。
 次いで、加熱状況投影制御部103は、非調理者の感情が不快感情に向かうよう、加熱状況の画像を変化させる(ステップS215)。例えば加熱状況投影制御部103は、炎の大きさや揺らぎの量を調整して、非調理者のユーザ感情が「不快、および興奮または緊張」に向かうようにし、非調理者が近付くことを防止する。具体的には、加熱状況投影制御部103は、非調理者が近付けば近付く程、炎を非常に大きく、また、揺らぎも大きくして恐怖感を与えることが想定される。
 一方、非調理者が近付いていない場合(ステップS209/No)、加熱調理装置1-2は、加熱状況投影制御部103により、調理者の感情が快感情に向かうよう加熱状況の画像を変化させる(ステップS218)。
 そして、加熱停止操作(例えば電源OFF)が行われると(ステップS221/Yes)、加熱制御部102は、加熱部14による加熱を停止する(ステップS225)。この際、加熱状況投影制御部103による炎の画像投影も停止される。
 これにより、調理者以外の者、例えば子供が、調理器具2に投影した炎の揺らめきに興味を示して近付いてしまうことを防止することができる。なお加熱調理装置1-2は、さらに警告音等を出して子供が近付くことを防止することも可能である。
 また、危険防止のために、物理的に調理器具2を隔離する方法も考えられる。以下、図7を参照して説明する。
 図7は、物理的に調理器具2を隔離して危険防止を実現する方法について説明する図である。図7左側に示すように、例えば加熱調理装置1-2の天板20が上方にせり上がる構造にすることで、非調理者が近付いた際に調理器具2を遠ざけることができる。また、図7右側に示すように、例えば加熱調理装置1-2から天板20において調理器具2の周囲(少なくとも手前側)に柵172を出現させる構造にすることで、非調理者が近付いた際に柵172により接近を阻むことができる。
 なお、加熱調理装置1-2は、非調理者が近付いただけで調理器具2を遠ざけたり柵172を出現させたりするだけではなく、感情検知結果を用いて適切な制御処理を行ってもよい。例えば上述した感情モデルの第2軸の「興奮-リラックス」の感情パラメータを用いて、例えば興奮度が高い場合には、調理器具2をより遠く、また、柵172をより高く制御し、一方、リラックス度が高い場合には、非操作者の接近をある程度まで許すことが行われ得る。
 また、図7を参照した例では、実際に危険が大きい調理器具2と非操作者の間を、台や柵の上下で隔離したが、この場合、調理者にとって危険度が増す場合もある。そこで、子供が興味を示す対象は、調理器具2に投影されている炎の画像(揺らめき等、目に見える変化が大きい部分)であると想定されるため、かかる炎の画像を調理器具2から分離して子供を遠ざけるよう誘導することで、操作性と安全性を両立させることができる。以下、図8を参照して具体的に説明する。
 図8は、本実施形態による炎画像131の分離について説明する図である。加熱調理装置1-2は、非調理者Cが近付いて来た場合、調理器具2に出力部13で投影している炎画像131を、壁面上や、壁面上を通過して、リビングのテレビ装置4や、スマートフォン、タブレット端末といった他の表示装置に投影/表示出力するよう制御する。
 例えば加熱調理装置1-2は、ホームネットワーク等で接続するプロジェクター3に、炎画像131を送信し、プロジェクター3によりリビング等の壁面上に炎画像131を投影するようにしてもよい。
 また、プロジェクター3により炎画像131を調理器具2から徐々に移動するよう制御し、非調理者Cの動きを誘導しながら、最終的に他の表示装置、例えば図8に示すようにテレビ装置4に表示出力してもよい。この場合、加熱調理装置1-2は、適切な誘導速度や非調理者の興味を引くために、非調理者の感情検知結果を用いて、非調理者が「楽しい」「快適」と感じるよう炎画像131を変化させてもよい。
 また、加熱調理装置1-2は、炎画像131を移動させて非調理者の誘導を行う一方、調理器具2に対して調理者用に再び炎画像を投影するようにしてもよい。
 <2-3.第3の実施形態>
 続いて、第3の実施形態によるエンターテイメント調理システムについて説明する。本実施形態では、調理状況の情報を遠隔地の他者と共有し、共同して料理を行ったり、学習したりすることを可能とする。以下、図9~図12を参照して具体的に説明する。
 図9は、本実施形態によるシステム構成を示す図である。図9に示すように、本実施形態による加熱調理装置1-3は、ネットワーク6を介して共有先の通信端末5と接続し、データの送受信を行い得る。また、通信端末5は、例えばスマートフォン、携帯電話端末、タブレット端末、またはPC等により実現される。
 本実施形態による加熱調理装置1-3は、調理状況(具体的には、例えば加熱状況、調理中の様子を撮像した撮像画像等)を通信端末5に送信し、調理状況を共有する。通信端末5では、調理状況を表示すると共に、必要に応じて加熱調整操作(加熱出力の強弱、ON/OFF等)を受け付け、加熱操作情報として加熱調理装置1-3に送信する。そして、加熱調理装置1-3は、受信した加熱操作情報に従って加熱出力を制御することで、遠隔地にいる他ユーザと共同で料理を行うことを可能とする。
 (2-3-1.構成)
 次いで、本実施形態による加熱調理装置1-3の構成について図10を参照して説明する。図10は、本実施形態による加熱調理装置1-3の構成例を示すブロック図である。図10に示すように、加熱調理装置1-3は、制御部10-3、感情検知部11、操作部12、出力部13、加熱部14、記憶部15、調理状況取得部18、および通信部19を有する。
 制御部10-3は、演算処理装置および制御装置として機能し、各種プログラムに従って加熱調理装置1-3内の動作全般を制御する。制御部10-3は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部10-2は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
 また、本実施形態による制御部10-3は、加熱状況投影制御部101、加熱制御部104、調理状況共有制御部105、権限委譲判定部106、および調理内容記憶制御部107としても機能する。
 加熱状況投影制御部101は、上記第1の実施形態と同様に、加熱部14による加熱の状況を示す表示を出力部13により投影するよう制御する。また、加熱状況投影制御部101は、上記第1の実施形態と同様に、検知したユーザ感情に応じて、ユーザが快適な感情になるよう、投影する炎の画像を変化させる。
 加熱制御部104は、加熱部14による加熱出力を制御する。加熱出力の制御は、操作部12によるユーザからの操作の他、通信部19を介して共有先の通信端末5から受信した加熱操作情報に従って加熱出力の制御を行う。
 調理状況共有制御部105は、調理状況の情報を通信部19からネットワーク6を介して共有先の通信端末5へ送信する。調理状況の情報とは、例えばカメラ111により撮像された調理中の映像や、加熱状況(加熱出力の状態)、ユーザが参照しているレシピ情報、料理名、味付けの好み、および使用している材料の情報等を含む。ここで、図11を参照して調理状況の共有について説明する。
 図11は、本実施形態による調理状況の共有について説明する図である。図11に示すように、本実施形態では加熱調理装置1-3における調理の様子がカメラ111で撮像され、調理状況の情報として共有先の通信端末5へ送信される。共有先の通信端末5には、併せてユーザの感情検知結果が送信されてもよい。
 通信端末5の表示画面には、調理の様子を撮像した撮像画像51、感情検知結果52、および加熱権限が委譲された旨を示す表示と加熱操作用のボタン(強弱、ON/OFF)が表示されている。加熱調理装置1-3の加熱出力の強さは、調理器具2に投影された炎画像により把握され得るが、別途、加熱出力の強さを数値や言葉で通信端末5の表示画面に表示してもよい。
 共有者は、撮像画像51を見ながら調理のアドバイスを音声入力、文字入力、映像を伴う入力(ビデオ通話等)によりユーザに対して行ったり、加熱権限が委譲されて加熱操作用のボタンが表示された際には適切な加熱出力に調整したりすることで、遠隔地のユーザと一緒に料理を行うことができる。例えば共有者は、調理の状況とユーザ(調理者)の感情状態から、この後に起こる事態を予測し、アドバイスや加熱調整を行うことができる。具体的には、例えば加熱出力の強さが強すぎてこのままでは焦げてしまうのに、ユーザが緊張していて手が動いていない場合、共有者は、加熱出力を弱めるようアドバイスしたり加熱調整したりする。また、加熱出力の強さは適切であるが、そろそろ加熱を停止するタイミングであるにも関わらずユーザがリラックスして集中していない状態にある場合、共有者は、加熱出力を弱めるようアドバイスまたは加熱調整する。また、ユーザが急いでいる(焦っている)感情状態であるにも関わらず加熱出力が弱い場合には、加熱出力を強めるようアドバイスまたは加熱調整する。音声や文字により入力されたアドバイスは、ユーザ側において音声出力または表示(投影)出力される。これにより、ユーザ(調理者)は、料理中のどの場面ではリラックスしていてもよく、どういった場面が目を離すべきでないか(集中すべきか)を学ぶことができる。
 通信端末5は、図11に示すようなスマートフォンの他、携帯電話端末、タブレット端末、PC(Personal Computer)、ウェアラブル端末(HMD(Head Mounted Display)、透過型HMD、スマートウォッチ)等の表示部を備える通信端末により実現される。若しくは、通信端末5は、キッチンやリビングの壁面、テーブル上等に画像を投影することが可能なホームプロジェクターであってもよい。また、共有者側のキッチンに置いてある調理器具2に、ユーザ側の加熱状況に対応する炎の画像を投影してもよい。
 権限委譲判定部106は、加熱の操作権限を共有先ユーザ(共有者)に委譲するか否かを判定する。例えば権限委譲判定部106は、感情検知部11によるユーザ感情の検知結果に基づいて、ユーザが一定以上の緊張度に達した場合(所定値を上回った場合)、共有先ユーザに加熱の操作権限を委譲すると判定する。例えばユーザが一定以上の緊張状態にある場合、若しくは集中力が無い状態にある場合、焦がしてしまったり失敗してしまったりする可能性が高いため、権限委譲判定部106は、加熱の操作権限を共有者に委譲するよう判定する。
 なお共有者は、調理開始時点においてユーザが予め指定してもよいし、調理途中で操作権限を誰かに委譲する必要が生じた場合に、加熱調理装置1-3により、事前に登録されている候補者(料理の先生、離れて暮らす家族など)から自動的に選出してもよい。自動選出の場合、例えば候補者のうち十分にリラックスしている人を選出するようにしてもよい。
 調理内容記憶制御部107は、ユーザの調理状況の情報(撮像画像、加熱出力の操作履歴、レシピ情報等)や、共有者側から送信されたアドバイス、加熱操作情報等を、調理履歴として記憶部15に記憶するよう制御する。調理履歴を蓄積することで、後でグラフ表示等を用いて、共有者による加熱出力の調整がなぜ行われたかの説明を提示することができる。また、調理が成功した際の調理の流れや加熱出力の調整内容履歴は、後述するような「調理ゲーム」の生成にも用いられる。
 調理状況取得部18は、ユーザ側の調理状況の情報を取得する。具体的には、例えばカメラ111から、調理状況の情報として調理中の映像を取得する。また、加熱部14から、調理状況の情報として加熱状況(加熱出力の状態)を取得する。また、ユーザが参照しているレシピ情報、料理名、味付けの好み、および使用している材料の情報等は、ユーザが使用しているスマートフォン等の通信端末から取得する(予めユーザが入力したりレシピ検索して表示させたりしていることを想定)。若しくは、使用している材料は、カメラ111によりキッチン周辺を撮像した撮像画像から物体認識により取得されてもよいし、その撮像画像を使用材料情報としてそのまま共有者に提示してもよい。
 通信部19は、有線/無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部19は、例えば有線LAN(Local Area Network)、無線LAN、Wi-Fi(Wireless Fidelity、登録商標)、赤外線通信、Bluetooth(登録商標)、近距離/非接触通信等の方式で、外部機器と直接、またはネットワークアクセスポイントを介して無線通信する。
 なお、本実施形態による感情検知部11、操作部12、出力部13、加熱部14、および記憶部15は、図2を参照して説明した第1の実施形態と同様であるため、ここでの説明は省略する。
 以上、本実施形態による加熱調理装置1-3の構成について具体的に説明した。
 (2-3-2.動作処理)
 続いて、本実施形態によるエンターテインメント加熱調理システムの動作処理について図12を参照して説明する。図12は、本実施形態の動作処理を示すシーケンス図である。
 図12に示すように、まず、加熱調理装置1-3は、加熱状況投影制御部101により、加熱状況を表示する画像を投影する(ステップS303)。
 次に、加熱調理装置1-3は、感情検知部11により、調理を行っているユーザの感情を検知する(ステップS306)。
 次いで、加熱調理装置1-3は、調理状況取得部18により調理状況を取得する(ステップS309)。
 次に、加熱調理装置1-3の調理状況共有制御部105は、検知したユーザ感情および取得した調理状況の情報を共有者へ送信する(ステップS312)。
 次いで、通信端末5は、受信したユーザ感情および調理状況の情報を表示する(ステップS315)。共有者は、ユーザ感情と調理状況を参照してユーザに対して適宜アドバイスを行い得る。
 続いて、加熱調理装置1-3の権限委譲判定部は、ユーザ感情に基づいて加熱権限を共有者に委譲するか否かを判定する(ステップS318)。
 次に、加熱権限を共有者に委譲すると判定された場合(ステップS318/Yes)、加熱調理装置1-3の制御部10-3は、共有先の通信端末5に、加熱権限を委譲する旨の通知を行う(ステップS321)。
 次いで、通信端末5は、共有者に対して加熱調整の要請(「加熱の操作をしてください」といった表示等)を行い(ステップS324)、入力された加熱操作情報を加熱調理装置1-3に送信する(ステップS327)。
 そして、加熱調理装置1-3の加熱制御部104は、受信した共有者による加熱操作情報に従って、加熱部14の加熱出力を調整する(ステップS330)。
 これにより、本実施形態では、調理状況を他者と共有して他者から適切なアドバイスを貰ったり、加熱調整を他者に委譲して共同して調理を行ったりすることができる。
 <2-4.補足>
 続いて、本実施形態によるエンターテインメント加熱調理システムのエンターテインメント性をさらに高める実施例について補足する。
 (2-4-1.調理状況投影のバリエーション)
 以上説明した各実施形態では、加熱状況に応じた炎の画像を調理器具2に投影したが、本実施形態はこれに限定されず、さらに調理器具2内の映像を投影してもよい。調理器具2内の映像は、キッチンに設けられたカメラや、調理器具2に設けられたカメラにより撮像される。
 さらに、調理器具2内の映像に限らず、調理器具2内の温度情報、香り情報等、調理器具2や加熱調理装置1に設けられた各種センサで検知した情報も調理器具2または周辺に投影するようにしてもよい。香り情報は、香り物質を測定するセンサにより検知した香り物質成分量の数値であってもよい。
 ここで、図13に、調理中における様々な情報を提示する例を示す。図13に示すように、加熱調理装置1の出力部13により、加熱状況に応じた炎画像131と、調理器具2内の映像133が調理器具2の外面に投影される。また、プロジェクター3により、温度、香り、調理状況等の各種検知結果134がリアルタイムで投影される。この際、実際に測定した結果をただ表示するだけでなく、見ている人の感情を検知して、「快適かつ興奮」状態になる方向に表示をデフォルメして、よりエンターテイメント性を高めることも可能である。
 図14は、ユーザ感情を考慮してデフォルメ表示処理のフローチャートである。図14に示すように、まず、加熱調理装置1は、取得した調理状況を出力部13やプロジェクター3から投影する(ステップS343)。
 次に、加熱調理装置1は、ユーザの感情を検知し(ステップS346)、ユーザの感情が快感情(例えば、「快適かつ興奮」)に向かうよう、調理状況の表示をデフォルメする(ステップS349)。より具体的には、加熱調理装置1は、デフォルメ表示と感情検知を繰り返して学習し、ユーザの感情が「快適かつ興奮」方向に向かうデフォルメ表示を行う。例えば、温度変化が大きい場合に温度の表示を大きくして、ユーザの感情が「快適かつ興奮」方向に振れたか否かに応じて、ユーザに最適な温度表示方法を学習する。また、香り成分量が100を超える場合に、赤く大きく表示をし、ユーザの感情が「快適かつ興奮」方向に振れたか否かに応じて、ユーザに最適な香り成分量表示方法を学習する。
 このような学習は、加熱出力に応じた炎画像131の生成にも応用される。図15は、本実施形態による揺らめき学習処理を示すフローチャートである。
 図15に示すように、まず、加熱調理装置1は、加熱状況を取得する(ステップS353)。加熱状況とは、加熱部14による加熱出力の状況であって、例えば操作部12からの操作入力値、加熱コイル141の電流値、または加熱温度等である。
 次に、加熱調理装置1は、炎の揺らめきパターンを生成する(ステップS356)。炎の揺らめきパターンは、上記取得した加熱状況、ある程度の乱数情報、および過去の揺らめきパターンから生成される。
 次いで、加熱調理装置1は、生成した揺らめきパターンを出力する(ステップS359)。具体的には、例えば出力部13により、生成した揺らめきパターンの炎を投影する。
 次に、加熱調理装置1は、ユーザ感情を検知し(ステップS362)、快適な感情(例えば心地よい感情)になっているか否かを判断する(ステップS365)。快適な感情になっていない場合(ステップS365/No)、上記ステップS356からの処理を繰り返し、揺らめきパターンを変更する。なお、加熱調理装置1は、遺伝的アルゴリズムを用いて、複数の揺らめきパターンを遺伝子に見立てて保持しておき、それを実際に出力した際のユーザ感情(「快」であったか「不快」であったか)を評価関数としてフィードバックし、ユーザにとって心地よい揺らめきパターンを学習していってもよい。
 なお、揺らめきパターンは、炎の揺らめきの他、加熱調理装置1が電子レンジ型であれば庫内照明の揺らめき、また、各種加熱調理装置のインジケーター部等の明滅に相当する。
 以上説明した調理器具2内の温度情報、香り情報等、調理器具2や加熱調理装置1に設けられた各種センサで検知した情報は、第3の実施形態で説明した共有先に、調理状況の情報として送信して通信端末5で表示させることも可能である。また、共有先のキッチンにも本実施形態による加熱調理装置があり、調理器具が載置されている場合、図13に示す投影例と同様に、炎画像131および調理器具2内の映像133を調理器具の外面に投影し、周辺の壁面には調理状況の各種検知結果134が投影されるようにしてもよい。これにより、共有先のユーザも、あたかも調理側ユーザと同じキッチンに立って調理を行っているような感覚で、調理のアドバイスや加熱調整を行うことができる。
 (2-4-2.調理ゲーム)
 また、本実施形態によるエンターテインメント加熱調理システムでは、さらにゲーム性を持たせることも可能である。
 例えば、予め手本となる人物により行われた調理状況を記憶し、ユーザの調理状況と比較してスコア化してもよい。例えば加熱出力の操作が正しければ「火加減OK!」と示す画像をキッチン周辺に投影して点数を加算する。
 また、実際に食材を用意しなくても、「達人の加熱出力操作」と「その結果の映像」を用いて、提示された「達人の加熱出力操作」のタイミングに合わせて、ユーザが加熱出力操作をしていき、スコア化するゲームも考えられる。この際、加熱調理装置の加熱出力操作に限定されず、複数の加熱調理装置や調理器具の操作、調理動作等を略並列に組み合わせることによってゲーム性を高めることも可能である。
 (2-4-3.応用例)
 上述した各実施形態では、天板上に調理器具2を載置して天板の下に設けられた加熱コイルで加熱する所謂コンロ型の加熱調理装置1により、加熱状況を示す画像として炎画像131を調理器具2に投影する例を説明したが、本実施形態はこれに限定されない。本実施形態は、今まで可視状態であったプロセスがメカニズムの変更によって不可視状態になった際に直感的な操作が可能になるよう再び可視化する装置全てに応用できる。
 例えば、本実施形態による加熱調理装置は、電子レンジ型の加熱調理装置であってもよい。今まで鍋(直接見ることが可能:可視状態)で行うのが当たり前であった類の加熱を、電子レンジを用いて加熱すると、中身が直接見ることができない不可視状態となる。そこで、電子レンジ型の加熱調理装置において、扉の外側に内部の様子を撮像した映像を表示して可視化したり、加熱の強さに応じて炎の画像を扉の外側に表示したりしてもよい。また、庫内照明の揺らめきを変化させ、ユーザを心地よい感情にさせることも可能である。
  <<4.まとめ>>
 上述したように、本開示の実施形態によるエンターテインメント調理システムでは、調理中の状況の提示をユーザ感情に応じて変化させることを可能とする。
 具体的には、上記第1の実施形態によれば、電気加熱における加熱状況を直感的に把握させるために投影する炎画像を、ユーザ感情に応じて変化させ、ユーザの感情をより快適にすることが可能である。
 また、上記第2の実施形態によれば、調理中において、調理者ではない非調理者(主に子供や認知症の高齢者など)が、加熱部などの危険な個所に近づいた際に、それ以上危険個所に近づかないようにすることができる。
 また、上記第3の実施形態によれば、料理状況を共有して学びの場にしたり、調理状況の表示をデフォルメすることで、見る人を楽しませることができる。また、ユーザ感情もセンシングしているため、料理中のどの場面ではリラックスしていてもよく、どういった場面が目を離すべきでないか(集中すべきか)も学ぶことができる。
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 例えば、上述した加熱調理装置1に内蔵されるCPU、ROM、およびRAM等のハードウェアに、加熱調理装置1の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、本技術は以下のような構成も取ることができる。
(1)
 ユーザの感情を検知する感情検知部と、
 調理中における加熱状況を表示出力するよう制御する制御部と、
を備え、
 前記制御部は、前記感情検知部により検知したユーザ感情に応じて、前記加熱状況の表示を変化させる、情報処理装置。
(2)
 前記制御部は、前記加熱状況として加熱出力に応じた炎の画像を表示するよう制御する、前記(1)に記載の情報処理装置。
(3)
 前記制御部は、前記検知されたユーザ感情に応じて、ユーザを快感情へ導くよう、表示する炎の大きさまたは揺らぎを変化させる、前記(2)に記載の情報処理装置。
(4)
 前記制御部は、前記加熱状況の表示を、調理器具に投影するよう制御する、前記(1)~(3)のいずれか1項に記載の情報処理装置。
(5)
 前記制御部は、前記感情検知部により検知したユーザ感情が所定値以上の緊張度または不快値となった際は、加熱コイルによる加熱を停止するよう制御する、前記(1)~(4)のいずれか1項に記載の情報処理装置。
(6)
 前記感情検知部は、調理者および非調理者の感情を検知し、
 前記制御部は、前記非調理者が加熱場所に近付いた場合、前記非調理者の感情に応じて、非調理者を不快または緊張状態へ導くよう、表示する炎の大きさまたは揺らぎを変化させる、前記(1)~(5)のいずれか1項に記載の情報処理装置。
(7)
 前記制御部は、前記加熱状況の表示を、外部の表示装置で表示させるよう制御する、前記(1)~(6)のいずれか1項に記載の情報処理装置。
(8)
 前記制御部は、非調理者が加熱場所に近付いた場合、前記非調理者を加熱場所から遠ざけるよう、前記加熱状況の表示を投影する場所を移動させる、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(9)
 前記制御部は、前記加熱状況を含む調理状況の情報を他ユーザとリアルタイムで共有するよう制御する、前記(1)~(8)のいずれか1項に記載の情報処理装置。
(10)
 前記制御部は、前記ユーザの感情に応じて、加熱の調整権限を前記他ユーザに委譲するか否かを判定する、前記(9)に記載の情報処理装置。
(11)
 前記制御部は、前記ユーザの緊張度が所定値を上回った場合、前記加熱の調整権限を前記他ユーザに委譲するよう制御する、前記(10)に記載の情報処理装置。
(12)
 前記制御部は、調理中における調理器具の内側を撮像した撮像画像を調理状況の情報に含めて前記他ユーザの通信端末へ送信するよう制御する、前記(10)または(11)に記載の情報処理装置。
(13)
 プロセッサが、
 ユーザの感情を検知することと、
 調理中における加熱状況を表示出力するよう制御することと、
 前記検知したユーザ感情に応じて、前記加熱状況の表示を変化させることと、
を含む、情報処理方法。
(14)
 コンピュータを、
 ユーザの感情を検知する感情検知部と、
 調理中における加熱状況を表示出力するよう制御する制御部と、
として機能させ、
 前記制御部は、前記感情検知部により検知したユーザ感情に応じて、前記加熱状況の表示を変化させる、プログラム。
 1  加熱調理装置
  10  制御部
   101、103 加熱状況投影制御部
   102、104 加熱制御部
   105 調理状況共有制御部
   106 権限委譲判定部
   107 調理内容記憶制御部
  11 感情検知部
  12 操作部
  13 出力部
  14 加熱部
   141 加熱コイル
  15 記憶部
  16 測距部
  18 調理状況取得部
  19 通信部
  20 天板
  131 炎画像
  133 調理器具内の映像
  134 各種検知結果
 2 調理器具
 3 プロジェクター
 4 テレビ装置
 5 通信端末
 6 ネットワーク
 111 カメラ

Claims (14)

  1.  ユーザの感情を検知する感情検知部と、
     調理中における加熱状況を表示出力するよう制御する制御部と、
    を備え、
     前記制御部は、前記感情検知部により検知したユーザ感情に応じて、前記加熱状況の表示を変化させる、情報処理装置。
  2.  前記制御部は、前記加熱状況として加熱出力に応じた炎の画像を表示するよう制御する、請求項1に記載の情報処理装置。
  3.  前記制御部は、前記検知されたユーザ感情に応じて、ユーザを快感情へ導くよう、表示する炎の大きさまたは揺らぎを変化させる、請求項2に記載の情報処理装置。
  4.  前記制御部は、前記加熱状況の表示を、調理器具に投影するよう制御する、請求項1に記載の情報処理装置。
  5.  前記制御部は、前記感情検知部により検知したユーザ感情が所定値以上の緊張度または不快値となった際は、加熱コイルによる加熱を停止するよう制御する、請求項1に記載の情報処理装置。
  6.  前記感情検知部は、調理者および非調理者の感情を検知し、
     前記制御部は、前記非調理者が加熱場所に近付いた場合、前記非調理者の感情に応じて、非調理者を不快または緊張状態へ導くよう、表示する炎の大きさまたは揺らぎを変化させる、請求項1に記載の情報処理装置。
  7.  前記制御部は、前記加熱状況の表示を、外部の表示装置で表示させるよう制御する、請求項1に記載の情報処理装置。
  8.  前記制御部は、非調理者が加熱場所に近付いた場合、前記非調理者を加熱場所から遠ざけるよう、前記加熱状況の表示を投影する場所を移動させる、請求項1に記載の情報処理装置。
  9.  前記制御部は、前記加熱状況を含む調理状況の情報を他ユーザとリアルタイムで共有するよう制御する、請求項1に記載の情報処理装置。
  10.  前記制御部は、前記ユーザの感情に応じて、加熱の調整権限を前記他ユーザに委譲するか否かを判定する、請求項9に記載の情報処理装置。
  11.  前記制御部は、前記ユーザの緊張度が所定値を上回った場合、前記加熱の調整権限を前記他ユーザに委譲するよう制御する、請求項10に記載の情報処理装置。
  12.  前記制御部は、調理中における調理器具の内側を撮像した撮像画像を調理状況の情報に含めて前記他ユーザの通信端末へ送信するよう制御する、請求項10に記載の情報処理装置。
  13.  プロセッサが、
     ユーザの感情を検知することと、
     調理中における加熱状況を表示出力するよう制御することと、
     前記検知したユーザ感情に応じて、前記加熱状況の表示を変化させることと、
    を含む、情報処理方法。
  14.  コンピュータを、
     ユーザの感情を検知する感情検知部と、
     調理中における加熱状況を表示出力するよう制御する制御部と、
    として機能させ、
     前記制御部は、前記感情検知部により検知したユーザ感情に応じて、前記加熱状況の表示を変化させる、プログラム。
PCT/JP2017/024627 2016-10-07 2017-07-05 情報処理装置、情報処理方法、およびプログラム WO2018066190A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780058010.2A CN109891362B (zh) 2016-10-07 2017-07-05 信息处理装置、信息处理方法及程序
US16/328,837 US11212882B2 (en) 2016-10-07 2017-07-05 Information processing apparatus and information processing method for presentation of a cooking situation based on emotion of a user
JP2018543591A JP6891897B2 (ja) 2016-10-07 2017-07-05 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-199029 2016-10-07
JP2016199029 2016-10-07

Publications (1)

Publication Number Publication Date
WO2018066190A1 true WO2018066190A1 (ja) 2018-04-12

Family

ID=61831642

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/024627 WO2018066190A1 (ja) 2016-10-07 2017-07-05 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US11212882B2 (ja)
JP (1) JP6891897B2 (ja)
CN (1) CN109891362B (ja)
WO (1) WO2018066190A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020022039A1 (ja) * 2018-07-25 2020-01-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2020177487A (ja) * 2019-04-19 2020-10-29 株式会社Lixil 支援装置及び支援プログラム
JP2020182609A (ja) * 2019-05-01 2020-11-12 綾子 高橋 電子機器
JP2021055976A (ja) * 2019-10-01 2021-04-08 パナソニックIpマネジメント株式会社 加熱調理器
JP2021093083A (ja) * 2019-12-12 2021-06-17 シャープ株式会社 表示装置、抑制処理方法、制御プログラム及び記録媒体
JP2022052324A (ja) * 2020-09-23 2022-04-04 株式会社x garden 料理支援装置、プログラム及び料理支援方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11506540B2 (en) * 2019-03-13 2022-11-22 Midea Group Co., Ltd. Calibration of a thermal imaging device for a surface cooking appliance
KR102447537B1 (ko) * 2019-10-10 2022-09-26 주식회사 케이티앤지 흡연 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003272815A (ja) * 2002-03-14 2003-09-26 Mitsubishi Electric Corp 電気加熱調理器
JP2015192844A (ja) * 2014-03-28 2015-11-05 学校法人塚本学院 大阪芸術大学 脳機能障害者生活支援装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3909518B2 (ja) 2002-07-12 2007-04-25 三菱電機株式会社 誘導加熱調理器
KR20060010225A (ko) * 2004-07-27 2006-02-02 (주)바로텍 얼굴표정 인식 홈 네트워크 시스템 및 그 제어 방법
US20100231506A1 (en) * 2004-09-07 2010-09-16 Timothy Pryor Control of appliances, kitchen and home
KR100654212B1 (ko) * 2006-01-19 2006-12-06 엘지전자 주식회사 전자조리기의 게임방법
JP2008004387A (ja) 2006-06-22 2008-01-10 Rb Controls Co コンロ装置
US7554060B2 (en) * 2006-09-29 2009-06-30 England Raymond O Displaying cooking-related information
US20090002178A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Dynamic mood sensing
US20090110246A1 (en) * 2007-10-30 2009-04-30 Stefan Olsson System and method for facial expression control of a user interface
US9078295B2 (en) * 2009-01-23 2015-07-07 Panasonic Corporation Heating/cooking equipment
US8390680B2 (en) * 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
JP5085670B2 (ja) * 2010-02-24 2012-11-28 株式会社東芝 空調制御システムおよび空調制御方法
JP2012169777A (ja) 2011-02-10 2012-09-06 Sony Corp 情報処理装置、情報処理方法、およびプログラム
BR112014014103A2 (pt) * 2011-12-16 2017-06-13 Koninklijke Philips Nv método de provisão de um serviço em uma rede de dados, e dispositivo eletrônico pessoal
JP5657066B1 (ja) * 2013-07-08 2015-01-21 シャープ株式会社 加熱調理器
KR20160012849A (ko) * 2014-07-26 2016-02-03 서원영 지능형 전기레인지
US10739013B2 (en) * 2015-05-05 2020-08-11 June Life, Inc. Tailored food preparation with an oven
US9826083B2 (en) * 2015-09-29 2017-11-21 Google Inc. Automatic delegation control for device sharing
CN105546589A (zh) * 2015-12-13 2016-05-04 常州市利众环保科技有限公司 供暖厨房
WO2017112813A1 (en) * 2015-12-22 2017-06-29 Sri International Multi-lingual virtual personal assistant
CN205279178U (zh) * 2015-12-28 2016-06-01 广东格兰仕集团有限公司 一种带投影功能的家电
EP3680568B1 (en) * 2017-10-30 2024-03-27 Daikin Industries, Ltd. Air-conditioning control device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003272815A (ja) * 2002-03-14 2003-09-26 Mitsubishi Electric Corp 電気加熱調理器
JP2015192844A (ja) * 2014-03-28 2015-11-05 学校法人塚本学院 大阪芸術大学 脳機能障害者生活支援装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020022039A1 (ja) * 2018-07-25 2020-01-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JPWO2020022039A1 (ja) * 2018-07-25 2021-08-02 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
JP7444060B2 (ja) 2018-07-25 2024-03-06 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
JP2020177487A (ja) * 2019-04-19 2020-10-29 株式会社Lixil 支援装置及び支援プログラム
JP7316831B2 (ja) 2019-04-19 2023-07-28 株式会社Lixil 支援装置及び支援プログラム
JP2020182609A (ja) * 2019-05-01 2020-11-12 綾子 高橋 電子機器
JP7385369B2 (ja) 2019-05-01 2023-11-22 綾子 高橋 電子機器、情報処理方法及びプログラム
JP2021055976A (ja) * 2019-10-01 2021-04-08 パナソニックIpマネジメント株式会社 加熱調理器
JP7236644B2 (ja) 2019-10-01 2023-03-10 パナソニックIpマネジメント株式会社 加熱調理器
JP2021093083A (ja) * 2019-12-12 2021-06-17 シャープ株式会社 表示装置、抑制処理方法、制御プログラム及び記録媒体
JP2022052324A (ja) * 2020-09-23 2022-04-04 株式会社x garden 料理支援装置、プログラム及び料理支援方法

Also Published As

Publication number Publication date
CN109891362A (zh) 2019-06-14
JP6891897B2 (ja) 2021-06-18
US20190223260A1 (en) 2019-07-18
JPWO2018066190A1 (ja) 2019-07-18
CN109891362B (zh) 2022-05-27
US11212882B2 (en) 2021-12-28

Similar Documents

Publication Publication Date Title
WO2018066190A1 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3616040B1 (en) Augmented reality system comprising light-emitting user input device
US20190307983A1 (en) Standalone handheld wellness device
JP6110857B2 (ja) ユーザフィードバックを伴うジェスチャベースのユーザインターフェイス
EP3809241B1 (en) System and method for enabling communication through eye feedback
CN104595949B (zh) 实现美食分享的家用智能烹饪系统
KR102247518B1 (ko) 웨어러블 장치, 관리 서버, 이들을 포함하는 제어 시스템 및 그의 제어 방법
CN108111948A (zh) 在语音接口设备处的服务器提供的视觉输出
CN106383452A (zh) 智能控制模块和包括其的厨电设备
US10368420B2 (en) Apparatus and methods thereof for controlling light emitting devices
CN102498442A (zh) 用具,厨房和住宅的控制
JP2009087074A (ja) 機器制御システム
TW201738840A (zh) 情緒交互裝置及方法
CN110432859B (zh) 一种视力检测方法及装置
JP5842115B2 (ja) 照明制御システム、照明制御装置及び照明制御用端末
KR101663911B1 (ko) 스마트 감정조명장치
US20140288382A1 (en) Lighting System with Monitoring Function
WO2018042781A1 (ja) 制御システム、記憶媒体、および制御方法
WO2023011941A1 (en) Adjusting lighting conditions
JP2021033676A (ja) 情報処理装置及びプログラム
JP6096160B2 (ja) 加熱調理器
EP3193239A1 (en) Methods and systems for augmentative and alternative communication
WO2022181039A1 (ja) 音声インタフェースを起動させる方法、コンピュータプログラム及び制御装置
Ueda et al. Homeostasis lighting control based on relationship between lighting environment and human behavior
Ruser et al. Evaluating the accuracy and user experience of a gesture-based infrared remote control in smart homes

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17858030

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018543591

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17858030

Country of ref document: EP

Kind code of ref document: A1