WO2020213394A1 - 情報処理装置、情報処理方法、及び食品保管装置 - Google Patents

情報処理装置、情報処理方法、及び食品保管装置 Download PDF

Info

Publication number
WO2020213394A1
WO2020213394A1 PCT/JP2020/014973 JP2020014973W WO2020213394A1 WO 2020213394 A1 WO2020213394 A1 WO 2020213394A1 JP 2020014973 W JP2020014973 W JP 2020014973W WO 2020213394 A1 WO2020213394 A1 WO 2020213394A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
food
user
ownership
unit
Prior art date
Application number
PCT/JP2020/014973
Other languages
English (en)
French (fr)
Inventor
真梨 池永
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/601,743 priority Critical patent/US20220171837A1/en
Priority to KR1020217030876A priority patent/KR20210150375A/ko
Priority to EP20790906.0A priority patent/EP3957938A4/en
Publication of WO2020213394A1 publication Critical patent/WO2020213394A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • F25D29/005—Mounting of control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875—Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2400/00—General features of, or devices for refrigerators, cold rooms, ice-boxes, or for cooling or freezing apparatus not covered by any other subclass
    • F25D2400/36—Visual displays
    • F25D2400/361—Interactive visual displays
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2600/00—Control issues
    • F25D2600/06—Controlling according to a predetermined profile
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Definitions

  • the present technology relates to an information processing device, an information processing method, and a food storage device, and more particularly to an information processing device, an information processing method, and a food storage device capable of more appropriately outputting a response regarding food.
  • Patent Documents 1 to 3 Conventionally, research and development for improving the performance of home appliances such as refrigerators has been promoted. For example, various techniques have been proposed as techniques for storing food in a refrigerator (see, for example, Patent Documents 1 to 3).
  • This technology was made in view of such a situation, and makes it possible to output a response regarding food more appropriately.
  • the information processing device of one aspect of the present technology manages food information including the ownership information regarding the ownership of each food as the information about the food stored in the storage, and the information from the identified user is the possession.
  • information processing including a processing unit that generates a response according to the ownership information of the food desired by the user based on the managed food information and outputs the generated response. It is a device.
  • the information processing device manages the food information including the ownership information regarding the ownership of each food as the information about the food stored in the storage, and the identified user
  • the information of the above includes information on the ownership
  • the food information including the ownership information regarding the ownership of each food is managed and identified as the information about the food stored in the storage.
  • a response corresponding to the ownership information of the food desired by the user is generated based on the managed food information, and the generated response is output. Will be done.
  • the food storage device of one aspect of the present technology includes a storage unit for storing food and a processing unit for processing the food, and the processing unit can be used as information on the food stored in the storage unit.
  • the processing unit can be used as information on the food stored in the storage unit.
  • a storage unit for storing food is provided, and as information on the food stored in the storage unit, food information including ownership information on the ownership of each food is provided.
  • the information from the managed and identified user includes the information about the ownership
  • a response corresponding to the ownership information of the desired food of the user is generated based on the managed food information. The generated response is output.
  • the information processing device and the food storage device on one aspect of the present technology may be independent devices or internal blocks constituting one device.
  • FIG. 1 shows an example of the configuration of an embodiment of a food information management system to which the present technology is applied.
  • the food information management system includes an agent device 10, a refrigerator 20, home appliances 30-1 to 30-N (an integer of N: 1 or more), a router 40, and a server 60.
  • the agent device 10 the refrigerator 20, the home appliances 30-1 to 30-N, and the router 40 are installed at the user's home or the like and are connected to each other via the home network 50.
  • the home network 50 is composed of, for example, a network such as a wireless LAN (Local Area Network).
  • the agent device 10 is a device equipped with a dialogue agent.
  • a dialogue agent is a service developed by incorporating a dialogue system capable of exchanging (dialogue) some information with a user.
  • the agent device 10 is configured as a smart speaker, a speaker with a display, a smartphone, a television receiver, a robot, a wearable device, a tablet terminal, a display device, a personal computer, and other home appliances.
  • the agent device 10 may be configured integrally with a home electric appliance such as a refrigerator with a display.
  • Refrigerator 20 is a device (storage) for storing foods and other articles at low temperatures. In addition to the normal storage function, the refrigerator 20 has a function of managing food information in cooperation with the agent device 10 and the server 60.
  • Home appliances 30-1 are configured as, for example, cooking appliances such as microwave ovens, ovens, rice cookers, and other white goods. Further, the home electric appliance 30-1 may be an information terminal (for example, a smartphone or the like) possessed by the user. The home electric appliance 30-1 can provide various information in cooperation with the agent device 10, the refrigerator 20, or the server 60.
  • the home appliances 30-2 to 30-N are configured as devices such as cooking devices and information terminals, respectively, like the home appliances 30-1.
  • they are simply referred to as home appliances 30.
  • the router 40 can connect to the Internet 70 and relays data between the home network 50 and the Internet 70.
  • the agent device 10, the refrigerator 20, and the home appliance 30 can be connected to the server 60 via the Internet 70 via the router 40.
  • the server 60 is composed of, for example, one or a plurality of servers and is installed in a data center or the like.
  • the server 60 manages various types of information in a database, performs various types of processing in response to a request from the agent device 10, the refrigerator 20, or the home appliance device 30, and requests various types of information as needed. Provide to the equipment of.
  • FIG. 2 shows an example of the configuration of the agent device 10 of FIG. 1 as an information processing device to which the present technology is applied.
  • the agent device 10 includes a processing unit 100, an input unit 101, an output unit 102, a storage unit 103, a communication unit 104, and a sensor unit 105.
  • the processing unit 100 is composed of, for example, a processor such as a CPU (Central Processing Unit) or a microcontroller, and an FPGA (Field Programmable Gate Array).
  • the processing unit 100 is a central processing device that controls the operation of each unit and performs various arithmetic processing.
  • the processing unit 100 includes a person identification unit 111 and a dialogue control unit 112. Further, the dialogue control unit 112 includes an intention analysis unit 121 and a dialogue application 122.
  • the dialogue application 122 includes a user management unit 131, a food information management / presentation unit 132, a recipe information management / presentation unit 133, and the like.
  • the person identification unit 111 receives the input from the person identification device and identifies the user such as the speaker and the warehousing / dispatching person.
  • the person identification unit 111 may have a person identification device, or may accept an identification result from an external person identification device. Further, as a person identification method using a person identification device, a known technique can be used.
  • the dialogue control unit 112 controls for exchanging some information with the user and having a dialogue by the function provided by the dialogue agent.
  • the intention analysis unit 121 receives the data supplied from the input unit 101, and converts the user (speaker) and the voice data (text data) into abstract data that can be handled by the interactive application 122 (in an expression that can be understood by the machine). Convert). For example, here, as a result of the intention analysis, the meaning of the utterance is expressed in the form of the intention (Intent) that the user wants to execute and the entity information (Entity) that is the parameter thereof.
  • the user management unit 131 performs a process of managing information about the user. For example, the user management unit 131 registers information about the user identified by the person identification unit 111 in the user information table 141 stored in the storage unit 103.
  • the food information management / presentation unit 132 manages or presents information on food stored in the refrigerator 20.
  • the food information management / presentation unit 132 accesses the server 60 via the Internet 70, registers information about food in the food information table (food information table 621 in FIG. 4), or reads from the food information table. Based on the information about the food provided, it responds to the user's speech (for example, a question).
  • the recipe information management / presentation unit 133 manages or presents information related to cooking recipes. For example, the recipe information management / presentation unit 133 accesses the server 60 via the Internet 70 to acquire information on a cooking recipe, presents it to a user, or stores (retains) it.
  • the input unit 101 is configured as an input interface with the user.
  • the input unit 101 includes a voice input unit 113.
  • the voice input unit 113 receives input from a voice input device such as a microphone, and supplies the voice data or text data to the processing unit 100.
  • the output unit 102 is configured as an output interface with the user.
  • the output unit 102 includes an audio output unit 114.
  • the audio output unit 114 outputs audio (sound) corresponding to the audio data supplied from the processing unit 100 from an audio output device such as a speaker.
  • the input unit 101 may include another input interface such as a physical button.
  • the output unit 102 may include, for example, another output interface such as a display, a vibrating element, or an electronic sound buzzer.
  • the storage unit 103 is composed of a storage device such as a semiconductor memory or an HDD (Hard Disk Drive), for example.
  • the storage unit 103 stores various types of information according to the control from the processing unit 100.
  • the storage unit 103 stores the user information table 141 in which the user information is stored.
  • the user information table 141 is a table for managing various attributes related to each user for each user. This attribute can include, for example, the age, gender, name, etc. of the user, as well as food-related information (for example, foods that cannot be eaten due to allergies or religion).
  • the communication unit 104 is composed of a communication module or the like that supports wireless communication or wired communication conforming to a predetermined standard.
  • This communication module is said to be compatible with communication methods such as wireless LAN and cellular communication (for example, LTE-Advanced and 5G).
  • the communication unit 104 transmits various information to other devices such as the refrigerator 20 and the server 60, or is transmitted from the other device, via a network such as the home network 50, in accordance with the control from the processing unit 100. Receive various information.
  • the sensor unit 105 is composed of, for example, various sensor devices.
  • the sensor device may include, for example, a measurement sensor or an image sensor.
  • the measurement sensor includes, for example, a magnetic sensor, an acceleration sensor, a gyro sensor, a proximity sensor, a temperature sensor, a humidity sensor, a biological sensor, and the like.
  • the image sensor is composed of, for example, an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor and a signal processing circuit.
  • CMOS Complementary Metal Oxide Semiconductor
  • the configuration of the agent device 10 shown in FIG. 2 is an example, and it is not necessary to include all the components. For example, a configuration excluding some components such as the sensor unit 105 may be used. Alternatively, other components may be added to the configuration of the agent device 10 shown in FIG.
  • FIG. 3 shows an example of the configuration of the refrigerator 20 of FIG. 1 as a food storage device to which the present technology is applied.
  • the refrigerator 20 includes a processing unit 200, an input unit 201, an output unit 202, a storage unit 203, a communication unit 204, a sensor unit 205, and a storage unit 206.
  • the processing unit 200 is composed of a processor such as a CPU, for example.
  • the processing unit 200 is a central processing device that controls the operation of each unit and performs various arithmetic processing.
  • the input unit 201 is configured as an input interface such as a physical button, a touch panel, or a microphone.
  • the output unit 202 is configured as an output interface for, for example, a display, a speaker, or the like.
  • the storage unit 203 is composed of a storage device such as a semiconductor memory and stores various types of information.
  • the communication unit 204 is composed of a communication module or the like that conforms to a predetermined standard.
  • the communication unit 204 transmits various information to other devices such as the agent device 10 and the server 60 via a network such as the home network 50, and receives various information transmitted from the other devices. To do.
  • the sensor unit 205 includes sensor devices such as an open / close sensor, an image sensor, and a depth sensor.
  • the open / close sensor detects the opening / closing of the door of the refrigerator 20 and outputs the detection result.
  • the image sensor images an object (for example, food) in the storage unit 206 and outputs the captured image.
  • the depth sensor recognizes the three-dimensional shape of an object (for example, food) in the storage unit 206 and outputs its three-dimensional information (distance information).
  • the storage space 206 is divided into predetermined stages (for example, upper stage, interruption, lower stage), and for example, food to be stored can be divided for each stage.
  • predetermined stages for example, upper stage, interruption, lower stage
  • food to be stored can be divided for each stage.
  • food to be stored can be divided for each stage.
  • in addition to meat, fish, and vegetables, cooked foods, processed foods, and the like are stored in the storage unit 206.
  • the processing unit 200 includes an open / close detection unit 211, an entry / exit determination unit 212, an object identification unit 213, and an object position detection unit 214.
  • the open / close detection unit 211 detects the open / close of the refrigerator 20 door based on the detection result from the open / close sensor of the refrigerator 20 door.
  • the open / close detection unit 211 may be configured as (a part of) the open / close sensor.
  • the warehousing / delivery determination unit 212 determines the warehousing / delivery of food into the refrigerator 20 (storage unit 206) based on the detection result of opening / closing of the door detected by the opening / closing detection unit 211. Alternatively, the warehousing / delivery determination unit 212 tracks the identified food based on the captured image (captured image including the food stored in the storage unit 206) captured by the image sensor installed in the storage unit 206. By doing so, the warehousing / delivery of food is determined.
  • the object identification unit 213 identifies the foods arranged in the storage unit 206 by executing the object detection process based on the captured image captured by the image sensor installed in the storage unit 206.
  • this object detection method a known technique can be used.
  • the object position detection unit 214 detects the position of the food identified by the object identification unit 213 based on the three-dimensional information of the object detected by the depth sensor installed in the storage unit 206.
  • the position of this food is represented by, for example, the center coordinates of the food (three-dimensional coordinates of XYZ), and these coordinates indicate the location of the food.
  • a known technique can be used as the object position detection method.
  • the configuration of the refrigerator 20 shown in FIG. 3 is an example, and it is not necessary to include all the components, and other components may be added.
  • the function of the agent device 10 may be added to the refrigerator 20 to form a home electric appliance (for example, a refrigerator with an agent function) in which the agent device 10 and the refrigerator 20 are integrated.
  • FIG. 4 shows an example of the configuration of the server 60 of FIG. 1 as an information processing device to which the present technology is applied.
  • the server 60 includes a processing unit 600, an input unit 601, an output unit 602, a storage unit 603, and a communication unit 604.
  • the processing unit 600 is composed of a processor such as a CPU.
  • the processing unit 600 is a central processing device that controls the operation of each unit and performs various arithmetic processing.
  • the processing unit 600 includes the food information management unit 611.
  • the food information management unit 611 manages the food information table 621 stored in the storage unit 603.
  • the input unit 601 is configured as an input interface such as a keyboard or a mouse.
  • the output unit 602 is configured as an output interface for a display, a speaker, or the like.
  • the storage unit 603 is composed of a storage device such as a semiconductor memory or an HDD, and stores various types of information.
  • the storage unit 603 stores the food information table 621 that stores the food information.
  • the food information table 621 is a table for managing various attributes related to each food for each food. This attribute can include, for example, information on a dish name, ingredients, warehousing date and time, cooking date and time, ownership, and the like.
  • the communication unit 604 is composed of a communication module or the like conforming to a predetermined standard.
  • the communication unit 604 transmits various information to other devices such as the agent device 10 and the refrigerator 20 and receives various information transmitted from the other devices via a network such as the Internet 70. ..
  • the configuration of the server 60 shown in FIG. 4 is an example, and it is not necessary to include all the components, and other components may be added.
  • the configuration of the food information management system has been explained above. Next, the processing executed by the food information management system will be described. In the following description, it is assumed that the agent device 10 and the refrigerator 20 are installed in the same space such as a kitchen.
  • step S11 the warehousing / delivery determination unit 212 detects the warehousing of food in the refrigerator 20 (storage unit 206) based on the detection result detected by the open / close detection unit 211.
  • step S12 the person identification unit 111 identifies the user who has stored the food in the refrigerator 20 (storage unit 206).
  • the person identification unit 111 person identification device
  • a face recognition process using an image captured by a sensor unit 105 (image sensor) and a speaker using voice data from a voice input unit 113 are used.
  • Information about the user who has been identified at the timing of warehousing by performing processing such as recognition processing is retained as information of the user (warehousing person) who has warehousing the food.
  • the user information table 141 is appropriately referred to.
  • step S13 the object identification unit 213 identifies and identifies the food stored in the refrigerator 20 (storage unit 206).
  • the object position detection unit 214 specifies the location of the food stored in the refrigerator 20 (storage unit 206).
  • the location of the food for example, the center coordinates (center of gravity position) of the stored food are represented by three-dimensional coordinates with reference to a certain position in the storage unit 206.
  • the agent device 10 holds information about the user who has stored the food and information about the stored food sent from the refrigerator 20 (processing unit 200) (S15).
  • step S16 the dialogue control unit 112 determines whether or not the user has recognized the utterance related to food.
  • utterances that match pre-registered patterns such as "this is my pudding” and "this curry is for dad's supper,” are recognized as food-related utterances.
  • step S16 If it is determined in the determination process of step S16 that the utterance related to the food has been recognized, the process proceeds to step S17.
  • the dialogue control unit 112 holds information on the speaker (for example, user ID) and the utterance content (for example, the text of the utterance). If it is determined to be negative (“No”) in the determination process of step S16, the process proceeds to step S23.
  • step S17 the dialogue control unit 112 determines whether or not the utterance includes the content related to ownership. If it is determined in the determination process of step S17 that the content relating to the ownership is included, the process proceeds to step S18.
  • step S18 the food information management / presentation unit 132 holds the ownership information according to the content regarding the ownership included in the utterance.
  • the user ID is specified from the names of users such as "I” and "Dad” and is retained as ownership information.
  • step S18 When the process of step S18 is completed, the process proceeds to step S19. If it is determined to be negative (“No”) in the determination process of step S17, the process proceeds to step S23.
  • step S19 the dialogue control unit 112 determines whether or not the utterance includes the content related to the dish name. If it is determined in the determination process of step S19 that the content related to the dish name is included, the process proceeds to step S20.
  • step S20 the food information management / presentation unit 132 holds the dish name information according to the content related to the dish name included in the utterance.
  • the dish name is specified from the utterances such as "pudding” and "curry”, and is retained as the dish name information.
  • step S20 When the process of step S20 is completed, the process proceeds to step S21. If it is determined to be negative (“No”) in the determination process of step S19, the process proceeds to step S23.
  • step S21 the food information management / presentation unit 132 determines whether or not there is a cooking record of the stored food. If it is determined in the determination process of step S21 that there is a cooking record, the process proceeds to step S22.
  • the food information management / presentation unit 132 holds the material information according to the cooking record of the stored food.
  • the cooking record of "curry” is retained. Therefore, from the recipe information, beef, potatoes, etc. Ingredients such as carrots, onions, and rice are identified and retained as material information.
  • the date and time when the curry was cooked may be retained as cooking date and time information.
  • step S22 When the process of step S22 is completed, the process proceeds to step S23. If it is determined to be negative (“No”) in the determination process of step S21, the process proceeds to step S23.
  • step S23 the food information management / presenting unit 132 stores the food in the food information table 621 stored in the server 60 (storage unit 603) via a network such as the home network 50 based on the retained information. Register a record about food.
  • an utterance related to food is recognized (“Yes” in S16), the utterance includes contents related to ownership and the name of the dish (“Yes” in S17 and S19), and there is a cooking record (“Yes” in S17 and S19).
  • the ownership information, the dish name information, and the ingredient name information are retained.
  • the food information management / presentation unit 132 based on the information on the user who has received the food, the information on the stored food, the ownership information, the dish name information, and the material name information, along with the information on the warehousing date and time and the location. , Ownership information, dish name information, and material name information are registered in the food information table 621.
  • the warehousing date and time and the arrangement are based on the information about the user who warehousing the food and the information about the warehousing food.
  • a record containing information about the location is registered in the food information table 621.
  • step S23 When the process of step S23 is completed, the warehousing process shown in FIG. 5 is completed.
  • FIG. 6 shows an example of the user information table 141.
  • in the user information table 141 items such as name, age, allergy, inedible foodstuff, and vegetarian are provided for each user ID, and information corresponding to each item is stored.
  • Inedible foods include, for example, foods that are prohibited or desired to be avoided by religion.
  • the name information is used, for example, to identify the ownership of the food in the refrigerator 20 and the user who has stored the food.
  • information on allergies, inedible foodstuffs, and vegetarians is used, for example, for collation with foodstuffs (recipe information) of cooked foods.
  • the user IDs U001, U002, U003, and U004 assigned to the family of four, father, mother, daughter, and son, respectively, have been registered.
  • My father (U001) is 47 years old and is called “daddy” or “dad” in his family. He has no allergies or inedible ingredients, and he is not a vegetarian.
  • My mother (U002) is 42 years old and is called “Mama”, “Mother”, or “Akiko” in her family. She is a vegetarian, although she has no allergies or inedible ingredients.
  • My daughter (U003) is 19 years old and is called “One-chan”, “Misa”, or “Mie-chan” in her family. She uses “soba” as an allergic ingredient and “beef” as an inedible ingredient. Including, not vegetarian.
  • My son (U004) is 16 years old and is called “Shun”, “Shun-kun”, or “Shun-chan” in the family and contains “crustaceans” and "eggs” as allergic ingredients, but can be eaten. There are no ingredients that aren't there, and I'm not a vegetarian.
  • the user information table 141 shown in FIG. 6 is stored in the agent device 10 (storage unit 103).
  • FIG. 7 shows an example of the food information table 621.
  • the food information table 621 is provided with items of warehousing date / time, placement location, cooking date / time, consumption period, dish name, ingredients, ownership, voice recognition information, and speaker for each food ID, and each item is provided. Information according to is stored.
  • the food information table 621 one line of data identified by the food ID is recorded.
  • the food ID is assigned as a unique ID for each food received, and the example of FIG. 7 illustrates data for 5 records.
  • the record of food ID X004 indicates that "pudding” was received at 16:30 on 12/12/2018 and placed at the placement location (x4, y4, z4). Also, my daughter (U003) is making an utterance that says “This is my pudding", and since the utterance includes "I” as the content related to ownership, "U003" is registered as ownership. There is.
  • the name of the dish may be obtained not only from the content of the user's utterance but also using the recipe information.
  • the ingredients, the consumption period, the cooking date and time, and the like can be obtained from the recipe information.
  • the food information table 621 shown in FIG. 7 is stored in the server 60 (storage unit 603).
  • steps S11, S13, and S14 are executed by the refrigerator 20 (processing unit 200), and the processes of steps S12, S15 to S23 are executed by the agent device 10 (processing unit 100).
  • the server 60 processing unit 600 may execute a part of the processing.
  • step S51 the warehousing / delivery determination unit 212 detects the warehousing of food from the refrigerator 20 (storage unit 206) based on the detection result detected by the open / close detection unit 211.
  • step S52 the person identification unit 111 identifies the user who has delivered the food from the refrigerator 20 (storage unit 206). As a result, the information about the user identified at the time of delivery is retained as the information of the user (issuer) who has issued the food.
  • step S53 the object identification unit 213 identifies and identifies the food delivered from the refrigerator 20 (storage unit 206). As a result, the food ID given at the time of warehousing is specified for the food that has been delivered.
  • step S54 the food information management / presenting unit 132 refers to the food information table 621 by inquiring to the server 60 via the Internet 70, and determines whether or not the specified food record includes material information. ..
  • step S54 the process proceeds to step S55.
  • the food information management / presentation unit 132 refers to the user information table 141 and determines whether or not the material information related to the specified food includes foodstuffs that cannot be eaten by the user who has issued the food.
  • step S55 If it is determined in the determination process of step S55 that there is an inedible ingredient, the process proceeds to step S56.
  • step S56 the food information management / presentation unit 132 outputs a response calling attention to the corresponding food material.
  • the user information table 141 includes allergic foods, inedible foods, and vegetarian items for each user ID, if there are foods that the user cannot eat, those foods are included. It is possible to output a response indicating that.
  • beef is used as the material of the curry by referring to the food information table 621.
  • the user information table 141 it is specified that beef is included as an inedible foodstuff of the daughter (U003), so that a response calling attention to the inedible foodstuff is output.
  • the food information table 621 uses eggs as the material for the beef cutlets, and the user information table 141 indicates that the son. Since it is specified that eggs are included as allergic foods in (U004), a response calling attention to allergic foods is output.
  • step S54 if it is determined in the determination process of step S54 that the material information is not included, or if it is determined in the determination process of step S55 that there is no inedible food, the process proceeds to step S57. Be done.
  • step S57 the dialogue control unit 112 determines whether or not the user has recognized the utterance related to food.
  • utterances that match a pre-registered pattern such as "Can I eat this?” Or "When is this curry made?" are recognized as utterances related to food.
  • step S57 If it is determined in the determination process of step S57 that the utterance related to food has been recognized, the process proceeds to step S58.
  • step S58 the dialogue control unit 112 determines whether or not the utterance includes a question asking the cooking date. If it is determined in the determination process of step S58 that the question including the cooking date is included, the process proceeds to step S59.
  • step S59 the food information management / presentation unit 132 acquires cooking date / time information from the record of the target food (food with the specified food ID) stored in the food information table 621.
  • step S59 When the process of step S59 is completed, the process proceeds to step S60. If it is determined in the determination process of step S58 that the question asking the cooking date is not included, the process of step S59 is skipped and the process proceeds to step S60.
  • step S60 the dialogue control unit 112 determines whether or not the utterance includes a question asking for ownership. If it is determined in the determination process of step S60 that the question including the question of ownership is included, the process proceeds to step S61.
  • step S61 the food information management / presentation unit 132 acquires the ownership information from the record of the target food (food with the specified food ID) stored in the food information table 621.
  • step S61 When the process of step S61 is completed, the process proceeds to step S62. If it is determined in the determination process of step S60 that the question asking for ownership is not included, the process of step S61 is skipped and the process proceeds to step S62.
  • step S62 the food information management / presentation unit 132 outputs a response regarding food based on the acquired information.
  • the food information management / presentation unit 132 provides an answer regarding the cooking date and ownership of the delivered food based on the information on the user who issued the food, the information on the delivered food, the cooking date and time information, and the ownership information. The including response is output.
  • the cooking date and the ownership are explained as an example of the question included in the user's utterance, but for example, other items of the food information table 621 such as the consumption period and the ingredients may be included in the question.
  • step S56 or step S62 when the process of step S56 or step S62 is completed, or when it is determined in the determination process of step S57 that the utterance related to the food is not recognized (“No” in S57), FIG. The shipping process shown in is completed.
  • the processing unit 100 of the agent device 10 includes the ownership information regarding the ownership of each food as information regarding the food (for example, cooked food such as curry) stored in the refrigerator 20 as the storage.
  • food information food information table 621
  • the information (contents of speech) from the identified user includes information on ownership
  • the possession of the desired food by the user is based on the managed food information.
  • steps S51 and S53 is executed by the refrigerator 20 (processing unit 200), and the processing of steps S52, S54 to S62 is executed by the agent device 10 (processing unit 100).
  • the processing unit 100 or the processing unit 200 executes is arbitrary, and the server 60 (processing unit 600) may execute a part of the processing.
  • the response including attention response and dialogue response
  • the utterance response voice response
  • the screen response that displays the GUI (Graphical User Interface) is shown.
  • a combination of a speech response and a screen response may be used.
  • the utterance response and the screen response are not limited to the agent device 10 (output unit 102), and may be output from, for example, the refrigerator 20 (output unit 202), or a home appliance such as a smartphone or a television receiver. You may output from 30.
  • the sensor unit 105 or the like may detect the position and orientation of the user who has delivered the food, and the response may be output from the device according to the detection result.
  • the response may be output from a plurality of devices, such as an utterance response from the agent device 10 (output unit 102) and a screen response from the refrigerator 20 (output unit 202).
  • Patent Documents 1 to 3 disclose techniques for storing food in a refrigerator, but there is no description regarding the above-mentioned ownership information, which forces the user to perform complicated work or allows the user to store the food. It is necessary to be aware of the timing of the speech.
  • the processing unit 100 has the person identification unit 111 and the dialogue control unit 112, but all the functions of the person identification unit 111 and the dialogue control unit 112 or A part of it may be incorporated in the server 60 (processing unit 600) on the cloud side.
  • all or part of the person identification unit 111 and the dialogue control unit 112 of the agent device 10 may be incorporated into the refrigerator 20 (processing unit 200), or the refrigerator 20 (processing unit) may be incorporated. All or part of the open / close detection unit 211 to the object position detection unit 214 of 200) may be incorporated into the agent device 10 (processing unit 100) or the server 60 (processing unit 600).
  • any of the processing unit 100, the processing unit 200, or the processing unit 600 has the functions of the processing unit 100 of the agent device 10, the processing unit 200 of the refrigerator 20, and the processing unit 600 of the server 60. Good.
  • the items in the user information table 141 shown in FIG. 6 are examples, and it is not necessary to provide all the items, or other items may be added. Specifically, for example, for each user, items such as favorite foods, disliked foods, and foods to be ingested for physical condition management may be provided, and information on these items may be registered and used in a response. Good. In addition, a plurality of pieces of information may be registered for items such as names, allergies, and inedible foodstuffs.
  • the user ID a unique ID is assigned to each person identified by the person identification unit 111, but it goes without saying that the user information excluding the user ID is registered by the input operation to the agent device 10. Other than that, for example, it may be performed by an input operation for an external application executed by a device linked with the agent device 10.
  • user information for example, information about a name, a foodstuff, etc.
  • a Web application executed by the information terminal. May be registered later.
  • the registered user information is stored in the user information table 141, but the registered user information can be updated or deleted. For example, when a user becomes able to eat inedible foods or becomes a vegetarian, the user information may be updated at that timing.
  • the user information table 141 is not limited to the agent device 10 (storage unit 103), but is, for example, dedicated to the refrigerator 20 (storage unit 203), the server 60 (storage unit 603), or the home network 50. It may be stored and managed in a management device (not shown) or the like.
  • the item of the food information table 621 shown in FIG. 7 is an example, and it is not necessary to provide all the items, or other items may be added. Specifically, for example, items such as the date and time of delivery and foods for how many people may be provided for each food item, and information on those items may be registered and used in a response.
  • multiple pieces of information may be registered for items such as ownership.
  • items such as ownership.
  • a mother U002 makes food (for example, beef cutlets) for her father (U001) and son (U004) and stores it in the refrigerator 20, the food concerned depends on the content of the speech.
  • Father (U001) and son (U004) are registered as the ownership of.
  • the registered food information is stored in the food information table 621, but the registered food information can be updated or deleted.
  • a food for example, pudding
  • a son U004
  • the ownership of the food is transferred to the son (U004).
  • the content of the ownership information may be updated.
  • the record of the food may be deleted after a predetermined period of time has elapsed.
  • the food information table 621 is not limited to the server 60 (storage unit 603), but is, for example, dedicated to the agent device 10 (storage unit 103), the refrigerator 20 (storage unit 203), or the home network 50. It may be stored and managed in a management device (not shown) or the like.
  • the agent device 10 (processing unit 100) has the recipe information management / presentation unit 133, but this function is executed by a device (for example, an information terminal such as a smartphone) linked with the agent device 10. It may be provided by an external application.
  • a device for example, an information terminal such as a smartphone
  • the function of the recipe information management / presentation unit 133 is realized by the application provided as the dialogue application 122, and the user is notified of how to cook, ingredients, processes, and so on. Recipe information such as the number of storage days can be presented.
  • the recipe information management / presentation unit 133 holds information such as a recipe (for example, a dish name and ingredients) and a cooking date and time when cooking is performed according to the recipe information presented by the user. Then, when the food (food) prepared by the user is stored in the refrigerator 20, the food information management / presentation unit 132 (or the recipe information management / presentation unit 133) stores information such as the recipe and the cooking date and time. , Can be registered in the food information table 621 as a record related to the stored food.
  • a recipe for example, a dish name and ingredients
  • a cooking date and time when cooking is performed according to the recipe information presented by the user.
  • the agent device 10 (recipe information management / presentation unit 133) is used. Information such as the cooking date and time and the name of the dish may be acquired in cooperation with those cooking devices. Specifically, for example, when gratin is made using an oven, the agent device 10 can acquire information such as the name of the dish that is gratin and the cooking date and time in cooperation with the oven.
  • the method of identifying the warehousing / delivery person is not limited to the method of identifying the warehousing / delivery person by the person identification unit 111, and other identification methods may be used.
  • the warehousing / delivery person may be specified based on the information detected by an external device such as a camera installed on the ceiling of the kitchen where the agent device 10 and the refrigerator 20 are placed.
  • a response such as "It was put in by my sister last night.” Is output.
  • the question asking the user for the information regarding the food delivered is output as the first response, and the answer obtained from the user to the first response is output.
  • the food information registered in the past in the food information table 621, the information estimated from the recipe information, and the like may be output as the second response.
  • a response (attention response) is output even if there is no question from the user, and if not, for example, as user information, a response is output only when there is a question. Information regarding whether or not to do so may be registered, and the output frequency of the response may be changed according to the setting for each user.
  • the sensor unit 105, the voice input unit 113, or the like detects the user's reaction (for example, facial expression, reply, voice color, etc.) when the response is output, and the output frequency of the subsequent response is determined according to the detection result. May be changed.
  • the agent device 10 as an information processing device to which the present technology is applied includes a processing unit 100, an input unit 101, and an output unit 102, and these components include one or a plurality of information processing devices. Realized by.
  • a processing unit 100 an input unit 101, and an output unit 102, and these components include one or a plurality of information processing devices. Realized by.
  • an example of a combination of information processing devices that realizes the agent device 10 configured as a system will be described together with a more specific example.
  • this information processing device corresponds to the agent device 10 or the refrigerator 20 described above, it will also be described below as the information processing device 10 or the information processing device 20. Further, in the following configuration, the configuration of the information processing device 10 is basically shown, but the same applies to the configuration of the information processing device 20, and the processing unit 100, the input unit 101, and the output unit 102 are the processing unit 200. , Input unit 201, and output unit 202, respectively.
  • FIG. 11 shows a first example of the configuration of an embodiment of a system to which the present technology is applied.
  • the system 1 includes an information processing device 10 (or an information processing device 20).
  • the processing unit 100, the input unit 101, and the output unit 102 are all realized in the information processing device 10.
  • the information processing device 10 can be a terminal device or a server as described below.
  • the information processing device 10 may be a stand-alone device that does not communicate with an external device via a network in order to realize the function according to the embodiment of the present technology.
  • the information processing device 10 may communicate with an external device for other functions, and therefore does not necessarily have to be a stand-alone device.
  • the interface 150A between the input unit 101 and the processing unit 100 and the interface 160A between the processing unit 100 and the output unit 102 can both be interfaces in the device.
  • the information processing device 10 is configured as, for example, a terminal device.
  • the input unit 101 may include an input device, a sensor, software for acquiring information from an external service, and the like.
  • the software that acquires information from an external service acquires data from, for example, application software of a service that is executed in a terminal device.
  • the processing unit 100 is realized by operating the processor or processing circuit included in the terminal device according to a program stored in the memory or storage device.
  • the output unit 102 may include an output device, a control device, software that provides information to an external service, and the like.
  • Software that provides information to an external service can, for example, provide information to application software for a service that is running on a terminal device.
  • the information processing device 10 may be a server.
  • the input unit 101 may include software that acquires information from an external service.
  • the software that acquires information from an external service acquires data from, for example, a server of the external service (which may be the information processing device 10 itself).
  • the processing unit 100 is realized by operating the processor included in the terminal device according to a program stored in the memory or the storage device.
  • the output unit 102 may include software that provides information to an external service.
  • the software that provides information to an external service provides information to, for example, a server of the external service (which may be the information processing device 10 itself).
  • FIG. 12 shows a second example of the configuration of an embodiment of a system to which the present technology is applied.
  • the system 1 includes information processing devices 10 and 11 (or information processing devices 20 and 21).
  • the processing unit 100 is realized in the information processing device 10.
  • the input unit 101 and the output unit 102 are realized in the information processing device 11.
  • the information processing device 10 and the information processing device 11 communicate with each other via a network in order to realize the functions according to the embodiment of the present technology.
  • the interface 150B between the input unit 101 and the processing unit 100 and the interface 160B between the processing unit 100 and the output unit 102 can both be communication interfaces between the devices.
  • the information processing device 11 is configured as, for example, a terminal device.
  • the input unit 101 may include an input device, a sensor, software for acquiring information from an external service, and the like, as in the first example above.
  • the output unit 102 may also include an output device, a control device, software that provides information to an external service, and the like, as in the first example above.
  • the information processing device 11 may be a server for exchanging information with an external service.
  • the input unit 101 may include software that acquires information from an external service.
  • the output unit 102 may include software that provides information to an external service.
  • the information processing device 10 is configured as a server or a terminal device.
  • the processing unit 100 is realized by operating the processor or processing circuit included in the information processing device 10 according to a program stored in the memory or storage device.
  • the information processing device 10 may be a dedicated device configured as, for example, a server. In this case, the information processing device 10 may be installed in a data center or the like, or may be installed in a home.
  • the information processing device 10 can be used as a terminal device for other functions, but may be a device that does not realize the input unit 101 and the output unit 102 for the functions according to the embodiment of the present technology.
  • the information processing device 10 may be a server or a terminal device in the above sense.
  • the information processing device 11 is a wearable device and the information processing device 10 is a mobile device connected to the wearable device by Bluetooth (registered trademark) or the like.
  • the wearable device accepts an operation input by the user (input unit 101), the mobile device executes processing based on the request transmitted based on the operation input (processing unit 100), and outputs the processing result from the wearable device.
  • processing unit 100 executes processing based on the request transmitted based on the operation input
  • processing unit 100 outputs the processing result from the wearable device.
  • output unit 102 it can be said that the wearable device functions as the information processing device 11 in the second example above, and the mobile device functions as the information processing device 10.
  • FIG. 13 shows a third example of the configuration of an embodiment of a system to which the present technology is applied.
  • the system 1 includes information processing devices 10, 11A, 11B (information processing devices 20, 21A, 21B).
  • the processing unit 100 is realized in the information processing device 10. Further, the input unit 101 is realized in the information processing device 11A.
  • the output unit 102 is realized in the information processing device 11B.
  • the information processing device 10 and the information processing devices 11A and 11B communicate with each other via a network in order to realize the functions according to the embodiment of the present technology.
  • the interface 150B between the input unit 101 and the processing unit 100 and the interface 160B between the processing unit 100 and the output unit 102 can both be communication interfaces between the devices.
  • the interfaces 150B and 160B may include different types of interfaces.
  • the information processing devices 11A and 11B are configured as, for example, terminal devices.
  • the input unit 101 may include an input device, a sensor, software for acquiring information from an external service, and the like, as in the first example above.
  • the output unit 102 may also include an output device, a control device, software that provides information to an external service, and the like, as in the first example above.
  • one or both of the information processing devices 11A and 11B may be a server for acquiring information from an external service and providing information to the external service.
  • the input unit 101 may include software that acquires information from an external service.
  • the output unit 102 may include software that provides information to an external service.
  • the information processing device 10 is configured as a server or a terminal device as in the second example described above.
  • the processing unit 100 is realized by operating the processor or processing circuit included in the information processing device 10 according to a program stored in the memory or storage device.
  • the information processing device 11A that realizes the input unit 101 and the information processing device 11B that realizes the output unit 102 are separate devices. Therefore, for example, a terminal possessed or used by a second user different from the first user can obtain the result of processing based on the input acquired by the information processing device 11A, which is a terminal device possessed or used by the first user. A function such as output from the information processing device 11B, which is a device, can be realized.
  • the result of processing based on the input acquired by the information processing device 11A which is a terminal device possessed or used by the first user, is not in the hands of the first user at that time (for example, installed at home while away). It is also possible to realize a function such as outputting from the information processing device 11B, which is a terminal device.
  • the information processing device 11A and the information processing device 11B may both be terminal devices possessed or used by the same user.
  • the information processing devices 11A and 11B are wearable devices mounted on different parts of the user, or when the wearable device and the mobile device are combined, the user is provided with a function in which these devices are linked. Can be provided.
  • FIG. 14 shows a fourth example of the configuration of an embodiment of a system to which the present technology is applied.
  • the system 1 includes information processing devices 10 and 11 (information processing devices 20 and 21).
  • the processing unit 100 is distributed and realized in the information processing device 10 and the information processing device 11.
  • the input unit 101 and the output unit 102 are realized in the information processing device 11.
  • the information processing device 10 and the information processing device 11 communicate with each other via a network in order to realize the functions according to the embodiment of the present technology.
  • the processing unit 100 is realized by being distributed between the information processing device 10 and the information processing device 11. More specifically, the processing unit 100 includes a processing unit 100B realized by the information processing device 10 and processing units 100A and 100C realized by the information processing device 11.
  • the processing unit 100A executes processing based on the information provided from the input unit 101 via the interface 150A, and provides the processing result to the processing unit 100B. In this sense, it can be said that the processing unit 100A executes the preprocessing.
  • the processing unit 100C executes processing based on the information provided by the processing unit 100B, and provides the processing result to the output unit 102 via the interface 160A. In this sense, it can be said that the processing unit 100C executes post-processing.
  • both the processing unit 100A that executes the pre-processing and the processing unit 100C that executes the post-processing are shown, but in reality, only one of them may exist. ..
  • the information processing device 11 realizes the processing unit 100A that executes the pre-processing, but does not realize the processing unit 100C that executes the post-processing, and the information provided by the processing unit 100B is provided to the output unit 102 as it is. May be done.
  • the information processing apparatus 11 realizes the processing unit 100C that executes the post-processing, but does not have to realize the processing unit 100A that executes the pre-processing.
  • An interface 170B is interposed between the processing unit 100A and the processing unit 100B, and between the processing unit 100B and the processing unit 100C, respectively.
  • Interface 170B is a communication interface between devices.
  • the interface 150A is an interface in the device.
  • the interface 160A is an interface in the apparatus.
  • the fourth example described above is the second example described above, except that one or both of the processing unit 100A and the processing unit 100C is realized by the processor or the processing circuit included in the information processing device 11. Similar to the example. That is, the information processing device 11 is configured as a server for exchanging information with a terminal device or an external service. Further, the information processing device 10 is configured as a server or a terminal device.
  • FIG. 15 is a block diagram showing a configuration example of hardware of a computer that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • the ROM Read Only Memory
  • the RAM Random Access Memory
  • An input / output interface 1005 is further connected to the bus 1004.
  • An input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1010 are connected to the input / output interface 1005.
  • the input unit 1006 includes a microphone, a keyboard, a mouse, and the like.
  • the output unit 1007 includes a speaker, a display, and the like.
  • the recording unit 1008 includes a hard disk, a non-volatile memory, and the like.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1010 drives a removable recording medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program recorded in the ROM 1002 and the recording unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the above-mentioned series. Is processed.
  • the program executed by the computer can be recorded and provided on the removable recording medium 1011 as a package medium or the like, for example. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be installed in the recording unit 1008 via the input / output interface 1005 by mounting the removable recording medium 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the recording unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the recording unit 1008.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object). Further, the program may be processed by one computer (processor) or may be distributed by a plurality of computers.
  • each step of the series of processes described above can be executed by one device or shared by a plurality of devices. Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the information processing apparatus wherein the processing unit generates a response according to the information about the foodstuff when the foodstuff to be delivered contains the foodstuff that the user cannot eat based on the material information. .. (4)
  • the processing unit As information about the user, user information including information about inedible foodstuffs for each user is managed.
  • the information processing device according to (3), wherein when the food to be delivered contains a food that the user cannot eat based on the material information and the user information, a response corresponding to the information about the food is generated.
  • the information processing device according to any one of (2) to (4) above, wherein the information from the user includes information obtained from the utterance of the user.
  • the processing unit stores the desired food in the storage
  • the food information on the food to be stored includes the ownership information according to the ownership.
  • the information processing apparatus according to (5) above.
  • the processing unit When the desired food is delivered from the storage, if the utterance of the user includes information on the ownership, the ownership information of the food to be delivered is acquired from the food information.
  • the information processing device according to (5) or (6) above, which generates the response based on the acquired ownership information.
  • the food information further includes cooking date and time information regarding the cooking date and time of the food.
  • the processing unit When the user's utterance includes information on the cooking date and time, the cooking date and time information of the food to be delivered is acquired from the food information.
  • the information processing device according to any one of (5) to (7), which generates the response based on the acquired ownership information and the cooking date / time information.
  • the processing unit Get recipe information about cooking recipes, The information processing device according to any one of (1) to (8), wherein the acquired information corresponding to the recipe information is included in the food information.
  • the information processing device includes various attributes related to each food for each food.
  • the processing unit outputs a voice response as the response.
  • the information processing device according to any one of (1) to (11) above, wherein the food includes a cooked food.
  • the information processing device according to any one of (1) to (12) above, wherein the storage is a refrigerator.
  • Information processing device As information on foods stored in the storage, food information including ownership information on ownership of each food is managed. When the information from the identified user includes the information about the ownership, the response corresponding to the ownership information of the desired food of the user is generated based on the food information being managed. An information processing method that outputs the generated response.
  • a storage unit for storing food and It is equipped with a processing unit that processes the food. The processing unit As the information about the food stored in the storage unit, the food information including the ownership information regarding the ownership of each food is managed. When the information from the identified user includes the information about the ownership, the response corresponding to the ownership information of the desired food of the user is generated based on the food information being managed.
  • a food storage device that outputs the generated response.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本技術は、より適切に食品に関する応答を出力することができるようにする情報処理装置、情報処理方法、及び食品保管装置に関する。 保管庫に保管された食品に関する情報として、食品ごとの所有権に関する所有権情報を含む食品情報を管理し、識別されたユーザからの情報が所有権に関する情報を含む場合、管理している食品情報に基づいて、当該ユーザの所望の食品の所有権情報に応じた応答を生成し、生成した応答を出力する処理部を備える情報処理装置が提供される。本技術は、例えば、食品情報管理システムを構成する機器に適用することができる。

Description

情報処理装置、情報処理方法、及び食品保管装置
　本技術は、情報処理装置、情報処理方法、及び食品保管装置に関し、特に、より適切に食品に関する応答を出力することができるようにした情報処理装置、情報処理方法、及び食品保管装置に関する。
　従来から、冷蔵庫等の家電機器の高性能化の研究開発が進められている。例えば、冷蔵庫に食品を保管する際の技術として、各種の技術が提案されている（例えば、特許文献１乃至３参照）。
特開2017-133825号公報 特開2017-215067号公報 特開2018-95450号公報
　ところで、冷蔵庫で保管する食品は、誰のためのものなのかが分からない場合がある。そのため、より適切に、冷蔵庫で保管している食品に関する応答を出力することが求められている。
　本技術はこのような状況に鑑みてなされたものであり、より適切に食品に関する応答を出力することができるようにするものである。
　本技術の一側面の情報処理装置は、保管庫に保管された食品に関する情報として、前記食品ごとの所有権に関する所有権情報を含む食品情報を管理し、識別されたユーザからの情報が前記所有権に関する情報を含む場合、管理している前記食品情報に基づいて、前記ユーザの所望の食品の前記所有権情報に応じた応答を生成し、生成した前記応答を出力する処理部を備える情報処理装置である。
　本技術の一側面の情報処理方法は、情報処理装置が、保管庫に保管された食品に関する情報として、前記食品ごとの所有権に関する所有権情報を含む食品情報を管理し、識別されたユーザからの情報が前記所有権に関する情報を含む場合、管理している前記食品情報に基づいて、前記ユーザの所望の食品の前記所有権情報に応じた応答を生成し、生成した前記応答を出力する情報処理方法である。
　本技術の一側面の情報処理装置、及び情報処理方法においては、保管庫に保管された食品に関する情報として、前記食品ごとの所有権に関する所有権情報を含む食品情報が管理され、識別されたユーザからの情報が前記所有権に関する情報を含む場合、管理されている前記食品情報に基づいて、前記ユーザの所望の食品の前記所有権情報に応じた応答が生成され、生成された前記応答が出力される。
　本技術の一側面の食品保管装置は、食品を保管する保管部と、前記食品に関する処理を行う処理部とを備え、前記処理部は、前記保管部に保管された前記食品に関する情報として、前記食品ごとの所有権に関する所有権情報を含む食品情報を管理し、識別されたユーザからの情報が前記所有権に関する情報を含む場合、管理している前記食品情報に基づいて、前記ユーザの所望の食品の前記所有権情報に応じた応答を生成し、生成した前記応答を出力する食品保管装置である。
　本技術の一側面の食品保管装置においては、食品を保管する保管部が設けられ、前記保管部に保管された前記食品に関する情報として、前記食品ごとの所有権に関する所有権情報を含む食品情報が管理され、識別されたユーザからの情報が前記所有権に関する情報を含む場合、管理されている前記食品情報に基づいて、前記ユーザの所望の食品の前記所有権情報に応じた応答が生成され、生成された前記応答が出力される。
　本技術の一側面の情報処理装置、及び食品保管装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
本技術を適用した食品情報管理システムの一実施の形態の構成の例を示す図である。 エージェント機器の構成の例を示す図である。 冷蔵庫の構成の例を示す図である。 サーバの構成の例を示す図である。 入庫処理の流れを説明するフローチャートである。 ユーザ情報テーブルの例を示す図である。 食品情報テーブルの例を示す図である。 出庫処理の流れを説明するフローチャートである。 ユーザが食べられない食材を含む場合の応答の具体例を示す図である。 ユーザの発話に所有権を問う質問を含む場合の応答の具体例を示す図である。 本技術を適用したシステムの一実施の形態の構成の第１の例を示すブロック図である。 本技術を適用したシステムの一実施の形態の構成の第２の例を示すブロック図である。 本技術を適用したシステムの一実施の形態の構成の第３の例を示すブロック図である。 本技術を適用したシステムの一実施の形態の構成の第４の例を示すブロック図である。 コンピュータの構成例を示す図である。
　以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
１．本技術の実施の形態
２．変形例
３．システムの構成
４．コンピュータの構成
＜１．本技術の実施の形態＞
（システムの構成）
　図１は、本技術を適用した食品情報管理システムの一実施の形態の構成の例を示している。
　図１において、食品情報管理システムは、エージェント機器１０と、冷蔵庫２０と、家電機器３０－１乃至３０－Ｎ（Ｎ：１以上の整数）、ルータ４０、及びサーバ６０を含んで構成される。
　また、食品情報管理システムにおいては、エージェント機器１０と、冷蔵庫２０と、家電機器３０－１乃至３０－Ｎと、ルータ４０は、ユーザの自宅等に設置され、ホームネットワーク５０を介して相互に接続されている。ホームネットワーク５０は、例えば、無線LAN(Local Area Network)等のネットワークから構成される。
　エージェント機器１０は、対話エージェントが搭載された機器である。対話エージェントとは、ユーザとの間で何らかの情報をやり取り（対話）可能な対話システムを搭載して展開されたサービスである。
　例えば、エージェント機器１０としては、スマートスピーカ、ディスプレイ付スピーカ、スマートフォン、テレビ受像機、ロボット、ウェアラブル機器、タブレット端末、ディスプレイ装置、パーソナルコンピュータ、その他の家電機器などとして構成される。なお、エージェント機器１０は、例えばディスプレイ付き冷蔵庫など、家電機器と一体となって構成されてもよい。
　冷蔵庫２０は、食品等の物品を低温で保管するための機器（保管庫）である。冷蔵庫２０は、通常の保管機能のほかに、エージェント機器１０及びサーバ６０と連携して食品情報を管理する機能等を有している。
　家電機器３０－１は、例えば電子レンジやオーブン、炊飯器などの調理機器、その他の白物家電として構成される。また、家電機器３０－１は、ユーザが所持する情報端末（例えばスマートフォン等）であってもよい。家電機器３０－１は、エージェント機器１０、冷蔵庫２０、又はサーバ６０と連携して各種の情報を提供することができる。
　家電機器３０－２乃至３０－Ｎは、家電機器３０－１と同様に、調理機器や情報端末等の機器としてそれぞれ構成される。なお、以下、家電機器３０－１乃至３０－Ｎを特に区別する必要がない場合、単に家電機器３０と称する。
　ルータ４０は、インターネット７０に接続可能であり、ホームネットワーク５０とインターネット７０との間でデータを中継する。エージェント機器１０、冷蔵庫２０、及び家電機器３０は、ルータ４０を経由して、インターネット７０を介してサーバ６０に接続することができる。
　サーバ６０は、例えば１又は複数のサーバから構成され、データセンタ等に設置される。例えば、サーバ６０は、各種の情報をデータベースにより管理しており、エージェント機器１０、冷蔵庫２０、又は家電機器３０からの要求に応じて各種の処理を行い、必要に応じて各種の情報を要求元の機器に提供する。
（エージェント機器の構成）
　図２は、本技術を適用した情報処理装置として、図１のエージェント機器１０の構成の例を示している。
　図２において、エージェント機器１０は、処理部１００、入力部１０１、出力部１０２、記憶部１０３、通信部１０４、及びセンサ部１０５を含んで構成される。
　処理部１００は、例えば、CPU(Central Processing Unit)やマイクロコントローラ等のプロセッサ、FPGA(Field Programmable Gate Array)などから構成される。処理部１００は、各部の動作の制御や各種の演算処理を行う中心的な処理装置である。
　処理部１００は、人識別部１１１、及び対話制御部１１２を含む。また、対話制御部１１２は、意図解析部１２１、及び対話アプリケーション１２２を含む。対話アプリケーション１２２は、ユーザ管理部１３１、食品情報管理・提示部１３２、及びレシピ情報管理・提示部１３３などを含む。
　人識別部１１１は、人識別機器からの入力を受け付け、発話者や入出庫者等のユーザの識別を行う。なお、人識別部１１１は、人識別機器を有してもよいし、あるいは外部の人識別機器からの識別結果を受け付けてもよい。また、人識別機器による人識別方法としては、公知の技術を用いることができる。
　対話制御部１１２は、対話エージェントにより提供される機能により、ユーザとの間で何らかの情報をやり取りして対話するための制御を行う。
　意図解析部１２１は、入力部１０１から供給されるデータを受け取り、ユーザ（発話者）と音声データ（テキストデータ）を、対話アプリケーション１２２が扱える抽象化したデータに変換する（機械が理解できる表現に変換する）。例えば、ここでは、意図解析の結果として、ユーザが実行させたい意図（Intent）と、そのパラメータとなる実体情報（Entity）の形で、発話の意味が表現される。
　ユーザ管理部１３１は、ユーザに関する情報を管理する処理を行う。例えば、ユーザ管理部１３１は、記憶部１０３に記憶されたユーザ情報テーブル１４１に対し、人識別部１１１により識別されたユーザに関する情報を登録する。
　食品情報管理・提示部１３２は、冷蔵庫２０に保管される食品に関する情報を管理又は提示する処理を行う。例えば、食品情報管理・提示部１３２は、インターネット７０を介してサーバ６０にアクセスし、食品に関する情報を、食品情報テーブル（図４の食品情報テーブル６２１）に登録したり、あるいは食品情報テーブルから読み出された食品に関する情報に基づき、ユーザの発話（例えば質問等）に対する応答をしたりする。
　レシピ情報管理・提示部１３３は、料理のレシピに関する情報を管理又は提示する処理を行う。例えば、レシピ情報管理・提示部１３３は、インターネット７０を介してサーバ６０にアクセスして料理のレシピに関する情報を取得し、ユーザに提示したり、あるいは記憶（保持）したりする。
　入力部１０１は、ユーザとの間の入力インターフェースとして構成される。入力部１０１は、音声入力部１１３を含む。音声入力部１１３は、マイクロフォン等の音声入力機器からの入力を受け付け、その音声データ又はテキスト化したデータを、処理部１００に供給する。
　出力部１０２は、ユーザとの間の出力インターフェースとして構成される。出力部１０２は、音声出力部１１４を含む。音声出力部１１４は、処理部１００から供給される音声データに応じた音声（音）を、スピーカ等の音声出力機器から出力する。
　なお、入力部１０１には、例えば物理的なボタンなどの他の入力インターフェースを含めてもよい。また、出力部１０２には、例えば、ディスプレイや振動素子、電子音ブザーなどの他の出力インターフェースを含めてもよい。
　記憶部１０３は、例えば半導体メモリやHDD(Hard Disk Drive)等の記憶装置から構成される。記憶部１０３は、処理部１００からの制御に従い、各種の情報を記憶する。
　記憶部１０３は、ユーザ情報を格納したユーザ情報テーブル１４１を記憶している。ユーザ情報テーブル１４１は、ユーザごとに、各ユーザに関する各種の属性を管理するためのテーブルである。この属性としては、例えば、ユーザの年齢や性別、称呼等のほか、食品に関する情報（例えばアレルギーや宗教上で食べられない食品等）などを含めることができる。
　通信部１０４は、所定の規格に準拠した無線通信又は有線通信に対応した通信モジュールなどから構成される。この通信モジュールとしては、例えば無線LANや、セルラ方式の通信（例えばLTE-Advancedや5G）等の通信方式に対応したものとされる。
　通信部１０４は、処理部１００からの制御に従い、ホームネットワーク５０等のネットワークを介して、各種の情報を冷蔵庫２０やサーバ６０等の他の機器に送信したり、他の機器から送信されてくる各種の情報を受信したりする。
　センサ部１０５は、例えば、各種のセンサデバイスなどから構成される。このセンサデバイスとしては、例えば、測定センサや画像センサを含めることができる。
　測定センサとしては、例えば、磁気センサ、加速度センサ、ジャイロセンサ、近接センサ、温度センサ、湿度センサ、生体センサなどを含む。また、画像センサは、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等のイメージセンサと信号処理回路等から構成される。
　なお、図２に示したエージェント機器１０の構成は一例であって、すべての構成要素を備える必要はなく、例えば、センサ部１０５などの一部の構成要素を除いた構成としてもよい。あるいは、図２に示したエージェント機器１０の構成に対して、他の構成要素を加えてもよい。
（冷蔵庫の構成）
　図３は、本技術を適用した食品保管装置として、図１の冷蔵庫２０の構成の例を示している。
　図３において、冷蔵庫２０は、処理部２００、入力部２０１、出力部２０２、記憶部２０３、通信部２０４、センサ部２０５、及び保管部２０６を含んで構成される。
　処理部２００は、例えば、CPU等のプロセッサから構成される。処理部２００は、各部の動作の制御や各種の演算処理を行う中心的な処理装置である。
　入力部２０１は、例えば物理的なボタン、タッチパネル、マイクロフォン等の入力インターフェースとして構成される。出力部２０２は、例えばディスプレイ、スピーカ等の出力インターフェースとして構成される。記憶部２０３は、例えば半導体メモリ等の記憶装置から構成され、各種の情報を記憶する。
　通信部２０４は、所定の規格に準拠した通信モジュールなどから構成される。通信部２０４は、ホームネットワーク５０等のネットワークを介して、各種の情報をエージェント機器１０やサーバ６０等の他の機器に送信したり、他の機器から送信されてくる各種の情報を受信したりする。
　センサ部２０５は、例えば、開閉センサ、画像センサ、深度センサ等のセンサデバイスを含む。開閉センサは、冷蔵庫２０の扉の開閉を検出し、その検出結果を出力する。画像センサは、保管部２０６内の物体（例えば食品）を撮像し、その撮像画像を出力する。深度センサは、保管部２０６内の物体（例えば食品）の立体形状を認識し、その３次元情報（距離情報）を出力する。
　保管部２０６は、所定の段（例えば、上段、中断、下段）で収納スペースが区切られており、例えば、段ごとに保管する食品を分けることができる。この例では、保管部２０６に、肉や魚、野菜のほかに、調理済みの食品や加工食品などが保管されている。
　また、処理部２００は、開閉検出部２１１、入出庫判定部２１２、物体識別部２１３、及び物体位置検出部２１４を含む。
　開閉検出部２１１は、冷蔵庫２０の扉の開閉センサからの検出結果に基づき、冷蔵庫２０の扉の開閉を検出する。なお、開閉検出部２１１は、開閉センサ（の一部）として構成されてもよい。
　入出庫判定部２１２は、開閉検出部２１１により検出された扉の開閉の検出結果に基づき、冷蔵庫２０（の保管部２０６）への食品の入出庫を判定する。あるいは、入出庫判定部２１２は、保管部２０６内に設置された画像センサにより撮像された撮像画像（保管部２０６で保管されている食品を含む撮像画像）に基づき、識別された食品をトラッキングすることで、食品の入出庫を判定する。
　物体識別部２１３は、保管部２０６内に設置された画像センサにより撮像された撮像画像に基づき、物体検出処理を実行することで、保管部２０６に配置された食品を識別する。なお、この物体検出方法としては、公知の技術を用いることができる。
　物体位置検出部２１４は、保管部２０６内に設置された深度センサにより検出された物体の３次元情報に基づき、物体識別部２１３により識別された食品の位置を検出する。この食品の位置は、例えば、食品の中心座標（XYZの３次元座標）により表され、この座標が食品の配置場所を示す。なお、この物体位置検出方法としては、公知の技術を用いることができる。
　なお、図３に示した冷蔵庫２０の構成は一例であって、すべての構成要素を備える必要はなく、また他の構成要素を追加してもよい。例えば、冷蔵庫２０に、エージェント機器１０の機能を加えて、エージェント機器１０と冷蔵庫２０とが一体となった家電機器（例えばエージェント機能付き冷蔵庫）として構成されてもよい。
（サーバの構成）
　図４は、本技術を適用した情報処理装置として、図１のサーバ６０の構成の例を示している。
　図４において、サーバ６０は、処理部６００、入力部６０１、出力部６０２、記憶部６０３、及び通信部６０４を含んで構成される。
　処理部６００は、CPU等のプロセッサから構成される。処理部６００は、各部の動作の制御や各種の演算処理を行う中心的な処理装置である。
　処理部６００は、食品情報管理部６１１を含む。食品情報管理部６１１は、記憶部６０３に記憶された食品情報テーブル６２１を管理する。
　入力部６０１は、例えばキーボードやマウス等の入力インターフェースとして構成される。出力部６０２は、ディスプレイやスピーカ等の出力インターフェースとして構成される。
　記憶部６０３は、例えば半導体メモリやHDD等の記憶装置から構成され、各種の情報を記憶する。記憶部６０３は、食品情報を格納した食品情報テーブル６２１を記憶している。食品情報テーブル６２１は、食品ごとに、各食品に関する各種の属性を管理するためのテーブルである。この属性としては、例えば、料理名や材料、入庫日時、調理日時、所有権などに関する情報を含めることができる。
　通信部６０４は、所定の規格に準拠した通信モジュールなどから構成される。通信部６０４は、インターネット７０等のネットワークを介して、各種の情報をエージェント機器１０や冷蔵庫２０等の他の機器に送信したり、他の機器から送信されてくる各種の情報を受信したりする。
　なお、図４に示したサーバ６０の構成は一例であって、すべての構成要素を備える必要はなく、また他の構成要素を追加してもよい。
　以上、食品情報管理システムの構成について説明した。次に、食品情報管理システムにより実行される処理について説明する。なお、以下の説明では、エージェント機器１０と冷蔵庫２０は、台所などの同一の空間に設置されているものとする。
（入庫処理の流れ）
　まず、図５のフローチャートを参照して、冷蔵庫２０に所望の食品を入庫する際に実行される入庫処理の流れを説明する。
　ステップＳ１１において、入出庫判定部２１２は、開閉検出部２１１により検出された検出結果に基づいて、冷蔵庫２０（の保管部２０６）への食品の入庫を検出する。
　ステップＳ１２において、人識別部１１１は、冷蔵庫２０（の保管部２０６）に食品を入庫したユーザを特定する。
　ここで、例えば、人識別部１１１（人識別機器）では、センサ部１０５（画像センサ）により撮像された撮像画像を用いた顔認識処理や、音声入力部１１３からの音声データを用いた話者認識処理等の処理が行われ、入庫のタイミングで識別されたユーザに関する情報を、食品を入庫したユーザ（入庫者）の情報として保持する。このユーザの特定に際しては、ユーザ情報テーブル１４１が適宜参照される。
　ステップＳ１３において、物体識別部２１３は、冷蔵庫２０（の保管部２０６）に入庫された食品を識別して特定する。
　ステップＳ１４において、物体位置検出部２１４は、冷蔵庫２０（の保管部２０６）に入庫された食品の配置場所を特定する。この食品の配置場所としては、例えば、保管部２０６内のある位置を基準にして、入庫された食品の中心座標（重心位置）が３次元座標により表される。
　これにより、エージェント機器１０（の処理部１００）では、食品を入庫したユーザに関する情報と、冷蔵庫２０（の処理部２００）から送られる入庫した食品に関する情報とがそれぞれ保持される（Ｓ１５）。
　ステップＳ１６において、対話制御部１１２は、ユーザによる食品に関する発話を認識したかどうかを判定する。ここでは、例えば、「これは私のプリン」や「このカレーはお父さんの夕食用」など、あらかじめ登録されたパターンにマッチする発話内容を、食品に関する発話として認識する。
　ステップＳ１６の判定処理で、食品に関する発話を認識したと判定された場合、処理は、ステップＳ１７に進められる。
　このとき、対話制御部１１２では、発話者（例えばユーザID）と発話内容（例えば発話のテキスト）に関する情報を保持する。なお、ステップＳ１６の判定処理で否定（「No」）であると判定された場合、処理は、ステップＳ２３に進められる。
　ステップＳ１７において、対話制御部１１２は、発話に、所有権に関する内容を含むかどうかを判定する。ステップＳ１７の判定処理で、所有権に関する内容を含むと判定された場合、処理は、ステップＳ１８に進められる。
　ステップＳ１８において、食品情報管理・提示部１３２は、発話に含まれる所有権に関する内容に応じた所有権情報を保持する。ここでは、例えば、「私」や「お父さん」等のユーザの称呼から、ユーザIDが特定され、所有権情報として保持される。
　ステップＳ１８の処理が終了すると、処理は、ステップＳ１９に進められる。なお、ステップＳ１７の判定処理で否定（「No」）であると判定された場合、処理は、ステップＳ２３に進められる。
　ステップＳ１９において、対話制御部１１２は、発話に、料理名に関する内容を含むかどうかを判定する。ステップＳ１９の判定処理で、料理名に関する内容を含むと判定された場合、処理は、ステップＳ２０に進められる。
　ステップＳ２０において、食品情報管理・提示部１３２は、発話に含まれる料理名に関する内容に応じた料理名情報を保持する。ここでは、例えば、「プリン」や「カレー」等の発話から、料理名が特定され、料理名情報として保持される。
　ステップＳ２０の処理が終了すると、処理は、ステップＳ２１に進められる。なお、ステップＳ１９の判定処理で否定（「No」）であると判定された場合、処理は、ステップＳ２３に進められる。
　ステップＳ２１において、食品情報管理・提示部１３２は、入庫した食品の調理記録があるかどうかを判定する。ステップＳ２１の判定処理で、調理記録があると判定された場合、処理は、ステップＳ２２に進められる。
　ステップＳ２２において、食品情報管理・提示部１３２は、入庫した食品の調理記録に応じた材料情報を保持する。ここでは、例えば、レシピ情報管理・提示部１３３により提示されたレシピ情報に基づき、カレーが調理された場合、「カレー」の調理記録が保持されているため、そのレシピ情報から、牛肉、じゃがいも、にんじん、たまねぎ、米などの材料が特定され、材料情報として保持される。なお、ここでは、カレーが調理された日時を、調理日時情報として保持してもよい。
　ステップＳ２２の処理が終了すると、処理は、ステップＳ２３に進められる。なお、ステップＳ２１の判定処理で否定（「No」）であると判定された場合、処理は、ステップＳ２３に進められる。
　ステップＳ２３において、食品情報管理・提示部１３２は、保持した情報に基づいて、ホームネットワーク５０等のネットワークを介して、サーバ６０（の記憶部６０３）に記憶された食品情報テーブル６２１に、入庫した食品に関するレコードを登録する。
　例えば、上述した判定処理で、食品に関する発話が認識され（Ｓ１６の「Yes」）、その発話に所有権と料理名に関する内容が含まれ（Ｓ１７，Ｓ１９の「Yes」）、調理記録がある（Ｓ２１の「Yes」）と判定された場合には、所有権情報、料理名情報、及び材料名情報を保持している。
　そのため、食品情報管理・提示部１３２では、食品を入庫したユーザに関する情報、及び入庫した食品に関する情報、並びに所有権情報、料理名情報、及び材料名情報に基づき、入庫日時や配置場所に関する情報とともに、所有権情報、料理名情報、及び材料名情報を含むレコードが、食品情報テーブル６２１に登録される。
　また、例えば、上述した判定処理で、食品に関する発話が認識されなかった場合（Ｓ１６の「No」）には、食品を入庫したユーザに関する情報、及び入庫した食品に関する情報に基づき、入庫日時や配置場所に関する情報を含むレコードが、食品情報テーブル６２１に登録される。
　さらに、例えば、上述した判定処理で、食品に関する発話が認識された場合（Ｓ１６の「Yes」）であっても、その発話に所有権に関する内容が含まれないとき（Ｓ１７の「No」）には、所有権情報がレコードから除かれ、その発話に料理名に関する内容が含まれないとき（Ｓ１９の「No」）には、料理名情報がレコードから除かれる。同様に、調理記録がない場合（Ｓ２１の「No」）には、材料情報がレコードから除かれる。
　ステップＳ２３の処理が終了すると、図５に示した入庫処理は終了される。
　ここで、図６は、ユーザ情報テーブル１４１の例を示している。
　図６において、ユーザ情報テーブル１４１では、ユーザIDごとに、称呼、年齢、アレルギー、食べられない食材、及びベジタリアンの項目が設けられ、各項目に応じた情報が格納されている。なお、食べられない食材には、例えば、宗教により禁止又は避けたい食材等を含む。
　称呼の情報は、例えば、冷蔵庫２０内の食品の所有権や、食品を入庫したユーザを特定するために用いられる。また、アレルギー、食べられない食材、及びベジタリアンの情報は、例えば、調理済みの食品の食材（レシピ情報）との照合などに用いられる。
　具体的には、父、母、娘、息子の４人家族にそれぞれ割り当てられたU001，U002，U003，U004であるユーザIDが登録済みである。
　父（U001）は、年齢が47歳で、「パパ」又は「おとうさん」と家族内で呼ばれ、アレルギーや食べられない食材は特になく、ベジタリアンでもない。母（U002）は、年齢が42歳で、「まま」、「おかあさん」、又は「あきこ」と家族内で呼ばれ、アレルギーや食べられない食材は特にないが、ベジタリアンである。
　娘（U003）は、年齢が19歳で、「おねぇちゃん」、「みさ」、又は「みーちゃん」と家族内で呼ばれ、アレルギー食材として"そば"、食べられない食材として"牛肉"をそれぞれ含み、ベジタリアンではない。息子（U004）は、年齢が16歳で、「しゅん」、「しゅんくん」、又は「しゅんちゃん」と家族内で呼ばれ、アレルギー食材として"甲殻類"と"卵"を含むが、食べられない食材はなく、ベジタリアンでもない。
　図５に示した入庫処理を実行するに際して、エージェント機器１０（の記憶部１０３）には、図６に示したユーザ情報テーブル１４１が記憶されている。
　また、図７は、食品情報テーブル６２１の例を示している。
　図７において、食品情報テーブル６２１は、食品IDごとに、入庫日時、配置場所、調理日時、消費期間、料理名、材料、所有権、音声認識情報、及び発話者の項目が設けられ、各項目に応じた情報が格納されている。
　食品情報テーブル６２１では、食品IDにより識別される一行分のデータがレコードとされる。食品IDは、入庫した食品ごとにユニークなIDとして割り当てられるが、図７の例では、５レコード分のデータを例示している。
　食品ID X001のレコードは、"きんぴらごぼう"が、2018/12/07 20:00に入庫され、保管部２０６の座標（x1，y1，z1）で特定される場所に置かれ、調理日時が2018/12/07 18:00で、消費期間が10日、材料として、"ごぼう"、"にんじん"、"ごま"を使っていることを表している。また、母（U002）が、「つくりおきのきんぴらごぼう」である発話を行っているが、その発話には所有権に関する内容は含まれていない。
　食品ID X002のレコードは、"ビーフカツレツ"が、2018/12/10 20:30に入庫され、配置場所（x2，y2，z2）に置かれ、調理日時が2018/12/10 18:30で、消費期間が3日、材料として、"牛肉"、"薄力粉"、"卵"、"パン粉"、"粉チーズ"を使っていることを表している。なお、ユーザによる発話は行われていない。
　食品ID X003のレコードは、"ぶり大根"が、2018/12/11に入庫され、配置場所（x3，y3，z3）に置かれ、調理日時が2018/12/11 17:50で、消費期間が1日、材料として、"ぶり"、"大根"を使っていることを表している。また、母（U002）が、「お父さんが帰ってきたら食べる用」である発話を行っており、その発話には所有権に関する内容として「お父さん」が含まれるため、所有権として"U001"が登録されている。
　食品ID X004のレコードは、"プリン"が、2018/12/12 16:30に入庫され、配置場所（x4，y4，z4）に置かれたことを表している。また、娘（U003）が、「これは私のプリン」である発話を行っており、その発話には所有権に関する内容として「私」が含まれるため、所有権として"U003"が登録されている。
　食品ID X005のレコードは、"カレー"が、2018/12/12 20:30に入庫され、配置場所（x5，y5，z5）に置かれ、調理日時が2018/12/12 18:00で、消費期間が3日、材料として、"牛肉"、"じゃがいも"、"にんじん"、"たまねぎ"、"米"を使っていることを表している。また、母（U002）が、「このカレーは、お父さんの夕食用」である発話を行っており、その発話には所有権に関する内容として「お父さん」が含まれるため、所有権として"U001"が登録されている。
　なお、料理名は、ユーザの発話の内容から取得することは勿論、レシピ情報を用いて取得してもよい。また、料理名のほか、例えば、材料や消費期間、調理日時などもレシピ情報から取得することができる。
　図５に示した入庫処理を実行することで、サーバ６０（の記憶部６０３）では、図７に示した食品情報テーブル６２１が記憶される。
　以上、入庫処理の流れを説明した。
　なお、上述した説明では、ステップＳ１１，Ｓ１３，Ｓ１４の処理は、冷蔵庫２０（の処理部２００）により実行され、ステップＳ１２，Ｓ１５乃至Ｓ２３の処理は、エージェント機器１０（の処理部１００）により実行されるとして説明したが、処理部１００と処理部２００がいずれの処理を実行するかは任意であり、また、一部の処理を、サーバ６０（の処理部６００）が実行してもよい。
（出庫処理の流れ）
　次に、図８のフローチャートを参照して、冷蔵庫２０から所望の食品を出庫する際に実行される出庫処理の流れを説明する。
　ステップＳ５１において、入出庫判定部２１２は、開閉検出部２１１により検出された検出結果に基づいて、冷蔵庫２０（の保管部２０６）からの食品の出庫を検出する。
　ステップＳ５２において、人識別部１１１は、冷蔵庫２０（の保管部２０６）から食品を出庫したユーザを特定する。これにより、出庫のタイミングで識別されたユーザに関する情報が、食品を出庫したユーザ（出庫者）の情報として保持される。
　ステップＳ５３において、物体識別部２１３は、冷蔵庫２０（の保管部２０６）から出庫された食品を識別して特定する。これにより、出庫された食品に対して入庫時に付与した食品IDが特定される。
　ステップＳ５４において、食品情報管理・提示部１３２は、インターネット７０を介してサーバ６０に問い合わせることで、食品情報テーブル６２１を参照して、特定した食品のレコードに、材料情報を含むかどうかを判定する。
　ステップＳ５４の判定処理で、材料情報を含むと判定された場合、処理は、ステップＳ５５に進められる。ステップＳ５５において、食品情報管理・提示部１３２は、ユーザ情報テーブル１４１を参照して、特定した食品に関する材料情報に、出庫したユーザが食べられない食材があるかどうかを判定する。
　ステップＳ５５の判定処理で、食べられない食材があると判定された場合、処理は、ステップＳ５６に進められる。ステップＳ５６において、食品情報管理・提示部１３２は、該当する食材に関して注意を促す応答を出力する。
　すなわち、ユーザ情報テーブル１４１には、ユーザIDごとに、アレルギーや食べられない食材、ベジタリアンの項目を含むため、出庫した食品に、ユーザが食べられない食材がある場合には、その食材が入っている旨を示す応答を出力することができる。
　ここで、食品の出庫時の注意応答の具体例を示す。なお、ここでは、対話システムを「Ｓ」と表記し、ユーザを「Ｕ」と表記している。
・注意応答の第１の具体例
　Ｕ：（冷蔵庫２０からカレーを取り出す）
　Ｓ：「そのカレーには牛肉が入っているので、食べない方が良いでしょう。」
　この第１の具体例では、図９に示すように、例えば娘（U003）が冷蔵庫２０からカレーを取り出したとき、食品情報テーブル６２１を参照することで、カレーの材料として牛肉を使用していることが特定され、ユーザ情報テーブル１４１を参照することで、娘（U003）の食べられない食材として牛肉が含まれることが特定されるため、食べられない食材に関する注意を促す応答が出力される。
・注意応答の第２の具体例
　Ｕ：（冷蔵庫２０からビーフカツレツを取り出す）
　Ｓ：「このビーフカツレツには、アレルギー食材の卵が含まれているので食べない方が良いでしょう。」
　この第２の具体例では、例えば息子（U004）が冷蔵庫２０からビーフカツレツを取り出したとき、食品情報テーブル６２１によって、ビーフカツレツの材料として卵を使用していること、ユーザ情報テーブル１４１によって、息子（U004）のアレルギー食材として卵が含まれることがそれぞれ特定されるため、アレルギー食材に関する注意を促す応答が出力される。
　図８の説明に戻り、ステップＳ５４の判定処理で材料情報を含まないと判定された場合、又はステップＳ５５の判定処理で食べられない食材がないと判定された場合、処理は、ステップＳ５７に進められる。
　ステップＳ５７において、対話制御部１１２は、ユーザによる食品に関する発話を認識したかどうかを判定する。ここでは、例えば、「これ食べてもいい？」や「これいつ作ったカレーだろう？」など、あらかじめ登録されたパターンにマッチする発話内容を、食品に関する発話として認識する。
　ステップＳ５７の判定処理で、食品に関する発話を認識したと判定された場合、処理は、ステップＳ５８に進められる。
　ステップＳ５８において、対話制御部１１２は、発話に、調理日を問う質問を含むかどうかを判定する。ステップＳ５８の判定処理で、調理日を問う質問を含むと判定された場合、処理は、ステップＳ５９に進められる。
　ステップＳ５９において、食品情報管理・提示部１３２は、食品情報テーブル６２１に格納された対象の食品（特定した食品IDの食品）のレコードから、調理日時情報を取得する。
　ステップＳ５９の処理が終了すると、処理は、ステップＳ６０に進められる。なお、ステップＳ５８の判定処理で、調理日を問う質問を含まないと判定された場合には、ステップＳ５９の処理はスキップされ、処理は、ステップＳ６０に進められる。
　ステップＳ６０において、対話制御部１１２は、発話に、所有権を問う質問を含むかどうかを判定する。ステップＳ６０の判定処理で、所有権を問う質問を含むと判定された場合、処理は、ステップＳ６１に進められる。
　ステップＳ６１において、食品情報管理・提示部１３２は、食品情報テーブル６２１に格納された対象の食品（特定した食品IDの食品）のレコードから、所有権情報を取得する。
　ステップＳ６１の処理が終了すると、処理は、ステップＳ６２に進められる。なお、ステップＳ６０の判定処理で、所有権を問う質問を含まないと判定された場合には、ステップＳ６１の処理はスキップされ、処理は、ステップＳ６２に進められる。
　ステップＳ６２において、食品情報管理・提示部１３２は、取得した情報に基づいて、食品に関する応答を出力する。
　例えば、上述した判定処理で、食品に関する発話が認識され（Ｓ５７の「Yes」）、その発話に調理日時と所有権を問う質問が含まれると判定された場合（Ｓ５８，Ｓ６０の「Yes」）には、調理日時情報、及び所有権情報を取得している。
　そのため、食品情報管理・提示部１３２では、食品を出庫したユーザに関する情報、及び出庫した食品に関する情報、並びに調理日時情報、及び所有権情報に基づき、出庫した食品の調理日時と所有権に関する回答を含む応答が出力される。
　以下、食品の出庫時の対話応答の具体例を示す。なお、ここでも、対話システムを「Ｓ」と表記し、ユーザを「Ｕ」と表記している。
・対話応答の第１の具体例：
　Ｕ：（冷蔵庫２０からカレーを取り出す）
　Ｕ：「これいつ作ったカレーだろう？ これ食べてもいい？」
　Ｓ：「それは今日作られたカレーで、お父さんが食べてよいとお母さんが言っていました。」
　この第１の具体例では、図１０に示すように、例えば息子（U004）が、冷蔵庫２０からカレーを取り出したときに、「これいつ作ったカレーだろう？ 食べてもいい？」である発話をしたとき、当該発話には調理日時と所有権を問う質問が含まれているため、該当するレコードに含まれる調理日時情報と所有権情報に応じた応答が出力される。
　ただし、この第１の具体例では、冷蔵庫２０にカレーを入れるときなどに、母（U002）が「お父さんが食べてもよいと言っていた。」である発話を行っていたものとする。
・対話応答の第２の具体例：
　Ｕ：（冷蔵庫２０からカレーを取り出す）
　Ｕ：「このカレーは誰のものだろう？ まだ食べられるかな？」
　Ｓ：「このカレーはお父さんの夕食用で、あと３日間は食べられます。」
　この第２の具体例では、例えば、息子（U004）が、冷蔵庫２０からカレーを取り出したときに、「このカレーは誰のものだろう？ まだ食べられるかな？」である発話をしたとき、当該発話には調理日時と所有権に関する情報が含まれるため、該当するレコード（X005）に含まれる調理日時情報と所有権情報に応じた応答が出力される。
　また、例えば、上述した判定処理で、食品に関する発話が認識された場合（Ｓ５７の「Yes」）に、その発話に所有権を問う質問が含まれないとき（Ｓ５８の「Yes」，Ｓ６０の「No」）には、調理日時情報に基づき、出庫した食品の調理日時に関する回答を含む応答が出力される。
・対話応答の第３の具体例：
　Ｕ：（冷蔵庫２０からカレーを取り出す）
　Ｕ：「これいつ作ったカレーだろう？」
　Ｓ：「それは、昨日の午後6時に作られたカレーです。」
　さらに、例えば、上述した判定処理で、食品に関する発話が認識された場合（Ｓ５７の「Yes」）に、その発話に調理日時を問う質問が含まれないとき（Ｓ５８の「No」，Ｓ６０の「Yes」）には、所有権情報に基づき、出庫した食品の所有権に関する情報を含む回答が出力される。
・対話応答の第４の具体例：
　Ｕ：（冷蔵庫２０からカレーを取り出す）
　Ｕ：「これ食べてもいい？」
　Ｓ：「それは、お父さんの夕食用のカレーです。」
　なお、ここでは、ユーザの発話に含まれる質問として、調理日と所有権を一例に説明したが、例えば、消費期間や材料など、食品情報テーブル６２１の他の項目を質問に含めてもよい。
　図８の説明に戻り、ステップＳ５６、若しくはステップＳ６２の処理が終了するか、又はステップＳ５７の判定処理で食品に関する発話を認識していないと判定された場合（Ｓ５７の「No」）、図８に示した出庫処理は終了される。
　以上、出庫処理の流れを説明した。この出庫処理では、エージェント機器１０の処理部１００が、保管庫としての冷蔵庫２０に保管された食品（例えばカレー等の調理済みの食品）に関する情報として、食品ごとの所有権に関する所有権情報を含む食品情報（食品情報テーブル６２１）を管理し、識別されたユーザからの情報（発話の内容）が所有権に関する情報を含む場合、管理している食品情報に基づいて、ユーザの所望の食品の所有権情報に応じた応答（対話応答）を生成し、生成した応答を出力する。
　なお、上述した説明では、ステップＳ５１，Ｓ５３の処理は、冷蔵庫２０（の処理部２００）により実行され、ステップＳ５２，Ｓ５４乃至Ｓ６２の処理は、エージェント機器１０（の処理部１００）により実行されるとして説明したが、処理部１００と処理部２００がいずれの処理を実行するかは任意であり、また、一部の処理を、サーバ６０（の処理部６００）が実行してもよい。
　また、応答（注意応答や対話応答を含む）としては、TTS(Text To Speech)を利用してテキストを読み上げる発話応答（音声応答）を例示したが、GUI(Graphical User Interface)を表示する画面応答や、発話応答と画面応答の組み合わせなどを用いてもよい。
　さらに、発話応答と画面応答は、エージェント機器１０（の出力部１０２）に限らず、例えば、冷蔵庫２０（の出力部２０２）から出力してもよく、あるいは、スマートフォンやテレビ受像機等の家電機器３０から出力してもよい。
　なお、複数の機器から応答を出力可能な場合に、センサ部１０５等により、食品を出庫したユーザの位置や向きなどを検出し、その検出結果に応じた機器から応答を出力してもよい。ここでは、例えば、ユーザの顔が向いている方向にある機器のうち、最も近い位置にある機器を選択して応答を出力することができる。一方で、エージェント機器１０（の出力部１０２）から発話応答を行うとともに、冷蔵庫２０（の出力部２０２）から画面応答を行うなど、複数の機器から応答を出力してもよい。
　ところで、冷蔵庫２０に保管されている食品のうち、特に、残り物や作り置きなどの調理済の食品は、調理日時や消費期間、材料に関する記載がないため、例えば、いつ作ったものなのか、あるいは（家族の）誰のために作ったものなのかなどが分からない場合がある。
　また、調理済の食品や野菜、果物などのパッケージされていない食品は、消費期間や調理日時などの記載もないため、ユーザからすれば、対象の食品を食べて良いのかの判断に迷うことがある。
　本技術では、このような問題を解決するために、エージェント機器１０や冷蔵庫２０等から得られる食品に関する情報を利用して、より適切に、冷蔵庫２０で保管している食品に関する応答を出力できるようにしている。これにより、誰が食して良いのか、いつ作られた料理なのか、あるいは、使われている食材等が不明な食品に関する情報を、エージェント機器１０や冷蔵庫２０等の機器を通じて、ユーザに提示することができるようになる。また、ユーザに煩わしい操作を強いることなく、食品に関する情報を提示することが可能となる。
　なお、上述した特許文献１乃至３には、冷蔵庫に食品を保管する際の技術が開示されているが、上述した所有権情報に関する記載はなく、ユーザに煩雑な作業を強いたり、ユーザが入庫のタイミングを意識して発話をしたりする必要がある。
＜２．変形例＞
（システムの他の構成）
　上述した説明では、ローカル側のエージェント機器１０において、処理部１００が、人識別部１１１、及び対話制御部１１２を有するとして説明したが、人識別部１１１、及び対話制御部１１２の機能の全部又は一部が、クラウド側のサーバ６０（の処理部６００）に組み込まれてもよい。
　また、エージェント機器１０（の処理部１００）が有する人識別部１１１、及び対話制御部１１２の全部又は一部を、冷蔵庫２０（の処理部２００）に組み込んだり、あるいは、冷蔵庫２０（の処理部２００）の開閉検出部２１１乃至物体位置検出部２１４の全部又は一部を、エージェント機器１０（の処理部１００）又はサーバ６０（の処理部６００）に組み込んだりしてもよい。
　すなわち、エージェント機器１０の処理部１００、冷蔵庫２０の処理部２００、及びサーバ６０の処理部６００がそれぞれ有する機能は、処理部１００、処理部２００、又は処理部６００のいずれが有するようにしてもよい。
（ユーザ情報テーブルの他の例）
　上述した説明では、ユーザ情報を格納したユーザ情報テーブル１４１の例を、図６に示したが、他の構成を用いてもよい。
　例えば、図６に示したユーザ情報テーブル１４１の項目は、一例であって、すべての項目を設ける必要はなく、また、他の項目を追加してもよい。具体的には、例えば、ユーザごとに、好きな食材や嫌いな食材、体調管理のために摂取したい食材などの項目を設け、それらの項目に関する情報を登録して、応答の際に用いてもよい。また、称呼、アレルギー、及び食べられない食材等の項目に対しては、複数の情報を登録してもよい。
　また、ユーザIDとしては、人識別部１１１により識別された人ごとに、ユニークなIDが割り当てられるが、ユーザIDを除いたユーザ情報の登録は、エージェント機器１０に対する入力操作で行うことは勿論、それ以外にも、例えば、エージェント機器１０と連携する機器で実行される外部アプリケーションに対する入力操作により行われてもよい。
　具体的には、例えば、ユーザが所持するスマートフォン等の情報端末が、エージェント機器１０と連携することで、当該情報端末で実行されるWebアプリケーション上で、ユーザ情報（例えば称呼や食材等に関する情報）を後から登録できるようにしてもよい。
　また、登録されたユーザ情報は、ユーザ情報テーブル１４１に格納されるが、登録されたユーザ情報を更新したり、削除したりすることもできる。例えば、あるユーザについて、食べられない食材が食べられるようになったり、ベジタリアンになったりした場合には、そのタイミングで、ユーザ情報を更新すればよい。
　なお、ユーザ情報テーブル１４１は、エージェント機器１０（の記憶部１０３）に限らず、例えば、冷蔵庫２０（の記憶部２０３）、サーバ６０（の記憶部６０３）、又はホームネットワーク５０に接続された専用の管理装置（不図示）等に記憶して管理してもよい。
（食品情報テーブルの他の例）
　上述した説明では、食品情報を格納した食品情報テーブル６２１の例を、図７に示したが、他の構成を用いてもよい。
　例えば、図７に示した食品情報テーブル６２１の項目は、一例であって、すべての項目を設ける必要はなく、また、他の項目を追加してもよい。具体的には、例えば、食品ごとに、出庫日時や、何人分の食品などの項目を設け、それらの項目に関する情報を登録して、応答の際に用いてもよい。
　また、例えば、所有権等の項目については、複数の情報を登録してもよい。具体的には、例えば、母（U002）が、父（U001）と息子（U004）のために食品（例えばビーフカツレツ）を作って冷蔵庫２０に保管した場合には、発話内容などによって、当該食品の所有権として、父（U001）と息子（U004）が登録される。
　また、登録された食品情報は、食品情報テーブル６２１に格納されるが、登録された食品情報を更新したり、削除したりすることもできる。
　具体的には、例えば、娘（U003）が所有権を有する食品（例えばプリン）が、息子（U004）に譲渡された場合、当該食品の所有権は息子（U004）に移転することになるが、発話内容などによって、食品の譲渡が認識された場合には、所有権情報の内容を更新すればよい。また、例えば、食品が出庫された場合に所定の期間を経過した後などに、当該食品のレコードを削除してもよい。
　なお、食品情報テーブル６２１は、サーバ６０（の記憶部６０３）に限らず、例えば、エージェント機器１０（の記憶部１０３）、冷蔵庫２０（の記憶部２０３）、又はホームネットワーク５０に接続された専用の管理装置（不図示）等に記憶して管理してもよい。
（レシピ情報の管理・提示）
　上述した説明では、エージェント機器１０（の処理部１００）がレシピ情報管理・提示部１３３を有するとして説明したが、この機能は、エージェント機器１０と連携する機器（例えばスマートフォン等の情報端末）で実行される外部アプリケーションにより提供されてもよい。
　例えば、エージェント機器１０、又はエージェント機器１０と連携する機器では、対話アプリケーション１２２として提供されるアプリケーションによりレシピ情報管理・提示部１３３の機能が実現され、ユーザに対し、料理の作り方、食材、工程、保存日数などのレシピ情報を提示することができる。
　また、レシピ情報管理・提示部１３３は、ユーザが提示されたレシピ情報に従い、料理を行った場合に、レシピ（例えば料理名や材料等）や、調理日時などの情報を保持する。そして、ユーザが作った料理（食品）が冷蔵庫２０に入庫されたとき、食品情報管理・提示部１３２（又はレシピ情報管理・提示部１３３）は、保持していたレシピや調理日時などの情報を、入庫した食品に関するレコードとして、食品情報テーブル６２１に登録することができる。
　また、エージェント機器１０と同一のホームネットワーク５０に接続した家電機器３０として、例えば電子レンジやオーブン等の調理機器が用いられる場合には、エージェント機器１０（のレシピ情報管理・提示部１３３）は、それらの調理機器と連携して、調理日時や料理名などの情報を取得してもよい。具体的には、例えば、オーブンを使ってグラタンを作った場合、エージェント機器１０は、オーブンと連携して、グラタンである料理名やその調理日時などの情報を取得することができる。
（入出庫者の特定）
　上述した説明では、冷蔵庫２０への食品の入出庫者の特定方法として、エージェント機器１０の人識別部１１１により入出庫者を特定する方法を例示したが、この入出庫者の特定方法を利用する場合には、エージェント機器１０の人検出可能範囲内に、冷蔵庫２０の扉の開閉部分があることが前提とされる。
　一方で、入出庫者の特定方法として、人識別部１１１により入出庫者を特定する方法に限らず、他の特定方法を用いてもよい。例えば、エージェント機器１０と冷蔵庫２０が置かれた台所の天井に設置されたカメラ等の外部機器により検出された情報に基づき、入出庫者を特定してもよい。
（食品の出庫時の応答の他の例）
　上述した説明では、図８のステップＳ５６，Ｓ６２の処理で出力される応答の具体例を、図９及び図１０などを参照しながら例示したが、この応答としては、様々な応答を出力することが可能である。
　具体的には、発話に含まれる質問の回答に関する情報を得られない場合、例えば、食品を入庫したユーザが誰であったかなどを、応答として出力してもよい。ここでは、例えば、「それは昨日の夜、おねぇちゃんが入れていました。」などの応答が出力される。
　あるいは、質問の回答に関する情報を得られない場合には、ユーザに対して出庫した食品に関する情報を問う質問を第１の応答として出力し、その第１の応答に対してユーザから得られた回答に基づき、食品情報テーブル６２１にて過去に登録された食品情報や、レシピ情報などから推定される情報を、第２の応答として出力してもよい。
　また、食べられない食材がある場合には、ユーザからの問いかけがなくても応答（注意応答）を出力し、そうでない場合には、例えば、ユーザ情報として、問いかけがある場合にのみ応答を出力するか否かに関する情報を登録可能にして、ユーザごとの設定に応じて応答の出力頻度を変えてもよい。あるいは、センサ部１０５や音声入力部１１３等により、応答を出力した際のユーザの反応（例えば顔の表情や返事、声色など）を検出し、その検出結果に応じてそれ以降の応答の出力頻度を変えてもよい。
　さらに、例えば、あるユーザ（例えば父）が冷蔵庫２０から食品を取り出す際に、保管部２０６内に自身が所有権を有する食品（例えばカレー）が存在するにもかかわらず、他の食品（例えばビーフカツレツ）を出庫しようとしたときには、「お父さん用のカレーがあるよ。今日中に食べた方がいいよ。」などのように、所有権を有する食品とその期限などの情報を、応答として出力してもよい。
＜３．システムの構成＞
　以上、本技術の実施の形態について説明した。上述したように、本技術を適用した情報処理装置としてのエージェント機器１０は、処理部１００と、入力部１０１と、出力部１０２とを含み、これらの構成要素は、１又は複数の情報処理装置によって実現される。以下、システムとして構成されるエージェント機器１０を実現する情報処理装置の組み合わせの例について、より具体的な例とともに説明する。
　なお、この情報処理装置は、上述したエージェント機器１０又は冷蔵庫２０に相当するものであるため、以下、情報処理装置１０又は情報処理装置２０とも記述する。また、以下の構成では、基本的に、情報処理装置１０の構成を示すが、情報処理装置２０の構成についても同様であり、処理部１００、入力部１０１、及び出力部１０２は、処理部２００、入力部２０１、及び出力部２０２にそれぞれ対応している。
（第１の例）
　図１１は、本技術を適用したシステムの一実施の形態の構成の第１の例を示している。
　図１１において、システム１は、情報処理装置１０（又は情報処理装置２０）を含む。処理部１００、入力部１０１、及び出力部１０２は、いずれも情報処理装置１０において実現される。情報処理装置１０は、以下で説明するように端末装置又はサーバとすることができる。
　この第１の例において、情報処理装置１０は、本技術の実施の形態に係る機能の実現のためにネットワークを介して外部装置と通信しない、スタンドアロンの装置であってもよい。なお、情報処理装置１０は、他の機能のために外部装置と通信してもよく、従って必ずしもスタンドアロンの装置でなくてもよい。
　入力部１０１と処理部１００との間のインターフェース１５０Ａ、及び処理部１００と出力部１０２との間のインターフェース１６０Ａは、いずれも装置内のインターフェースとすることができる。
　第１の例において、情報処理装置１０は、例えば端末装置として構成される。この場合、入力部１０１は、入力装置、センサ、外部サービスから情報を取得するソフトウェアなどを含めてもよい。外部サービスから情報を取得するソフトウェアは、例えば、端末装置で実行されているサービスのアプリケーションソフトウェアからデータを取得する。
　処理部１００は、端末装置が備えるプロセッサ又は処理回路がメモリ又はストレージ装置に格納されたプログラムに従って動作することによって実現される。出力部１０２は、出力装置、制御装置、外部サービスに情報を提供するソフトウェアなどを含めてもよい。外部サービスに情報を提供するソフトウェアは、例えば、端末装置で実行されているサービスのアプリケーションソフトウェアに情報を提供可能である。
　あるいは、第１の例において、情報処理装置１０は、サーバであってもよい。この場合、入力部１０１は、外部サービスから情報を取得するソフトウェアを含めてもよい。外部サービスから情報を取得するソフトウェアは、例えば、外部サービスのサーバ（情報処理装置１０自身であってもよい）からデータを取得する。
　処理部１００は、端末装置が備えるプロセッサがメモリ又はストレージ装置に格納されたプログラムに従って動作することによって実現される。出力部１０２は、外部サービスに情報を提供するソフトウェアなどを含めてもよい。外部サービスに情報を提供するソフトウェアは、例えば、外部サービスのサーバ（情報処理装置１０自身であってもよい）に情報を提供する。
（第２の例）
　図１２は、本技術を適用したシステムの一実施の形態の構成の第２の例を示している。
　図１２において、システム１は、情報処理装置１０，１１（又は情報処理装置２０，２１）を含む。処理部１００は、情報処理装置１０において実現される。一方、入力部１０１及び出力部１０２は、情報処理装置１１において実現される。
　情報処理装置１０と情報処理装置１１とは、本技術の実施の形態に係る機能を実現するために、ネットワークを介して通信する。入力部１０１と処理部１００との間のインターフェース１５０Ｂ、及び処理部１００と出力部１０２との間のインターフェース１６０Ｂは、いずれも装置間の通信インターフェースとすることができる。
　第２の例において、情報処理装置１１は、例えば端末装置として構成される。この場合、入力部１０１は、上記の第１の例と同様に、入力装置、センサ、外部サービスから情報を取得するソフトウェアなどを含めてもよい。出力部１０２も、上記の第１の例と同様に、出力装置、制御装置、外部サービスに情報を提供するソフトウェアなどを含めてもよい。
　あるいは、情報処理装置１１は、外部サービスとの間で情報をやりとりするためのサーバであってもよい。この場合、入力部１０１は、外部サービスから情報を取得するソフトウェアを含めてもよい。また、出力部１０２は、外部サービスに情報を提供するソフトウェアを含めてもよい。
　また、第２の例において、情報処理装置１０は、サーバ又は端末装置として構成される。処理部１００は、情報処理装置１０が備えるプロセッサ又は処理回路がメモリ又はストレージ装置に格納されたプログラムに従って動作することによって実現される。
　情報処理装置１０は、例えばサーバとして構成される専用の装置であってもよい。この場合、情報処理装置１０は、データセンタなどに設置されてもよいし、家庭内に設置されてもよい。
　あるいは、情報処理装置１０は、他の機能については端末装置として利用可能であるが、本技術の実施の形態に係る機能に関しては入力部１０１及び出力部１０２を実現しない装置であってもよい。以下の例において、情報処理装置１０は、上記のような意味において、サーバであってもよいし、端末装置であってもよい。
　ここでは、一例として、情報処理装置１１がウェアラブルデバイスであり、情報処理装置１０がウェアラブルデバイスにBluetooth（登録商標）などで接続されたモバイルデバイスであるような場合を考える。
　ウェアラブルデバイスがユーザによる操作入力を受け付け（入力部１０１）、当該操作入力に基づいて送信されたリクエストに基づいてモバイルデバイスが処理を実行し（処理部１００）、処理の結果をウェアラブルデバイスから出力する（出力部１０２）ような場合、ウェアラブルデバイスは上記の第２の例における情報処理装置１１として、モバイルデバイスは情報処理装置１０として、それぞれ機能していると言える。
（第３の例）
　図１３は、本技術を適用したシステムの一実施の形態の構成の第３の例を示している。
　図１３において、システム１は、情報処理装置１０，１１Ａ，１１Ｂ（情報処理装置２０，２１Ａ，２１Ｂ）を含む。処理部１００は、情報処理装置１０において実現される。また、入力部１０１は、情報処理装置１１Ａにおいて実現される。出力部１０２は、情報処理装置１１Ｂにおいて実現される。
　情報処理装置１０と情報処理装置１１Ａ，１１Ｂとは、本技術の実施の形態に係る機能を実現するために、ネットワークを介してそれぞれ通信する。入力部１０１と処理部１００との間のインターフェース１５０Ｂ、及び処理部１００と出力部１０２との間のインターフェース１６０Ｂは、いずれも装置間の通信インターフェースとすることができる。
　ただし、第３の例では、情報処理装置１１Ａと情報処理装置１１Ｂとが別個の装置であるために、インターフェース１５０Ｂ，１６０Ｂは、それぞれ異なる種類のインターフェースを含めてもよい。
　第３の例において、情報処理装置１１Ａ，１１Ｂは、例えば端末装置として構成される。この場合、入力部１０１は、上記の第１の例と同様に、入力装置、センサ、外部サービスから情報を取得するソフトウェアなどを含めてもよい。出力部１０２も、上記の第１の例と同様に、出力装置、制御装置、外部サービスに情報を提供するソフトウェアなどを含めてもよい。
　あるいは、情報処理装置１１Ａ，１１Ｂのうちの一方又は両方は、外部サービスからの情報の取得、及び外部サービスへの情報の提供のためのサーバであってもよい。この場合、入力部１０１は、外部サービスから情報を取得するソフトウェアを含めてもよい。また、出力部１０２は、外部サービスに情報を提供するソフトウェアを含めてもよい。
　また、第３の例において、情報処理装置１０は、上記の第２の例と同様に、サーバ又は端末装置として構成される。処理部１００は、情報処理装置１０が備えるプロセッサ又は処理回路がメモリ又はストレージ装置に格納されたプログラムに従って動作することによって実現される。
　上記の第３の例では、入力部１０１を実現する情報処理装置１１Ａと、出力部１０２を実現する情報処理装置１１Ｂとが別個の装置である。従って、例えば、第１のユーザが所持又は使用する端末装置である情報処理装置１１Ａによって取得された入力に基づく処理の結果を、第１のユーザとは異なる第２のユーザが所持又は使用する端末装置である情報処理装置１１Ｂから出力するといったような機能が実現できる。
　また、第１のユーザが所持又は使用する端末装置である情報処理装置１１Ａによって取得された入力に基づく処理の結果を、その時点では第１のユーザの手元にない（例えば留守中の自宅に設置されている）端末装置である情報処理装置１１Ｂから出力するといったような機能も実現できる。
　あるいは、情報処理装置１１Ａと情報処理装置１１Ｂは、いずれも同じユーザによって所持又は使用される端末装置であってもよい。例えば、情報処理装置１１Ａ，１１Ｂが、ユーザの異なる部位に装着されるウェアラブルデバイスである場合や、ウェアラブルデバイスとモバイルデバイスとの組み合わせであるような場合、これらのデバイスを連携させた機能をユーザに提供することができる。
（第４の例）
　図１４は、本技術を適用したシステムの一実施の形態の構成の第４の例を示している。
　図１４において、システム１は、情報処理装置１０，１１（情報処理装置２０，２１）を含む。第４の例において、処理部１００は、情報処理装置１０及び情報処理装置１１に分散して実現される。一方で、入力部１０１及び出力部１０２は、情報処理装置１１において実現される。
　情報処理装置１０と情報処理装置１１とは、本技術の実施の形態に係る機能を実現するために、ネットワークを介して通信する。
　上記のように、この第４の例では、処理部１００が、情報処理装置１０と情報処理装置１１との間で分散して実現される。より具体的には、処理部１００は、情報処理装置１０で実現される処理部１００Ｂと、情報処理装置１１で実現される処理部１００Ａ，１００Ｃとを含む。
　処理部１００Ａは、入力部１０１からインターフェース１５０Ａを介して提供される情報に基づいて処理を実行し、処理の結果を処理部１００Ｂに提供する。この意味において、処理部１００Ａは、前処理を実行するとも言える。
　一方、処理部１００Ｃは、処理部１００Ｂから提供される情報に基づいて処理を実行し、処理の結果を、インターフェース１６０Ａを介して出力部１０２に提供する。この意味において、処理部１００Ｃは、後処理を実行するとも言える。
　なお、図示された例では、前処理を実行する処理部１００Ａと後処理を実行する処理部１００Ｃとが両方示されているが、実際にはこのうちのいずれか一方だけが存在してもよい。
　つまり、情報処理装置１１は、前処理を実行する処理部１００Ａを実現するが、後処理を実行する処理部１００Ｃを実現せず、処理部１００Ｂから提供される情報は、そのまま出力部１０２に提供されてもよい。同様に、情報処理装置１１は、後処理を実行する処理部１００Ｃを実現するが、前処理を実行する処理部１００Ａを実現しなくてもよい。
　処理部１００Ａと処理部１００Ｂとの間、及び処理部１００Ｂと処理部１００Ｃとの間には、それぞれインターフェース１７０Ｂが介在する。インターフェース１７０Ｂは、装置間の通信インターフェースである。
　一方、情報処理装置１１が処理部１００Ａを実現する場合、インターフェース１５０Ａは、装置内のインターフェースである。同様に、情報処理装置１１が処理部１００Ｃを実現する場合、インターフェース１６０Ａは、装置内のインターフェースである。
　なお、上述した第４の例は、処理部１００Ａ又は処理部１００Ｃのうちの一方又は両方が、情報処理装置１１が備えるプロセッサ又は処理回路によって実現される点を除いては、上記の第２の例と同様である。つまり、情報処理装置１１は、端末装置、又は外部サービスとの間で情報をやり取りするためのサーバとして構成される。また、情報処理装置１０は、サーバ又は端末装置として構成される。
＜４．コンピュータの構成＞
　上述した一連の処理（例えば、図５の入庫処理や、図８の出庫処理）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　図１５のコンピュータにおいて、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及び、ドライブ１０１０が接続されている。
　入力部１００６は、マイクロフォン、キーボード、マウスなどよりなる。出力部１００７は、スピーカ、ディスプレイなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。
　以上のように構成されるコンピュータでは、CPU１００１が、ROM１００２や記録部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。また、プログラムは、１のコンピュータ（プロセッサ）により処理されてもよいし、複数のコンピュータによって分散処理されてもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　また、上述した一連の処理の各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本技術は、以下のような構成をとることができる。
（１）
　保管庫に保管された食品に関する情報として、前記食品ごとの所有権に関する所有権情報を含む食品情報を管理し、
　識別されたユーザからの情報が前記所有権に関する情報を含む場合、管理している前記食品情報に基づいて、前記ユーザの所望の食品の前記所有権情報に応じた応答を生成し、
　生成した前記応答を出力する
　処理部を備える
　情報処理装置。
（２）
　前記処理部は、
　　前記ユーザが所望の食品を前記保管庫に入庫する際に、入庫する前記食品に関する前記食品情報を登録し、
　　前記ユーザが所望の食品を前記保管庫から出庫する際に、出庫する前記食品の前記所有権情報に応じた応答を生成する
　前記（１）に記載の情報処理装置。
（３）
　前記食品情報は、前記食品の材料に関する材料情報を含み、
　前記処理部は、前記材料情報に基づいて、出庫する前記食品に、前記ユーザが食べられない食材を含む場合、前記食材に関する情報に応じた応答を生成する
　前記（２）に記載の情報処理装置。
（４）
　前記処理部は、
　　前記ユーザに関する情報として、前記ユーザごとの食べられない食材に関する情報を含むユーザ情報を管理し、
　　前記材料情報及び前記ユーザ情報に基づいて、出庫する前記食品に、前記ユーザが食べられない食材を含む場合、前記食材に関する情報に応じた応答を生成する
　前記（３）に記載の情報処理装置。
（５）
　前記ユーザからの情報は、前記ユーザの発話から得られる情報を含む
　前記（２）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記処理部は、前記保管庫に所望の食品を入庫する際に、前記ユーザの発話に所有権に関する情報を含む場合、入庫する前記食品に関する前記食品情報に、前記所有権に応じた所有権情報を含める
　前記（５）に記載の情報処理装置。
（７）
　前記処理部は、
　　前記保管庫から所望の食品を出庫する際に、前記ユーザの発話に所有権に関する情報を含む場合、前記食品情報から、出庫する前記食品の前記所有権情報を取得し、
　　取得した前記所有権情報に基づいて、前記応答を生成する
　前記（５）又は（６）に記載の情報処理装置。
（８）
　前記食品情報は、前記食品の調理日時に関する調理日時情報をさらに含み、
　前記処理部は、
　　前記ユーザの発話に前記調理日時に関する情報を含む場合、前記食品情報から、出庫する前記食品の前記調理日時情報を取得し、
　　取得した前記所有権情報及び前記調理日時情報に基づいて、前記応答を生成する
　前記（５）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記処理部は、
　　料理のレシピに関するレシピ情報を取得し、
　　取得した前記レシピ情報に応じた情報を、前記食品情報に含める
　前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　前記食品情報は、前記食品ごとに、各食品に関する各種の属性を含む
　前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記処理部は、前記応答として音声応答を出力する
　前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　前記食品は、調理済みの食品を含む
　前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記保管庫は、冷蔵庫を含む
　前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　情報処理装置が、
　保管庫に保管された食品に関する情報として、前記食品ごとの所有権に関する所有権情報を含む食品情報を管理し、
　識別されたユーザからの情報が前記所有権に関する情報を含む場合、管理している前記食品情報に基づいて、前記ユーザの所望の食品の前記所有権情報に応じた応答を生成し、
　生成した前記応答を出力する
　情報処理方法。
（１５）
　食品を保管する保管部と、
　前記食品に関する処理を行う処理部と
　を備え、
　前記処理部は、
　　前記保管部に保管された前記食品に関する情報として、前記食品ごとの所有権に関する所有権情報を含む食品情報を管理し、
　　識別されたユーザからの情報が前記所有権に関する情報を含む場合、管理している前記食品情報に基づいて、前記ユーザの所望の食品の前記所有権情報に応じた応答を生成し、
　　生成した前記応答を出力する
　食品保管装置。
　１０　エージェント機器，　２０　冷蔵庫，　３０，３０－１乃至３０－Ｎ　家電機器，　４０　ルータ，　５０　ホームネットワーク，　６０　サーバ，　７０　インターネット，　１００　処理部，　１０１　入力部，　１０２　出力部，　１０３　記憶部，　１０４　通信部，　１０５　センサ部，　１１１　人識別部，　１１２　対話制御部，　１１３　音声入力部，　１１４　音声出力部，　１２１　意図解析部，　１２２　対話アプリケーション，　１３１　ユーザ管理部，　１３２　食品情報管理・提示部，　１３３　レシピ情報管理・提示部，　１４１　ユーザ情報テーブル，　２００　処理部，　２０１　入力部，　２０２　出力部，　２０３　記憶部，　２０４　通信部，　２０５　センサ部，　２０６　保管部，　２１１　開閉検出部，　２１２　入出庫判定部，　２１３　物体識別部，　２１４　物体位置検出部，　６００　処理部，　６０１　入力部，　６０２　出力部，　６０３　記憶部，　６０４　通信部，　６１１　食品情報管理部，　６２１　食品情報テーブル，　１００１　CPU

Claims (15)

  1. 　保管庫に保管された食品に関する情報として、前記食品ごとの所有権に関する所有権情報を含む食品情報を管理し、
    　識別されたユーザからの情報が前記所有権に関する情報を含む場合、管理している前記食品情報に基づいて、前記ユーザの所望の食品の前記所有権情報に応じた応答を生成し、
    　生成した前記応答を出力する
    　処理部を備える
    　情報処理装置。
  2. 　前記処理部は、
    　　前記ユーザが所望の食品を前記保管庫に入庫する際に、入庫する前記食品に関する前記食品情報を登録し、
    　　前記ユーザが所望の食品を前記保管庫から出庫する際に、出庫する前記食品の前記所有権情報に応じた応答を生成する
    　請求項１に記載の情報処理装置。
  3. 　前記食品情報は、前記食品の材料に関する材料情報を含み、
    　前記処理部は、前記材料情報に基づいて、出庫する前記食品に、前記ユーザが食べられない食材を含む場合、前記食材に関する情報に応じた応答を生成する
    　請求項２に記載の情報処理装置。
  4. 　前記処理部は、
    　　前記ユーザに関する情報として、前記ユーザごとの食べられない食材に関する情報を含むユーザ情報を管理し、
    　　前記材料情報及び前記ユーザ情報に基づいて、出庫する前記食品に、前記ユーザが食べられない食材を含む場合、前記食材に関する情報に応じた応答を生成する
    　請求項３に記載の情報処理装置。
  5. 　前記ユーザからの情報は、前記ユーザの発話から得られる情報を含む
    　請求項２に記載の情報処理装置。
  6. 　前記処理部は、前記保管庫に所望の食品を入庫する際に、前記ユーザの発話に所有権に関する情報を含む場合、入庫する前記食品に関する前記食品情報に、前記所有権に応じた所有権情報を含める
    　請求項５に記載の情報処理装置。
  7. 　前記処理部は、
    　　前記保管庫から所望の食品を出庫する際に、前記ユーザの発話に所有権に関する情報を含む場合、前記食品情報から、出庫する前記食品の前記所有権情報を取得し、
    　　取得した前記所有権情報に基づいて、前記応答を生成する
    　請求項５に記載の情報処理装置。
  8. 　前記食品情報は、前記食品の調理日時に関する調理日時情報をさらに含み、
    　前記処理部は、
    　　前記ユーザの発話に前記調理日時に関する情報を含む場合、前記食品情報から、出庫する前記食品の前記調理日時情報を取得し、
    　　取得した前記所有権情報及び前記調理日時情報に基づいて、前記応答を生成する
    　請求項７に記載の情報処理装置。
  9. 　前記処理部は、
    　　料理のレシピに関するレシピ情報を取得し、
    　　取得した前記レシピ情報に応じた情報を、前記食品情報に含める
    　請求項１に記載の情報処理装置。
  10. 　前記食品情報は、前記食品ごとに、各食品に関する各種の属性を含む
    　請求項１に記載の情報処理装置。
  11. 　前記処理部は、前記応答として音声応答を出力する
    　請求項１に記載の情報処理装置。
  12. 　前記食品は、調理済みの食品を含む
    　請求項１に記載の情報処理装置。
  13. 　前記保管庫は、冷蔵庫を含む
    　請求項１に記載の情報処理装置。
  14. 　情報処理装置が、
    　保管庫に保管された食品に関する情報として、前記食品ごとの所有権に関する所有権情報を含む食品情報を管理し、
    　識別されたユーザからの情報が前記所有権に関する情報を含む場合、管理している前記食品情報に基づいて、前記ユーザの所望の食品の前記所有権情報に応じた応答を生成し、
    　生成した前記応答を出力する
    　情報処理方法。
  15. 　食品を保管する保管部と、
    　前記食品に関する処理を行う処理部と
    　を備え、
    　前記処理部は、
    　　前記保管部に保管された前記食品に関する情報として、前記食品ごとの所有権に関する所有権情報を含む食品情報を管理し、
    　　識別されたユーザからの情報が前記所有権に関する情報を含む場合、管理している前記食品情報に基づいて、前記ユーザの所望の食品の前記所有権情報に応じた応答を生成し、
    　　生成した前記応答を出力する
    　食品保管装置。
PCT/JP2020/014973 2019-04-15 2020-04-01 情報処理装置、情報処理方法、及び食品保管装置 WO2020213394A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/601,743 US20220171837A1 (en) 2019-04-15 2020-04-01 Information processing apparatus, information processing method, and food preservation apparatus
KR1020217030876A KR20210150375A (ko) 2019-04-15 2020-04-01 정보 처리 장치, 정보 처리 방법 및 식품 보관 장치
EP20790906.0A EP3957938A4 (en) 2019-04-15 2020-04-01 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND FOOD STORAGE DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019076759 2019-04-15
JP2019-076759 2019-04-15

Publications (1)

Publication Number Publication Date
WO2020213394A1 true WO2020213394A1 (ja) 2020-10-22

Family

ID=72837789

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014973 WO2020213394A1 (ja) 2019-04-15 2020-04-01 情報処理装置、情報処理方法、及び食品保管装置

Country Status (4)

Country Link
US (1) US20220171837A1 (ja)
EP (1) EP3957938A4 (ja)
KR (1) KR20210150375A (ja)
WO (1) WO2020213394A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256222A (zh) * 2021-06-17 2021-08-13 北京之前科技有限公司 机器人外卖柜取物配送方法、系统和机器人

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210060856A (ko) * 2019-11-19 2021-05-27 엘지전자 주식회사 냉장고

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003090661A (ja) * 2001-09-20 2003-03-28 Hitachi Ltd 個室付き収納庫およびその制御方法
US20040085225A1 (en) * 2002-11-05 2004-05-06 Wilson Alison D. Methods and apparatus to monitor the inventory of a food storage unit
JP2007046833A (ja) * 2005-08-09 2007-02-22 Funai Electric Co Ltd 物品保存庫、物品保存庫監視システム及び冷蔵庫監視システム
JP2015210059A (ja) * 2014-04-30 2015-11-24 株式会社東芝 冷蔵庫
US20160358508A1 (en) * 2015-06-05 2016-12-08 Elwha Llc Smart refrigerator
JP2017133825A (ja) 2016-01-29 2017-08-03 エルジー エレクトロニクス インコーポレイティド 冷蔵庫と通信を行うセンサ及びそのセンサを含む冷蔵庫制御システム
JP2017215067A (ja) 2016-05-30 2017-12-07 シャープ株式会社 在庫管理装置および在庫管理方法
JP2018095450A (ja) 2016-12-15 2018-06-21 シャープ株式会社 物品管理装置、物品管理システム、物品管理方法及びプログラム
JP2019191797A (ja) * 2018-04-23 2019-10-31 三菱電機株式会社 情報処理装置、情報提供システム、物品保管庫、情報処理方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8151358B1 (en) * 2005-04-07 2012-04-03 Aol Inc. Annotation of digital items in a shared list
WO2018128317A1 (ko) * 2017-01-03 2018-07-12 삼성전자주식회사 냉장고 및 이의 정보 표시 방법
JP2018205985A (ja) * 2017-06-01 2018-12-27 富士通株式会社 管理方法、管理プログラム、管理システムおよび管理装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003090661A (ja) * 2001-09-20 2003-03-28 Hitachi Ltd 個室付き収納庫およびその制御方法
US20040085225A1 (en) * 2002-11-05 2004-05-06 Wilson Alison D. Methods and apparatus to monitor the inventory of a food storage unit
JP2007046833A (ja) * 2005-08-09 2007-02-22 Funai Electric Co Ltd 物品保存庫、物品保存庫監視システム及び冷蔵庫監視システム
JP2015210059A (ja) * 2014-04-30 2015-11-24 株式会社東芝 冷蔵庫
US20160358508A1 (en) * 2015-06-05 2016-12-08 Elwha Llc Smart refrigerator
JP2017133825A (ja) 2016-01-29 2017-08-03 エルジー エレクトロニクス インコーポレイティド 冷蔵庫と通信を行うセンサ及びそのセンサを含む冷蔵庫制御システム
JP2017215067A (ja) 2016-05-30 2017-12-07 シャープ株式会社 在庫管理装置および在庫管理方法
JP2018095450A (ja) 2016-12-15 2018-06-21 シャープ株式会社 物品管理装置、物品管理システム、物品管理方法及びプログラム
JP2019191797A (ja) * 2018-04-23 2019-10-31 三菱電機株式会社 情報処理装置、情報提供システム、物品保管庫、情報処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3957938A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256222A (zh) * 2021-06-17 2021-08-13 北京之前科技有限公司 机器人外卖柜取物配送方法、系统和机器人

Also Published As

Publication number Publication date
KR20210150375A (ko) 2021-12-10
EP3957938A1 (en) 2022-02-23
US20220171837A1 (en) 2022-06-02
EP3957938A4 (en) 2022-06-15

Similar Documents

Publication Publication Date Title
CN105844445B (zh) 信息提供方法、服务器以及信息提供系统
US8419433B2 (en) Monitoring recipe preparation using interactive cooking device
US8323026B2 (en) Interactive recipe preparation using instructive device with integrated actuators to provide tactile feedback
US8342847B2 (en) Interactive recipe preparation instruction delivery to disabled indiviuals
US20180293638A1 (en) Blood and saliva biomarker optimized food consumption and delivery with artificial intelligence
US9519694B2 (en) Device for presenting recipe and method for presenting recipe
US8990274B1 (en) Generating a presentation associated with a set of instructions
US20090259688A1 (en) Interactive recipe preparation using instructive device with integrated actuators to provide tactile feedback
WO2020213394A1 (ja) 情報処理装置、情報処理方法、及び食品保管装置
US20220167788A1 (en) Cooking Appliance, Method and System
JP7018279B2 (ja) 代替レシピ提示装置、代替レシピ提示方法、コンピュータプログラム及びデータ構造
JP6543125B2 (ja) 制御方法及び冷蔵庫
US20230169118A1 (en) Information presenting method, recording medium, information presenting system, and terminal device
CN108172273A (zh) 一种基于访客的冰箱食材推荐方法
JP6728259B2 (ja) 情報提供装置、情報提供方法、および情報提供プログラム
US20030158465A1 (en) Method and system for facilitating compliance with a dietary restriction
JP6584292B2 (ja) 情報提供方法、サーバおよび情報提供システム
WO2022113188A1 (ja) 情報処理装置
US20210391051A1 (en) Information processing apparatus, information processing method, and program
CN111541868A (zh) 一种烹饪状态的监控方法、装置及系统
US20190130418A1 (en) Detection of Avoidance Parameters
CN115587245A (zh) 菜谱清单的推荐方法、装置、存储介质及电子装置
JP2019215650A (ja) 調理情報システム
US20190162585A1 (en) System for capturing point of consumption data
TW201939416A (zh) 調理資訊系統及伺服器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20790906

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020790906

Country of ref document: EP

Effective date: 20211115

NENP Non-entry into the national phase

Ref country code: JP