WO2020195821A1 - 情報処理装置、情報処理方法、情報処理プログラム - Google Patents

情報処理装置、情報処理方法、情報処理プログラム Download PDF

Info

Publication number
WO2020195821A1
WO2020195821A1 PCT/JP2020/010505 JP2020010505W WO2020195821A1 WO 2020195821 A1 WO2020195821 A1 WO 2020195821A1 JP 2020010505 W JP2020010505 W JP 2020010505W WO 2020195821 A1 WO2020195821 A1 WO 2020195821A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
user
information
processing device
operating status
Prior art date
Application number
PCT/JP2020/010505
Other languages
English (en)
French (fr)
Inventor
浩明 小川
智恵 鎌田
衣未留 角尾
幸徳 前田
高橋　晃
典子 戸塚
和也 立石
裕一郎 小山
悠希 武田
秀明 渡辺
啓 福井
寛 黒田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP20776886.2A priority Critical patent/EP3952320A4/en
Priority to US17/593,277 priority patent/US20220351600A1/en
Priority to CN202080021543.5A priority patent/CN113574906A/zh
Priority to JP2021508996A priority patent/JPWO2020195821A1/ja
Publication of WO2020195821A1 publication Critical patent/WO2020195821A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/31—Voice input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/80—Arrangements in the sub-station, i.e. sensing device
    • H04Q2209/82—Arrangements in the sub-station, i.e. sensing device where the sensing device takes the initiative of sending data
    • H04Q2209/823—Arrangements in the sub-station, i.e. sensing device where the sensing device takes the initiative of sending data where the data is sent when the measured values exceed a threshold, e.g. sending an alarm

Definitions

  • This disclosure relates to information processing devices, information processing methods, and information processing programs. More specifically, the present invention relates to a process of notifying the user of the behavior of the device.
  • Patent Document 1 there is known a technique in which a device connected to a network notifies a user of an error via the network and the user can know the result by e-mail or the like (for example, Patent Document 1).
  • Patent Document 2 in order to convert and output product information for diagnosing the state of home appliances, photograph the output signal to diagnose the state of home appliances, diagnose whether or not the home appliances are faulty, and respond to the failure.
  • the user can smoothly operate a plurality of devices such as home appliances.
  • the prior art when the home appliance does not support network communication or the home appliance cannot display a display that can be recognized by the diagnostic device, the user is notified of the status of the device. Is difficult. That is, the prior art may not be realized unless the device that performs the notification and the device that can communicate with the device are combined.
  • the information processing apparatus has a process of detecting information indicating the operating status of the device as sensing information, and when the sensing information is detected, the sensing. It is provided with a control unit that refers to a storage unit in which the response contents corresponding to the information are stored, determines whether or not to notify the user of the operating status of the device, and executes the process.
  • the system configuration according to the present disclosure it is a figure which shows the example of the system including the intermediate server. As one of the more specific examples of the system configuration according to the present disclosure, it is a figure which shows the example of the system including the terminal apparatus which functions as a host. As one of the more specific examples of the system configuration according to the present disclosure, it is a figure which shows the example of the system including the edge server. As one of the more specific examples of the system configuration according to the present disclosure, it is a figure which shows the example of the system including fog computing. It is a block diagram which shows the tenth example of the system configuration which concerns on this disclosure. It is a block diagram which shows the eleventh example of the system configuration which concerns on this disclosure. It is a hardware block diagram which shows an example of the computer which realizes the function of a device.
  • First Embodiment 1-1 An example of information processing according to the first embodiment 1-2. Configuration of Information Processing Device According to First Embodiment 1-3. Information processing procedure according to the first embodiment 1-4. Modification example according to the first embodiment 2. Second Embodiment 2-1. An example of information processing according to the second embodiment 2-2. Configuration of Information Processing Device According to Second Embodiment 2-3. Information processing procedure according to the second embodiment 2-4. Modification example according to the second embodiment 3. Third embodiment 4. Other Embodiments 4-1. Abnormal sound detection 4-2. Notification according to user attributes 4-3. Notification according to the usage status of the device 4-4. Configuration of each device 4-5. Information processing system aspect 4-6. Others 5. Effect of information processing device according to the present disclosure 6. Hardware configuration
  • FIG. 1 is a diagram showing an example of information processing according to the first embodiment.
  • FIG. 1 shows an example in which information processing according to the first embodiment is executed by an information processing system 1 including an information processing apparatus 100 according to the present disclosure and a home appliance 10 which is an example of the equipment according to the present disclosure. ..
  • the information processing device 100 is an example of the information processing device according to the present disclosure.
  • the information processing device 100 has a function of interacting with a user via voice or text (referred to as an agent function or the like), and various information such as voice recognition and response generation to the user. Perform processing.
  • the information processing device 100 can also play a role of performing various controls on a so-called IoT (Internet of Things) device or the like in response to a request from a user who uses the agent function.
  • the information processing device 100 is, for example, a smart speaker, a smartphone (smart phone), a television, a tablet terminal, or the like.
  • the information processing device 100 may be a wearable device such as a clock-type terminal or a glasses-type terminal, or a home electric appliance such as a refrigerator or a washing machine having an agent function.
  • the home appliance 10 is an example of the device according to the present disclosure.
  • the home appliance 10 is a home appliance that is installed and used at a user's home or the like.
  • the home appliance 10 is a washing machine.
  • the home appliance 10 does not have a function of communicating with the information processing device 100 via the network.
  • only one home appliance 10 is shown, but the number of home appliances 10 is not limited to that shown in FIG.
  • the information processing device 100 detects (sensing) the operating status of the home appliance 10 by using various sensors such as a microphone and a camera. Further, the information processing device 100 acquires the detected information (hereinafter, referred to as "sensing information"). For example, the information processing device 100 acquires a sound emitted by the home appliance 10 (for example, an electronic sound for notifying that washing has started or washing has ended), and reproduces the acquired sound. It is possible to do. According to this process, the information processing device 100 can notify the user of the electronic sound emitted by the home appliance 10 even when the user is not in the vicinity of the home appliance 10.
  • notifying the user of all the sounds acquired by the information processing device 100 may cause a troublesome situation for the user. For example, taking the end of washing as an example, it makes sense to tell a user in a room far from the washing machine that the washing is finished, but to stop the washing machine for the user in front of the washing machine. Notifying is tedious and annoying to the user. That is, in the notification of the operating status of the home electric appliance to be executed by the information processing device 100, if the information that the user can clearly know is notified one by one, the convenience for the user may be impaired. As described above, the technology for notifying the state of home appliances has a problem that it is desired to smoothly operate a plurality of home appliances without impairing the convenience of the user.
  • the information processing device 100 solves the above problem by the information processing described below.
  • the information processing device 100 detects information indicating the operating status of the home appliance as sensing information, and when the sensing information is detected, the response content corresponding to the sensing information is stored. It is determined whether or not to notify the user of the operating status of the home appliance by referring to the storage unit. As a result, the information processing device 100 can give notifications according to the user's request instead of notifying the user of the status of the home appliances one by one, so that the user does not feel annoyed and a plurality of home appliances. Can be operated properly.
  • the processing unit of the information processing device 100 is conceptually expressed as a detection unit 141, a notification unit 142, and a UI unit 143, but this is an expression for convenience of explanation and information processing.
  • the device 100 does not necessarily have to have the functional configuration shown in FIG.
  • the detection unit 141 related to the information processing device 100 may refer to the electronic sound emitted by the home appliance 10 (hereinafter, the sound emitted for such notification is referred to as "notification sound"" as an example of the sensing information. ) Is detected (step S1).
  • the information processing device 100 detects the notification sound emitted by the home appliance 10 based on a pattern matching algorithm with an example of the notification sound stored in the storage unit 130 in advance.
  • the information processing device 100 is not limited to the above example, and the notification sound may be detected by using various known methods.
  • the information processing device 100 detects the notification sound emitted by the home appliance 10 by using a sound recognition model learned to distinguish between the notification sound and the operating sound of the home appliance 10 (vibration sound emitted during washing, etc.). You may.
  • the information processing device 100 may detect not only the notification sound but also the optical display emitted by the home appliance 10 as the sensing information.
  • the information processing device 100 may detect a blinking display at the end of washing by using a camera or the like.
  • the information processing device 100 sends the detected notification sound to the notification unit 142 (step S2).
  • the notification unit 142 related to the information processing device 100 determines whether or not the notification sound detected by the detection unit 141 is a notification sound to be notified to the user.
  • the information processing device 100 refers to the storage unit 130 (step S3).
  • the storage unit 130 includes information for distinguishing the detected notification sound (for example, a notification sound template) and information on whether or not to notify the user of the notification sound as a data table. I remember as. That is, the information processing device 100 refers to the storage unit 130 and determines whether or not the notification sound detected in step S1 is the "notification sound to be notified to the user".
  • the notification sound data (waveform data, signal data, etc. for reproducing the notification sound, etc.) ) Is sent to the UI (User Interface) unit 143 (step S4).
  • the UI unit 143 related to the information processing device 100 is a processing unit that communicates with the user.
  • the UI unit 143 controls a process of displaying information on a display included in the information processing device 100 and outputting audio from an audio output device (speaker or the like) included in the information processing apparatus 100.
  • the information processing device 100 notifies the user of the notification sound sent from the notification unit 142 (step S5). For example, the information processing device 100 outputs a sound similar to the notification sound detected from the home appliance 10 in step S1.
  • the information processing device 100 may output a preset response content together with the notification sound to make a predetermined inquiry to the user. For example, the information processing device 100 makes an inquiry such as "A sound such as ... has been detected. Do you want to notify this sound in the future?"
  • the information processing device 100 receives a reaction from the user (step S6).
  • the information processing device 100 recognizes the notification sound and does not reject the notification of the notification sound (for example, a voice that does not include a negative expression such as "OK” or "Thank you”. Etc.) are accepted.
  • the information processing apparatus 100 may express a negative expression such as a reaction indicating that the user has recognized the notification sound and rejected the notification of the notification sound (for example, "it does not have to be transmitted", “noisy", or the like. Accepts audio including).
  • the information processing device 100 determines the response when the same sound is subsequently detected, such as the user's reaction to the inquiry to the user (for example, "the sound should continue to be transmitted", etc. " (Sound indicating, etc.) is accepted.
  • the information processing device 100 sends the received reaction to the notification unit 142 (step S7). Subsequently, the information processing apparatus 100 reflects the received reaction in the database of the storage unit 130 (step S8). In other words, the information processing apparatus 100 learns whether or not to give a notification regarding the notification sound based on the reaction from the user.
  • the information processing device 100 detects information indicating the operating status of the home appliance 10 as sensing information. Then, when the sensing information is detected, the information processing device 100 refers to the storage unit 130 in which the response contents corresponding to the sensing information are stored, and determines whether or not to notify the user of the operating status of the home appliance 10. To do.
  • the information processing device 100 determines whether or not to notify the user of the information, and then notifies the user. As a result, the information processing apparatus 100 does not notify the notification sound that the user does not want, while the notification sound that the user wants can be notified to the user, so that the notification can be made according to the user's request. Further, when the user is not near the home appliance 10, the information processing device 100 can transmit a notification to the user on behalf of the home appliance 10, so that the convenience of the user can be improved.
  • the information processing device 100 detects the sound emitted by the home appliance 10 with a microphone or the like even when the home appliance 10 is not connected to the network (for example, when the home appliance 10 is not an IoT device).
  • the notification sound can be reliably detected regardless of the function of the home appliance 10.
  • the information processing device 100 can smoothly operate various home appliances 10 regardless of the performance of the individual home appliances 10.
  • FIG. 1 shows an example in which one information processing device 100 executes information processing according to the present disclosure
  • a plurality of information processing devices 100 may be installed.
  • the information processing according to the present disclosure may be executed in cooperation with the first smart speaker installed near the user and the second smart speaker installed near the home appliance 10.
  • the second smart speaker transmits the information related to the detected notification sound to the first smart speaker via the network.
  • the first smart speaker outputs a notification sound emitted from the home appliance 10 to the user together with information on the location where the second smart speaker is installed (for example, a kitchen or the like).
  • the first smart speaker gives a notification such as "the kitchen made such a sound" when outputting the notification sound emitted by the home appliance 10.
  • the information processing device 100 can accurately convey information about the home appliance 10 that the user does not know to the user.
  • FIG. 2 is a diagram showing a configuration example of the information processing apparatus 100 according to the first embodiment.
  • the information processing device 100 includes a sensor 120, an input unit 121, a communication unit 122, a storage unit 130, and a control unit 140.
  • the sensor 120 is a device for detecting various information.
  • the sensor 120 includes, for example, a voice input sensor 120A that collects a notification sound emitted by the home appliance 10 and a voice spoken by the user.
  • the voice input sensor 120A is, for example, a microphone.
  • the sensor 120 includes, for example, an image input sensor 120B.
  • the image input sensor 120B is, for example, a camera for photographing a home appliance 10, a user, or a situation in the user's home.
  • the image input sensor 120B is, for example, a stereo camera capable of acquiring the distance and direction (depth data, etc.) to the observation target.
  • the senor 120 may include an acceleration sensor, a gyro sensor, and the like. Further, the sensor 120 may include a sensor that detects the current position of the information processing device 100. For example, the sensor 120 receives radio waves transmitted from a GPS (Global Positioning System) satellite, and detects position information (for example, latitude and longitude) indicating the current position of the information processing device 100 based on the received radio waves. May be good.
  • GPS Global Positioning System
  • the senor 120 may include a radio wave sensor that detects radio waves emitted by an external device, an electromagnetic wave sensor that detects electromagnetic waves, and the like. Further, the sensor 120 may detect the environment in which the information processing device 100 is placed. Specifically, the sensor 120 is a location of an illuminance sensor that detects the ambient illuminance of the information processing device 100, a temperature sensor that detects the ambient temperature, a humidity sensor that detects the ambient humidity, and the information processing device 100. It may include a geomagnetic sensor or the like that detects a magnetic field at a position.
  • the sensor 120 does not necessarily have to be provided inside the information processing device 100.
  • the sensor 120 may be installed outside the information processing device 100 as long as it is possible to transmit the information sensed by communication or the like to the information processing device 100.
  • the input unit 121 is a device for receiving various operations from the user.
  • the input unit 121 is realized by a keyboard, a mouse, a touch panel, or the like.
  • the input unit 121 receives input by voice from the user, so that the voice input sensor 120A may also serve as the input unit 121.
  • the communication unit 122 is realized by, for example, a NIC (Network Interface Card) or the like.
  • the communication unit 122 is connected to the network N by wire or wirelessly, and transmits / receives information to / from another information processing device 100, an external server that performs voice recognition processing, or the like via the network N.
  • the storage unit 130 is realized by, for example, a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory (Flash Memory), or a storage device such as a hard disk or an optical disk.
  • the storage unit 130 has a response content table 131.
  • the response content table 131 stores the response content when responding to the user when the notification sound is detected.
  • FIG. 3 shows an example of the response content table 131 according to the first embodiment.
  • FIG. 3 is a diagram showing an example of the response content table 131 according to the first embodiment.
  • the response content table 131 has items such as “notification sound ID” and “response content”.
  • the "response content” includes small items such as "notification availability" and "notification message”.
  • notification sound ID indicates identification information for identifying the notification sound.
  • the notification sound ID may include information such as waveform data and signal data for identifying the detected notification sound.
  • “Response content” indicates the content of the response to the user when the notification sound is detected.
  • “Notification availability” indicates whether or not to notify the user of the notification sound.
  • the “notification message” indicates the content of the message output together with the notification sound.
  • the item of the notification message is conceptually described as "B01", but in reality, the item of the notification message is the specific content of the voice output to the user. Etc. are memorized.
  • the notification sound whose notification sound ID is "A01” is a notification sound notified to the user when it is detected. (The notification availability is “Yes"), indicating that the notification message is "B01".
  • the control unit 140 is a processing unit that executes information processing executed by the information processing device 100. As shown in FIG. 2, the control unit 140 includes a detection unit 141, a notification unit 142, and a UI unit 143.
  • the control unit 140 is a program stored inside the information processing apparatus 100 by, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a GPU (Graphics Processing Unit), or the like (for example, an information processing program according to the present disclosure). ) Is realized by executing RAM (Random Access Memory) etc. as a work area.
  • the control unit 140 is a controller, and may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • the detection unit 141 detects information indicating the operating status of the device (home appliance 10) as sensing information. For example, the detection unit 141 detects various information detected by the sensor 120 as sensing information.
  • the detection unit 141 detects a notification sound emitted by the home appliance 10 to notify the operating status as sensing information. Specifically, the detection unit 141 detects an electronic sound when the home appliance 10 starts operation, an electronic sound when the operation ends, and the like.
  • the detection unit 141 refers to a notification sound template stored in advance in the storage unit 130, and outputs a notification sound based on matching (pattern matching) between the template and the notification sound emitted from the home appliance 10. To detect.
  • the detection unit 141 detects the notification sound by using a learning model or the like that detects the electronic sound emitted by the home appliance 10 or recognizes and classifies the type of the electronic sound.
  • the detection unit 141 may detect the voice emitted by the user among the voices detected by the sensor 120. For example, the detection unit 141 analyzes the user's speech intention included in the detected voice through automatic voice recognition (ASR (Automatic Speech Recognition)) processing and natural language understanding (NLU (Natural Language Understanding)) processing. Detect the analyzed information.
  • ASR Automatic Speech Recognition
  • NLU Natural Language Understanding
  • the detection unit 141 may pass that fact to the UI unit 143. For example, if the analysis result includes an intention that cannot be estimated from the user's utterance, the detection unit 141 passes the content to the UI unit 143. In this case, the UI unit 143 outputs a response (such as an utterance such as "Please say again") requesting the user to speak the unknown information accurately again.
  • a response such as an utterance such as "Please say again
  • the detection unit 141 detects various information related to the user's movements such as the user's face information, the orientation and inclination of the user's body, movement and movement speed, etc., via the image input sensor 120B, the acceleration sensor, the infrared sensor, and the like. You may. That is, the detection unit 141 detects various physical quantities such as position information, acceleration, temperature, gravity, rotation (angular velocity), illuminance, geomagnetism, pressure, proximity, humidity, and rotation vector as contexts via the sensor 120. May be good.
  • the detection unit 141 may detect information related to communication. For example, when a plurality of information processing devices 100 are present, the detection unit 141 may periodically detect the connection status between the information processing devices 100.
  • the connection status is, for example, information indicating whether or not mutual communication is established.
  • the notification unit 142 refers to the storage unit 130 in which the response contents corresponding to the sensing information are stored, and determines whether or not to notify the user of the operating status of the device.
  • the operating status of the device may be the notification sound itself detected by the detection unit 141, or a message or the like indicating the operating status of the device (a message or the like indicating that the operation of the home appliance 10 has ended). You may.
  • the notification unit 142 refers to the storage unit 130 in which the response contents corresponding to the notification sound are stored, and whether or not to notify the user of the operating status of the device. To judge. Specifically, the notification unit 142 refers to the response content of the detected notification sound, and if the notification sound is a notification sound set to notify the user, the notification unit 142 notifies the user of the notification sound. Control. On the other hand, when the detected notification sound is a notification sound that is not set to notify the user, the notification unit 142 controls the notification sound so as not to notify the user.
  • the notification unit 142 indicates that the notification sound has been detected for the first time. At the same time, the user may be notified of the notification sound. In this case, the notification unit 142 may make an inquiry to the user, such as "Do you want to notify this notification sound thereafter?".
  • the notification unit 142 updates the response content corresponding to the sensing information stored in the storage unit 130 based on the reaction received from the user after notifying the user of the operating status of the device.
  • the notification unit 142 is set to indicate whether or not to notify the user of the operating status of the device corresponding to the detected sensing information based on the reaction received from the user (for example, FIG. 3).
  • the information stored in the "Notification availability" item) is updated.
  • the notification unit 142 recognizes the voice received from the user, and notifies the user of the operating status of the device corresponding to the detected sensing information based on the user's reaction according to the result of the voice recognition. Update the settings that indicate whether or not to do so. For example, when the notification unit 142 receives a positive response such as "Thank you" from the user who has been notified of the operation status of the device, the notification unit 142 updates the setting so as to notify the user of the operation status corresponding to the notification sound. (Or maintain).
  • the notification unit 142 when the notification unit 142 receives a negative reaction such as "it is not necessary to tell” from the user who has been notified of the operation status of the device, after that, the notification unit 142 informs the user of the operation status corresponding to the notification sound. Update the settings so that you will not be notified.
  • the notification unit 142 may notify the user of information about the location where the device is installed together with the operating status. For example, when a plurality of information processing devices 100 are installed in the user's home, the information processing device 100 stores the position where each device is installed (information indicating a category such as home, kitchen, washroom, etc.). be able to. Then, when notifying the user of the notification sound, the notification unit 142 also notifies the user by aligning the installation position of the information processing device 100 that has detected the operating status of the device. Specifically, the notification unit 142 notifies the user of the notification sound together with a message such as "the kitchen made such a sound".
  • the user can roughly predict from which home appliance 10 the notification sound is emitted.
  • a plurality of devices may cooperate to execute the information processing according to the present disclosure.
  • the device that determines whether or not to notify the user of the operating status of the device and the device that notifies the user may be different devices. That is, the notification process executed by the notification unit 142 includes not only the process of notifying the user by the own device but also the process of controlling another device to notify the user.
  • the UI unit 143 is a processing unit that exchanges information with the user.
  • the UI unit 143 functions as an interface for outputting information (sound information such as a notification sound) notified by the notification unit 142 and receiving voice input from the user.
  • the UI unit 143 includes a mechanism for outputting various information.
  • the UI unit 143 may have a speaker for outputting sound and a display for outputting video.
  • the UI unit 143 outputs a voice notification to the user generated by the notification unit 142.
  • the UI unit 143 may convert the notification to the user generated by the notification unit 142 into a screen display (image data) and output the converted image to the display.
  • the UI unit 143 may display the video data in which the message generated by the notification unit 142 as a text is displayed on the display together with the sound.
  • the UI unit 143 may give a voice notification to the user and output the image acquired by the detection unit 141 to the display.
  • FIG. 4 is a flowchart showing the flow of processing according to the first embodiment.
  • the information processing device 100 determines whether or not the notification sound emitted by the home appliance 10 is detected (step S101). When the notification sound is not detected (step S101; No), the information processing apparatus 100 waits until the notification sound is detected.
  • step S101 when the notification sound is detected (step S101; Yes), the information processing apparatus 100 collates with the notification sound stored in the storage unit 130 (step S102).
  • the information processing device 100 determines whether or not the detected notification sound and the notification sound stored in the storage unit 130 match (step S103). When the notification sounds match (step S103; Yes), the information processing apparatus 100 determines whether or not the notification sound is set so that the user can be notified (step S104).
  • step S104 When the notification sound is set so that the user can be notified (for example, when the item of "notification enable / disable" shown in FIG. 3 is "Yes") (step S104; Yes), the information processing apparatus 100 Based on the response content stored in the storage unit 130, the user is notified of the operating status of the home appliance 10 (step S105). On the other hand, when the notification sound is not set so that the user can be notified (step S104; No), the information processing apparatus 100 ends the process without notifying the user.
  • step S103 when the detected notification sound and the notification sound stored in the storage unit 130 do not match (step S103; No), the notification sound is detected in the future. Ask the user what kind of response to take (step S106).
  • the information processing device 100 associates the user's response with the detected sound (notification sound detected in step S101), and newly stores the associated information in the storage unit 130 (step S107).
  • the information processing device 100 does not have to have all the configurations shown in FIG.
  • the information processing device 100 does not have to hold the response content table 131 shown in FIG.
  • the information processing apparatus 100 may access the external server or the like that holds the information corresponding to the response content table 131 via the network and acquire the information corresponding to the response content table 131.
  • the information processing device 100 may access an external server or the like and update the contents stored in the response content table 131 as appropriate. For example, when the information processing device 100 accepts the registration of the home appliance 10 used by the user, the information processing device 100 may acquire the notification sound data corresponding to the home appliance 10 from an external server or the like.
  • FIG. 5 is a diagram showing an example of information processing according to the second embodiment.
  • the information processing according to the second embodiment is executed by the information processing apparatus 100A shown in FIG.
  • the information processing device 100A detects the notification sound emitted from the home appliances 10A and the home appliances 10B.
  • the home appliance 10A is a washing machine
  • the home appliance 10B is a rice cooker.
  • the information processing device 100 when it is not necessary to distinguish between the information processing device 100 according to the first embodiment and the information processing device 100A according to the second embodiment, it is simply referred to as the information processing device 100.
  • the home appliance 10 when it is not necessary to distinguish between the home appliance 10 according to the first embodiment and the home appliance 10A or 10B according to the second embodiment, it is simply referred to as the home appliance 10.
  • the detection unit 141 related to the information processing device 100A detects the electronic sound emitted by the home appliance 10A or the home appliance 10B (steps S11 and S12). At this time, the information processing device 100A detects the direction and position where the home appliance 10A or the home appliance 10B is installed by using, for example, an array microphone (Array Microphone) or the like. Further, the information processing apparatus 100A recognizes an object on the camera image if the detected direction is within the field of view of the camera. As a result, the information processing device 100A recognizes the home appliance 10A or the home appliance 10B that emits the detected notification sound.
  • an array microphone Array Microphone
  • the information processing device 100A refers to the information stored in the storage unit 130 (step S13). Specifically, the information processing device 100A refers to the object label information (for example, information indicating what kind of home appliance the result of image recognition corresponds to) stored in the storage unit 130. Then, the information processing device 100A sends information associating the notification sound detected in steps S11 and S12 with the home appliance 10A or the home appliance 10B that emitted the notification sound to the notification unit 142 (step S14). Since the processing after step S15 is the same as that of the first embodiment, the description thereof will be omitted.
  • the information processing device 100A identifies the home appliances 10A or 10B corresponding to the sensing information by image recognition, and operates the home appliances 10A or 10B together with the information of the identified home appliances 10A or 10B. Notify the user of the situation.
  • the information processing device 100A can notify the user of the operating status of the home appliances 10A or the home appliances 10B in more detail. Specifically, the information processing device 100A can notify the user of information indicating the target for which the notification sound is emitted, such as "the rice cooker made such a sound", together with the notification sound. That is, the information processing device 100A can further improve the convenience of the user who handles the plurality of home appliances 10.
  • FIG. 6 is a diagram showing a configuration example of the information processing apparatus 100A according to the second embodiment. Compared to the first embodiment, the information processing device 100A further includes a device information table 132.
  • the device information table 132 stores information about the device (home appliance).
  • FIG. 7 is a diagram showing an example of the device information table 132 according to the second embodiment.
  • the device information table 132 has items such as "device ID”, "device type”, and "image recognition data”.
  • Device ID indicates identification information for identifying the device.
  • the device ID and the reference code of the home appliance 10 are common. For example, a device whose device ID is identified by “10A” means “home appliances 10A”.
  • Device type indicates the type of device.
  • the type of device indicates, for example, information classified according to the attributes and characteristics of the home appliance 10. Specifically, the type of device is a category indicating home appliances 10, such as "washing machine”, “rice cooker”, and "refrigerator”.
  • Image recognition data indicates data obtained as a result of image recognition. For example, in image recognition, information indicating that an object included in an image has been recognized as a "washing machine” or a "rice cooker” is given.
  • the image recognition data is data showing the result of such image recognition.
  • the item of image recognition data is conceptually described as "C01", but in reality, the item of image recognition data includes an object extracted as a result of image recognition. Or, specific data or the like indicating what kind of object the object is recognized as is stored.
  • the information processing device 100A refers to the device information table 132, and the object corresponding to the data is the device ID "10A". It can be identified as the device to be identified (in this example, the home appliance 10A).
  • the home appliance 10A having the device ID “10A” has the device type “washing machine” and the image recognition data “C01”. It shows that there is.
  • the information processing apparatus 100A performs direction and image recognition for the home appliance 10A or the home appliance 10B, and also performs image recognition for the user.
  • the notification unit 142 identifies the device corresponding to the sensing information by image recognition, and notifies the user of the operating status of the device together with the information of the identified device.
  • the notification unit 142 notifies the user of at least one of the type of device, the name of the device, or the place where the device is installed, together with the operating status of the device.
  • the control unit 140 determines the type and name of the home appliance 10 that emits the notification sound (for example, "refrigerator” or "rice cooker") or the place where the home appliance 10 is placed (for example, “kitchen” or “washroom”). "Etc.) will be notified.
  • the detection unit 141 may detect not only the device information but also the user information by using the sensor 120. Specifically, the detection unit 141 detects the location of the user at home. Then, the detection unit 141 verifies whether or not the user is located in the vicinity of the home appliance 10 that emits the notification sound.
  • the notification unit 142 determines whether or not to notify the user of the operating status of the device based on the positional relationship between the detected location position of the user and the device corresponding to the sensing information. You may judge.
  • the notification unit 142 determines whether or not to notify the user of the operating status of the device based on the distance between the detected location of the user and the position where the device corresponding to the sensing information is installed. To do.
  • the detection unit 141 detects the distance between the user and the home appliance 10 by using a distance-measurable sensor 120 such as a depth sensor.
  • the detection unit 141 estimates the distance between the user and the home appliance 10 included in the same image by image recognition processing.
  • the notification unit 142 notifies the user of the notification sound emitted by the home appliance 10 (that is, the operating status of the home appliance 10). ..
  • a predetermined threshold value for example, 10 meters
  • the notification unit 142 does not have to notify the user of the notification sound emitted by the home appliance 10.
  • the notification unit 142 determines whether or not to notify the user after detecting the positional relationship between the home appliance 10 and the user. As a result, the user can avoid annoying situations such as the information processing device 100A notifying the operating status of the home appliance 10 in the immediate vicinity. On the other hand, the user can know the operating status of the home appliance 10 which is difficult to visually recognize through the information processing device 100A. In this way, the information processing device 100A can realize the notification processing with high satisfaction for the user.
  • the detection unit 141 may detect not only the distance between the user and the home appliance 10 but also more detailed information. For example, the detection unit 141 may detect the orientation of the user's face or the orientation of the body by using a known image recognition process. Then, the notification unit 142 responds to the orientation of the user's face or body at the timing when the home appliance 10 issues information indicating the operating status or when the home appliance 10 detects the information indicating the operating status as sensing information. It may be determined whether or not to notify the user of the operating status of the home appliance 10.
  • the notification unit 142 determines that the user has recognized the notification sound emitted by the home appliance 10 when the user's face or body is facing the direction of the home appliance 10 when the home appliance 10 emits the notification sound. To do. In this case, the notification unit 142 determines that it is not necessary to inform the user of the operating status of the home appliance 10 again, and does not notify the user. On the other hand, the notification unit 142 determines that the user does not recognize the notification sound emitted by the home appliance 10 if the user's face or body does not face the direction of the home appliance 10 when the home appliance 10 emits the notification sound. To do. In this case, the notification unit 142 determines that the operating status of the home appliance 10 should be notified to the user, and notifies the user. In this way, the information processing device 100A can perform notification processing according to the situation of the user on the spot.
  • the notification unit 142 may determine whether or not to give a notification based not only on the orientation of the user's face or body but also on the user's location range. For example, the notification unit 142 does not need to notify the user while the home appliance 10 and the user are both within the angle of view of the camera (that is, when the home appliance 10 and the user are included in the same image). May be determined. At this time, the notification unit 142 may set a predetermined buffer time such that it is determined that the notification to the user is unnecessary even within a predetermined time (for example, several seconds) after the user frames out. Further, the notification unit 142 may determine that the user is notified when the predetermined time has passed since the user framed out.
  • a predetermined buffer time such that it is determined that the notification to the user is unnecessary even within a predetermined time (for example, several seconds) after the user frames out.
  • the notification unit 142 is within the field of view of the camera if the distance between the user and the home appliance 10 exceeds a predetermined distance because the camera has a wide angle or the like. Also, a determination such as notifying the user may be made.
  • the notification unit 142 notifies when the user's face recognition process determines that the user has closed his / her eyes for a longer time than a predetermined time (that is, when the user has determined that he / she is in a sleeping state). May be determined not to perform. Even when the information processing device 100A does not have a camera, the notification unit 142 can easily realize the same processing as described above by voice identification of the speaker, processing of determining the situation of the speaker, and the like. May be good.
  • FIG. 8 is a flowchart showing the flow of processing according to the second embodiment.
  • the information processing device 100A determines whether or not the notification sound emitted by the home appliance 10 is detected (step S201). When the notification sound is not detected (step S201; No), the information processing apparatus 100A waits until the notification sound is detected.
  • step S201 when the notification sound is detected (step S201; Yes), the information processing device 100A collates with the notification sound stored in the storage unit 130, recognizes the home appliance 10 that emitted the notification sound, and provides information on the home appliance 10. (Step S202).
  • the information processing device 100A determines whether or not the detected notification sound and the notification sound stored in the storage unit 130 match (step S203). When the notification sounds match (step S203; Yes), the information processing device 100A determines whether or not the notification sound is set so that the user can be notified (step S204).
  • the information processing device 100A determines whether or not the user is located at a place suitable for notification (step S205). For example, the information processing device 100A determines whether or not the user is separated from the home appliance 10 by a predetermined distance or more.
  • step S205 When the user is located in a place suitable for the notification (step S205; Yes), the information processing device 100A notifies the user of the operating status of the home appliance 10 based on the response content stored in the storage unit 130. (Step S206). On the other hand, if the notification sound is not set so that the user can be notified (step S204; No), or if the user is not located in a place suitable for notification (step S205; No), the information processing device 100A , Ends the process without notifying the user.
  • step S203 when the detected notification sound and the notification sound stored in the storage unit 130 do not match (step S203; No), or when the notification sound is detected in the future. Ask the user what kind of response to take (step S207).
  • the information processing device 100A associates the user's response with the detected sound (notification sound detected in step S201), and newly stores the associated information in the storage unit 130 (step S208).
  • FIG. 9 is a diagram showing an example of the response content table 131B according to the modified example of the second embodiment.
  • the response content table 131B has an item called "label" in addition to the information shown in the response content table 131 and the device information table 132.
  • the “label” stores information or the like instructed by the user after notifying the user of the notification sound or inquiring the user about the handling of the notification sound. That is, in FIG. 9, as an example of the information registered in the response content table 131B, the notification sound whose notification sound ID is "A11” is emitted by the home appliance 10A identified by the device ID "10A". The device type of the home appliance 10A indicates that it is a "washing machine”. Further, the notification sound whose notification sound ID is "A11” indicates that the notification is possible or not is "Yes", the notification message is "B11", and the label of the notification sound is "Washing finished”. ..
  • the information processing device 100A when the information processing device 100A detects that the home appliance 10A emits a notification sound, it inquires the user about the label of the notification sound together with the result of recognizing the home appliance 10A. Specifically, when the information processing device 100A makes an inquiry such as "The following sound was heard from the home appliance 10A. Do you want to notify this sound in the future?", The user said, "Washing is finished. When there is a reply such as "notify me", the information processing apparatus 100A associates the label corresponding to the reply with the notification sound.
  • the information processing apparatus 100A detects a similar notification sound, it refers to the response content table 131B and recognizes that the notification sound is labeled as "washing finished”. Then, when the information processing device 100A detects the notification sound, it outputs a notification message according to the label, such as "washing is completed", to the user. At this time, the information processing device 100A may output a notification sound together with the message, or may omit the output of the notification sound itself.
  • the information processing device 100A when the information processing apparatus 100A notifies the user of the operating status of the device, the information processing device 100A notifies the user of the information pre-labeled in the sensing information together with the operating status of the device. That is, the information processing device 100A can not only recognize the home appliances 10A and the home appliances 10B that emit the notification sound, but can also label the notification sounds emitted by the home appliances 10A and the home appliances 10B. As a result, the user can receive the notification converted into information that is easily recognized by labeling, as compared with the case where only the notification sound is notified.
  • FIG. 10 is a diagram showing an example of information processing according to the third embodiment.
  • the information processing according to the third embodiment is executed by the information processing apparatus 100C shown in FIG.
  • the information processing apparatus 100C has a temporary storage area 133 in the storage unit 130.
  • the flow of information processing according to the third embodiment will be described with reference to FIG. The processing described in the first embodiment or the second embodiment will be omitted.
  • the information processing device 100C detects the notification sound emitted by the home appliance 10 (step S21).
  • the information processing device 100C sends the detected notification sound to the notification unit 142 (step S22).
  • the information processing device 100C refers to the storage unit 130 (step S23), and sends the content to be notified according to the content stored in the storage unit 130 to the UI unit 143 (step S24).
  • the information processing device 100C shall store the notification sound detected in step S21 in the temporary storage area 133 in the storage unit 130.
  • step S21 it is assumed that the notification sound detected in step S21 is not notified to the user (“notification availability” is “No”). In this case, the information processing device 100C does not display anything without notifying the user of the content of the notification sound (step S25).
  • the user wants to hear the notification sound emitted by the home appliance 10 and request the information processing device 100C to notify.
  • the user conveys a request such as "notify the previous sound" to the information processing device 100C (step S26).
  • the information processing device 100C sends the request to the notification unit 142 (step S27).
  • the information processing device 100C accesses the storage unit 130, refers to the notification sound stored in the temporary storage area 133, and updates the response content corresponding to the notification sound. Specifically, the information processing apparatus 100C updates the setting in which the notification availability is "No" to "Yes".
  • the information processing device 100C stores the notification sound in the temporary storage area 133, and waits for the user's instruction for a certain time (for example, within 1 minute). Then, when the user gives an instruction, the information processing apparatus 100C updates the response content of the notification sound stored in the temporary storage area 133 according to the user's instruction. As a result, the information processing apparatus 100C can perform flexible learning in response to various requests of the user.
  • the information processing device 100 may detect not only the notification sound emitted by the home appliance 10 but also information related to various notifications. As an example, when the information processing device 100 detects an abnormal sound indicating that the operating status of the home appliance 10 is abnormal as sensing information, the information processing device 100 provides the user with information indicating that the abnormal sound has been detected together with the operating status of the home appliance 10. You may notify.
  • the abnormal sound is, for example, a sound having a sound pressure exceeding a predetermined threshold value than a normal operating sound. When the abnormal sound is detected, the information processing device 100 may notify a warning such as "the washing machine makes a sound that is not normally heard".
  • the information processing device 100 may detect information other than sound as sensing information.
  • the information processing device 100 may detect at least one of light, temperature, humidity, odor, vibration, and carbon dioxide concentration observed in the vicinity of the home appliance 10 as sensing information.
  • the information processing device 100 detects light, temperature, and the like emitted by the home appliance 10 according to various sensors 120, and notifies the user based on the detected information.
  • the information processing device 100 notifies the user based on information detected by an odor sensor, an image sensor, an optical sensor, a tactile sensor, a vibration sensor, a temperature sensor, a humidity sensor, a carbon dioxide concentration sensor, or the like.
  • the information processing device 100 may refer to a data table that defines whether or not the operating status of the home appliance 10 indicates an abnormality, and notify the user that the abnormality has been detected. This point will be described with reference to FIG.
  • FIG. 11 is a diagram showing an example of the response content table 131C according to another embodiment.
  • the response content table 131C has items such as “detection conditions” as compared with the first to third embodiments. “Detection condition” indicates a condition in which the information detected by the sensor 120 is detected as sensing information.
  • the detection conditions include "when the temperature (of a certain home appliance 10) exceeds 40 °" and "when the odor index (emitted from a certain home appliance 10) exceeds 300".
  • Etc. indicate that such information is detected as sensing information.
  • the information processing device 100 refers to the response content table 131C, and when the sensing information is detected, notifies the user of the content of the sensing information together with the label. For example, the information processing device 100 notifies the user of a notification message such as "The home appliance 10 has an abnormally high temperature. Please check" together with the temperature detected around the home appliance 10. As a result, the information processing device 100 can appropriately notify the user of the abnormal operating status of the home appliance 10.
  • the detection conditions for determining the abnormality may be incorporated in the information processing device 100 at the time of initial shipment or the like, may be updated by accepting input by the user, or may be provided by the manufacturer of the home appliance 10. It may be updated by an external server or the like.
  • the information processing device 100 may identify the user and give a notification according to the user. That is, the information processing device 100 detects the attributes of the user located in the vicinity of the information processing device 100, and determines whether or not to notify the user of the operating status of the device according to the detected attributes of the user. May be good.
  • the information processing device 100 has, for example, the user information table 134 shown in FIG.
  • the user information table 134 stores information about a user who uses the information processing device 100.
  • FIG. 12 is a diagram showing an example of the user information table 134 according to another embodiment.
  • the user information table 134 has items such as "user ID”, "attribute”, and "notification setting".
  • the “User ID” indicates identification information that identifies the user.
  • the “attribute” indicates various information of the user registered by the user when the information processing apparatus 100 is used.
  • the attributes include attribute information (user profile) such as age, gender, place of residence, and family structure of the user.
  • the attribute is not limited to the information registered by the user, and may include information automatically recognized by the information processing apparatus 100.
  • the attributes may include information presumed to be a child by image recognition of the information processing device 100, information presumed to be a man or a woman, and the like.
  • Notification setting indicates setting information as to whether or not to receive a notification from the information processing device 100.
  • the notification setting item is conceptually described as "F01", but in reality, the notification setting item includes each notification sound and each type of home appliance 10. Setting information indicating whether or not each user receives a notification is stored.
  • the user whose user ID is identified by “U01” has the attribute "male, adult” and the notification setting is "F01".
  • the information processing device 100 When the information processing device 100 detects the notification sound, the information processing device 100 refers to the user information table 134 and confirms the notification setting of the user located in the vicinity of the information processing device 100. Then, the information processing device 100 determines whether or not to notify the user according to the notification setting for each user. As a result, the information processing device 100 can perform notifications tailored to the user.
  • the information processing device 100 may use various known techniques as a method for detecting a nearby user. For example, the information processing device 100 detects a user located in the vicinity of the information processing device 100 by using a biological sensor which is a sensor for detecting whether or not a living body is present based on information emitted by the living body.
  • the biological sensor is an infrared sensor (thermography) that detects the temperature (body temperature) of the living body, an image sensor (camera) for recognizing an image of the living body, and the like.
  • the information processing device 100 may use a distance measuring sensor or the like that measures the distance to the user.
  • the distance measuring sensor is a distance sensor that irradiates light to measure the distance to a living body, an ultrasonic sensor, or the like.
  • a technique such as LiDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing) may be used.
  • SLAM Simultaneous Localization and Mapping
  • the information processing device 100 may acquire the usage status of the information processing device 100 that outputs the notification, and may output the notification according to the acquired usage status.
  • the information processing device 100 may control the display of notifications on a display unit such as a display.
  • the information processing device 100 may control the notification according to the voice being reproduced or the image displayed by the information processing device 100 that performs the notification.
  • the information processing device 100 there may be a smart speaker in the vicinity of the home appliance 10 and a television in which the user is watching a broadcast program.
  • the smart speaker near the home appliance 10 detects the notification sound output from the home appliance 10
  • the notification is not displayed while the broadcast program is displayed on the TV display, and when the broadcast program is switched to a commercial.
  • Notifications may be output.
  • the notification may be controlled to be displayed at a position that does not hinder the viewing of the displayed content.
  • the information processing device 100 that outputs a notification is a smartphone and it is determined that issuing a large notification on the screen would be an obstacle, a process of displaying the notification as an icon is performed. May be good.
  • These usage status acquisition processes may be performed based on the information about the application executed on the information processing device 100, or may be performed based on the image analysis of the content displayed on the screen. Good.
  • these examples are examples, such as an example of a different information processing device 100 in which the information processing device 100 that outputs a voice notification is a smart speaker that reproduces voice content, or an information processing device 100 that outputs a notification broadcasts. It does not preclude different embodiments that can be conceived based on the present invention, such as examples of different combinations such as smartphones that play programs. Further, this embodiment may be performed when the information processing device 100 that detects the notification sound of the home appliance 10 and the information processing device 100 that outputs the notification are the same.
  • the information processing device 100 is a so-called smart speaker, a smartphone, a television, or a tablet terminal, and an example in which processing is performed standalone is shown.
  • the information processing device 100 may perform information processing according to the present disclosure in cooperation with a server device (so-called cloud server, etc.) connected by a network.
  • the information processing device 100 may be realized by linking a smart speaker and a smartphone.
  • information processing is possible such that the smartphone in the user's hand gives a notification based on the notification sound detected by the smart speaker.
  • information processing such that the television watched by the user gives a notification by voice or screen display becomes possible.
  • the information processing device 100 may be realized in the form of an IC chip or the like mounted on a smartphone or the like.
  • the information processing system 1 may be accompanied by various modifications.
  • the information processing device 100 is an IoT device or the like
  • the information processing according to the present disclosure may be executed in cooperation with a client (IoT device) and an external server (cloud server) or the like.
  • client IoT device
  • external server cloud server
  • examples that can be assumed as an aspect of the information processing system 1 will be listed.
  • each device has an input unit, a processing unit, and an output unit.
  • the input unit and the output unit correspond to, for example, the communication unit 122 shown in FIG.
  • the processing unit corresponds to, for example, the control unit 140 shown in FIG.
  • the modification of the information processing system is referred to as "system 2".
  • a modification of the information processing device 100 will be referred to as "information processing device 11", “information processing device 12", or “information processing device 13". Further, a modification of the information processing device 11 or the like is referred to as “information processing device 11a”, “information processing device 11b”, “information processing device 11c”, or the like.
  • FIG. 13 is a block diagram showing a first example of the system configuration according to the embodiment of the present disclosure.
  • the system 2 includes an information processing device 11.
  • the input unit 200, the processing unit 300, and the output unit 400 are all realized in the information processing device 11.
  • the information processing device 11 can be a terminal device or a server as described below.
  • the information processing device 11 may be a stand-alone device that does not communicate with an external device via a network in order to realize the function according to the embodiment of the present disclosure.
  • the information processing device 11 may communicate with an external device for other functions, and therefore does not necessarily have to be a stand-alone device.
  • the interface 250a between the input unit 200 and the processing unit 300 and the interface 450a between the processing unit 300 and the output unit 400 can both be interfaces in the device.
  • the information processing device 11 can be, for example, a terminal device.
  • the input unit 200 may include an input device, a sensor, software for acquiring information from an external service, and the like.
  • the software that acquires information from an external service acquires data from, for example, application software of a service that is executed in a terminal device.
  • the processing unit 300 is realized by operating the processor or processing circuit included in the terminal device according to a program stored in the memory or storage device.
  • the output unit 400 may include an output device, a control device, software that provides information to an external service, and the like.
  • Software that provides information to an external service may, for example, provide information to application software for a service running on a terminal device.
  • the information processing device 11 may be a server.
  • the input unit 200 may include software that acquires information from an external service.
  • the software that acquires information from an external service acquires data from, for example, a server of the external service (which may be the information processing device 11 itself).
  • the processing unit 300 is realized by operating the processor included in the terminal device according to a program stored in the memory or the storage device.
  • the output unit 400 may include software that provides information to an external service.
  • the software that provides information to an external service provides information to, for example, a server of the external service (which may be the information processing device 11 itself).
  • FIG. 14 is a block diagram showing a second example of the system configuration according to the embodiment of the present disclosure.
  • the system 2 includes information processing devices 11 and 13.
  • the input unit 200 and the output unit 400 are realized in the information processing device 11.
  • the processing unit 300 is realized in the information processing device 13.
  • the information processing device 11 and the information processing device 13 communicate with each other via a network in order to realize the function according to the embodiment of the present disclosure.
  • the interface 250b between the input unit 200 and the processing unit 300 and the interface 450b between the processing unit 300 and the output unit 400 can both be communication interfaces between devices.
  • the information processing device 11 can be, for example, a terminal device.
  • the input unit 200 may include an input device, a sensor, software for acquiring information from an external service, and the like, as in the first example above.
  • the output unit 400 may also include an output device, a control device, software that provides information to an external service, and the like, as in the first example above.
  • the information processing device 11 may be a server for exchanging information with an external service.
  • the input unit 200 may include software that acquires information from an external service.
  • the output unit 400 may include software that provides information to an external service.
  • the information processing device 13 can be a server or a terminal device.
  • the processing unit 300 is realized by operating the processor or processing circuit included in the information processing device 13 according to a program stored in the memory or storage device.
  • the information processing device 13 may be, for example, a device dedicated as a server. In this case, the information processing device 13 may be installed in a data center or the like, or may be installed in a home. Alternatively, the information processing device 13 may be used as a terminal device for other functions, but may not realize the input unit 200 and the output unit 400 for the functions according to the embodiment of the present disclosure. In the following example, the information processing device 13 may be a server or a terminal device in the above sense.
  • the information processing device 11 is a wearable device and the information processing device 13 is a mobile device connected to the wearable device by Bluetooth (registered trademark) or the like.
  • the wearable device accepts an operation input by the user (input unit 200), the mobile device executes processing based on the request transmitted based on the operation input (processing unit 300), and outputs the processing result from the wearable device.
  • output unit 400 it can be said that the wearable device functions as the information processing device 11 in the second example above, and the mobile device functions as the information processing device 13.
  • FIG. 15 is a block diagram showing a third example of the system configuration according to the embodiment of the present disclosure.
  • the system 2 includes information processing devices 11a, 11b, 13.
  • the input unit 200 is realized in the information processing device 11a.
  • the output unit 400 is realized in the information processing device 11b.
  • the processing unit 300 is realized in the information processing device 13.
  • the information processing devices 11a and 11b and the information processing device 13 communicate with each other via a network in order to realize the functions according to the embodiment of the present disclosure.
  • the interface 250b between the input unit 200 and the processing unit 300 and the interface 450b between the processing unit 300 and the output unit 400 can both be communication interfaces between devices.
  • the interfaces 250b and 450b may include different types of interfaces.
  • the information processing devices 11a and 11b can be, for example, terminal devices.
  • the input unit 200 may include an input device, a sensor, software for acquiring information from an external service, and the like, as in the first example above.
  • the output unit 400 may also include an output device, a control device, software that provides information to an external service, and the like, as in the first example above.
  • one or both of the information processing devices 11a and 11b may be a server for acquiring information from an external service and providing information to the external service.
  • the input unit 200 may include software that acquires information from an external service.
  • the output unit 400 may include software that provides information to an external service.
  • the information processing device 13 may be a server or a terminal device as in the second example described above.
  • the processing unit 300 is realized by operating the processor or processing circuit included in the information processing device 13 according to a program stored in the memory or storage device.
  • the information processing device 11a that realizes the input unit 200 and the information processing device 11b that realizes the output unit 400 are separate devices. Therefore, for example, a terminal possessed or used by a second user different from the first user can obtain the result of processing based on the input acquired by the information processing device 11a, which is a terminal device possessed or used by the first user. A function such as output from an information processing device 11b, which is a device, can be realized. In addition, the result of processing based on the input acquired by the information processing device 11a, which is a terminal device possessed or used by the first user, is not in the hands of the first user at that time (for example, installed at home while away).
  • an information processing device 11b which is a terminal device.
  • the information processing device 11a and the information processing device 11b may both be terminal devices possessed or used by the same user.
  • the information processing devices 11a and 11b are wearable devices mounted on different parts of the user, or when the wearable device and the mobile device are combined, the user is provided with a function in which these devices are linked. Can be provided.
  • FIG. 16 is a block diagram showing a fourth example of the system configuration according to the embodiment of the present disclosure.
  • the system 2 includes information processing devices 11 and 13.
  • the input unit 200 and the output unit 400 are realized in the information processing device 11.
  • the processing unit 300 is distributed and realized in the information processing device 11 and the information processing device 13.
  • the information processing device 11 and the information processing device 13 communicate with each other via a network in order to realize the function according to the embodiment of the present disclosure.
  • the processing unit 300 is distributed between the information processing device 11 and the information processing device 13. More specifically, the processing unit 300 includes processing units 300a and 300c realized by the information processing device 11 and processing units 300b realized by the information processing device 13.
  • the processing unit 300a executes processing based on the information provided from the input unit 200 via the interface 250a, and provides the processing result to the processing unit 300b. In this sense, it can be said that the processing unit 300a executes the preprocessing.
  • the processing unit 300c executes processing based on the information provided by the processing unit 300b, and provides the processing result to the output unit 400 via the interface 450a. In this sense, it can be said that the processing unit 300c executes post-processing.
  • both the processing unit 300a that executes the pre-processing and the processing unit 300c that executes the post-processing are shown, but in reality, only one of them may exist. .. That is, the information processing device 11 realizes the processing unit 300a that executes the pre-processing, but does not realize the processing unit 300c that executes the post-processing, and the information provided by the processing unit 300b is provided to the output unit 400 as it is. May be done. Similarly, the information processing apparatus 11 realizes the processing unit 300c that executes the post-processing, but does not have to realize the processing unit 300a that executes the pre-processing.
  • An interface 350b is interposed between the processing unit 300a and the processing unit 300b, and between the processing unit 300b and the processing unit 300c, respectively.
  • Interface 350b is a communication interface between devices.
  • the interface 250a is an interface in the device.
  • the interface 450a is an interface in the apparatus.
  • the fourth example described above is the second example described above, except that one or both of the processing unit 300a and the processing unit 300c are realized by a processor or a processing circuit included in the information processing device 11. Is similar to. That is, the information processing device 11 can be a server for exchanging information with a terminal device or an external service. Further, the information processing device 13 may be a server or a terminal device.
  • FIG. 17 is a block diagram showing a fifth example of the system configuration according to the embodiment of the present disclosure.
  • the system 2 includes information processing devices 11a, 11b, 13.
  • the input unit 200 is realized in the information processing device 11a.
  • the output unit 400 is realized in the information processing device 11b.
  • the processing unit 300 is distributed and realized in the information processing devices 11a and 11b and the information processing device 13.
  • the information processing devices 11a and 11b and the information processing device 13 communicate with each other via a network in order to realize the functions according to the embodiment of the present disclosure.
  • the processing unit 300 is distributed between the information processing devices 11a and 11b and the information processing device 13. More specifically, the processing unit 300 includes a processing unit 300a realized by the information processing device 11a, a processing unit 300b realized by the information processing device 13, and a processing unit 300c realized by the information processing device 11b. Including. The dispersion of the processing unit 300 is the same as in the fourth example described above. However, in this fifth example, since the information processing device 11a and the information processing device 11b are separate devices, the interfaces 350b1 and 350b2 may include different types of interfaces.
  • the processing unit 300a and the processing unit 300c is realized by the processor or processing circuit included in the information processing device 11a or the information processing device 11b. It is the same as the example of 3. That is, the information processing devices 11a and 11b can be servers for exchanging information with the terminal device or an external service. Further, the information processing device 13 may be a server or a terminal device. Further, in the following examples, the processing unit in the terminal or server having the input unit and the output unit will be omitted, but in any of the examples, any or all the devices may have the processing unit. ..
  • FIG. 18 is a diagram showing a client-server system as one of the more specific examples of the system configuration according to the embodiment of the present disclosure.
  • the information processing device 11 (or the information processing devices 11a, 11b) is a terminal device, and the information processing device 13 is a server.
  • the terminal device includes, for example, a smartphone, a tablet, or a mobile device such as a notebook PC (Personal Computer), an eyewear or contact lens type terminal, a watch type terminal, a bangle type terminal, and the like.
  • Wearable devices 11-2 such as ring-type terminals, headsets, clothes-mounted or clothes-integrated terminals, shoe-mounted or shoe-integrated terminals, or necklace-type terminals, in-vehicle devices such as car navigation systems and rear seat entertainment systems.
  • terminal devices communicate with the information processing devices 13 (servers) via a network.
  • the network between the terminal device and the server corresponds to the interface 150b, the interface 250b, or the interface 350b in the above example. Further, these devices may be individually linked to each other, or a system may be constructed in which all the devices can be linked to each other.
  • both the information processing devices 11 and 13 may be terminal devices, or both the information processing devices 11 and 13 may be servers.
  • the information processing device 11 includes the information processing devices 11a and 11b, one of the information processing devices 11a and 11b may be a terminal device and the other may be a server.
  • the example of the terminal device is not limited to the above-mentioned terminal devices 11-1 to 11-7, and other types of terminal devices may be included.
  • FIG. 19 is a diagram showing a distributed system as one of other specific examples of the system configuration according to the embodiment of the present disclosure.
  • the information processing devices 11 are nodes, and these information processing devices 11 are connected to each other via a network.
  • the distributed system can also perform machine learning in a distributed and coordinated manner, and can process a large amount of data.
  • the decentralized system shown in FIG. 19 does not require a server in the centralized system, and it is possible to monitor each other's data and secure its credibility.
  • transaction information can be shared by all participants (each information processing device 11) to strictly maintain its legitimacy (so-called blockchain).
  • blockchain transaction information
  • the blockchain when falsifying the data contained in the past block, it is necessary to recalculate all the hash values contained in the blocks after that block, so the processing load is high and it is practically impossible. , It becomes possible to secure the credibility more surely.
  • FIG. 20 is a block diagram showing a sixth example of the system configuration according to the embodiment of the present disclosure.
  • the system 2 includes information processing devices 11, 12, and 13.
  • the input unit 200 and the output unit 400 are realized in the information processing device 11.
  • the processing unit 300 is distributed and realized in the information processing device 12 and the information processing device 13.
  • the information processing device 11 and the information processing device 12, and the information processing device 12 and the information processing device 13 communicate with each other via a network in order to realize the functions according to the embodiment of the present disclosure.
  • the processing unit 300 is realized by being distributed between the information processing device 12 and the information processing device 13. More specifically, it includes processing units 300a and 300c realized by the information processing device 12, and processing units 300b realized by the information processing device 13.
  • the processing unit 300a executes processing based on the information provided from the input unit 200 via the interface 250b, and provides the processing result to the processing unit 300b via the interface 350b.
  • the processing unit 300c executes processing based on the information provided from the processing unit 300b via the interface 350b, and provides the processing result to the output unit 400 via the interface 450b.
  • both the processing unit 300a that executes the pre-processing and the processing unit 300c that executes the post-processing are shown, but in reality, only one of them may exist. ..
  • the information processing device 12 is interposed between the information processing device 11 and the information processing device 13. More specifically, for example, the information processing device 12 may be a terminal device or a server intervening between the information processing device 11 which is a terminal device and the information processing device 13 which is a server. As an example in which the information processing device 12 is a terminal device, the information processing device 11 is a wearable device, the information processing device 12 is a mobile device connected to the wearable device by Bluetooth (registered trademark) or the like, and the information processing device 13 May be a server connected to a mobile device via the Internet.
  • the information processing device 12 is a terminal device
  • the information processing device 11 is a wearable device
  • the information processing device 12 is a mobile device connected to the wearable device by Bluetooth (registered trademark) or the like
  • the information processing device 13 May be a server connected to a mobile device via the Internet.
  • the information processing device 12 is a server
  • the information processing device 11 is various terminal devices
  • the information processing device 12 is an intermediate server connected to the terminal device via a network
  • the information processing device 13 is intermediate. It may be a server connected to the server via a network.
  • FIG. 21 is a block diagram showing a seventh example of the system configuration according to the embodiment of the present disclosure.
  • the system 2 includes information processing devices 11a, 11b, 12, and 13.
  • the input unit 200 is realized in the information processing device 11a.
  • the output unit 400 is realized in the information processing device 11b.
  • the processing unit 300 is distributed and realized in the information processing device 12 and the information processing device 13.
  • the information processing devices 11a and 11b and the information processing device 12, and the information processing device 12 and the information processing device 13 communicate with each other via a network in order to realize the functions according to the embodiment of the present disclosure.
  • This 7th example is an example in which the above 3rd example and 6th example are combined. That is, in the seventh example, the information processing device 11a that realizes the input unit 200 and the information processing device 11b that realizes the output unit 400 are separate devices. More specifically, in this seventh example, the information processing devices 11a and 11b are wearable devices mounted on different parts of the user, and the information processing device 12 is these wearable devices and Bluetooth (registered trademark). This includes a case where the information processing device 13 is a mobile device connected by the above, and the information processing device 13 is a server connected to the mobile device via the Internet.
  • the information processing devices 11a and 11b are a plurality of terminal devices (possibly possessed or used by the same user, or possessed or used by different users), and information processing is performed.
  • the device 12 is an intermediate server connected to each terminal device by a network and the information processing device 13 is a server connected to the intermediate server by a network is also included.
  • FIG. 22 is a block diagram showing an eighth example of the system configuration according to the embodiment of the present disclosure.
  • the system 2 includes information processing devices 11, 12a, 12b, 13.
  • the input unit 200 and the output unit 400 are realized in the information processing device 11.
  • the processing unit 300 is distributed and realized in the information processing devices 12a and 12b and the information processing device 13.
  • the information processing device 11 and the information processing devices 12a and 12b, and the information processing devices 12a and 12b and the information processing device 13 communicate with each other via a network in order to realize the functions according to the embodiment of the present disclosure.
  • the processing unit 300a for executing the pre-processing and the processing unit 300c for executing the post-processing are realized by separate information processing devices 12a and 12b, respectively.
  • the information processing device 11 and the information processing device 13 are the same as those in the sixth example above.
  • the information processing devices 12a and 12b may be servers or terminal devices, respectively.
  • the processing units 300 are distributed to three servers (information processing devices 12a, 12b, 13).
  • the number of servers that realize the processing unit 300 in a distributed manner is not limited to three, and may be two or four or more. Since these examples can be understood from, for example, this eighth example or the ninth example described below, the illustration is omitted.
  • FIG. 23 is a block diagram showing a ninth example of the system configuration according to the embodiment of the present disclosure.
  • the system 2 includes information processing devices 11a, 11b, 12a, 12b, 13.
  • the input unit 200 is realized in the information processing device 11a.
  • the output unit 400 is realized in the information processing device 11b.
  • the processing unit 300 is distributed and realized in the information processing devices 12a and 12b and the information processing device 13.
  • the information processing device 11a and the information processing device 12a, the information processing device 11b and the information processing device 12b, and the information processing devices 12a and 12b and the information processing device 13 are networks in order to realize the functions according to the embodiment of the present disclosure. Communicate with each other via.
  • This ninth example is an example in which the above seventh example and the eighth example are combined. That is, in the ninth example, the information processing device 11a that realizes the input unit 200 and the information processing device 11b that realizes the output unit 400 are separate devices. The information processing devices 11a and 11b communicate with separate intermediate nodes (information processing devices 12a and 12b). Therefore, in this ninth example, the processing unit 300 is distributed and realized in three servers (information processing devices 12a, 12b, 13) as in the above-mentioned eighth example, and is possessed or used by the same user. The functions according to the embodiment of the present disclosure can be realized by utilizing the information processing devices 11a and 11b which can be terminal devices possessed or used by different users.
  • FIG. 24 is a diagram showing an example of a system including an intermediate server as one of the more specific examples of the system configuration according to the embodiment of the present disclosure.
  • the information processing device 11 (or information processing devices 11a, 11b) is a terminal device
  • the information processing device 12 is an intermediate server
  • the information processing device 13 is a server.
  • the terminal device includes a mobile device 11-1, a wearable device 11-2, an in-vehicle device 11-3, a television 11-4, a digital camera 11-5, and a CE.
  • Devices 11-6, robot devices, signboards 11-7 and the like may be included.
  • These information processing devices 11 communicate with the information processing devices 12 (intermediate servers) via a network.
  • the network between the terminal device and the intermediate server corresponds to the interfaces 250b and 450b in the above example.
  • the information processing device 12 (intermediate server) communicates with the information processing device 13 (server) via the network.
  • the network between the intermediate servers corresponds to interface 350b in the above example.
  • FIG. 24 The example shown in FIG. 24 is shown to make it easier to understand an example in which the system 2 is realized in a system including an intermediate server, and the system 2 is not limited to such a system. As described in each of the above examples.
  • FIG. 25 is a diagram showing an example of a system including a terminal device that functions as a host as one of the more specific examples of the system configuration according to the embodiment of the present disclosure.
  • the information processing device 11 (or the information processing devices 11a, 11b) is a terminal device
  • the information processing device 12 is a terminal device that functions as a host
  • the information processing device 13 is a server.
  • the terminal device includes, for example, a wearable device 11-2, an in-vehicle device 11-3, a digital camera 11-5, a robot device, a device including a sensor attached to the equipment, and a CE. Devices 11-6 may be included.
  • These information processing devices 11 (terminal devices) communicate with the information processing devices 12 via a network such as Bluetooth (registered trademark) or Wi-Fi.
  • a mobile device 12-1 is illustrated as a terminal device that functions as a host.
  • the network between the terminal device and the mobile device corresponds to the interfaces 250b and 450b in the above example.
  • the information processing device 12 (mobile device) communicates with the information processing device 13 (server) via a network such as the Internet.
  • the network between the mobile device and the server corresponds to interface 350b in the above example.
  • FIG. 25 The example shown in FIG. 25 is shown for easy understanding of an example realized in a system including a terminal device in which the system 2 functions as a host, and the system 2 is limited to such a system. What is not done is as explained in each of the above examples.
  • the terminal device that functions as a host is not limited to the mobile device 12-1 in the illustrated example, and various terminal devices having appropriate communication functions and processing functions can function as a host.
  • the wearable device 11-2, the in-vehicle device 11-3, the digital camera 11-5, and the CE device 11-6 shown as examples of the terminal device do not exclude the terminal device other than these devices from this example. However, it merely shows an example of a typical terminal device that can be used as the information processing device 11 when the information processing device 12 is a mobile device 12-1.
  • FIG. 26 is a diagram showing an example of a system including an edge server as one of the more specific examples of the system configuration according to the embodiment of the present disclosure.
  • the information processing device 11 (or information processing devices 11a, 11b) is a terminal device
  • the information processing device 12 is an edge server
  • the information processing device 13 is a server.
  • the terminal device includes a mobile device 11-1, a wearable device 11-2, an in-vehicle device 11-3, a television 11-4, a digital camera 11-5, and a CE.
  • Devices 11-6, robot devices, signboards 11-7 and the like may be included.
  • These information processing devices 11 (terminal devices) communicate with the information processing devices 12 (edge servers 12-2) via a network.
  • the network between the terminal device and the edge server corresponds to the interfaces 250b and 450b in the above example.
  • the information processing device 12 (edge server) communicates with the information processing device 13 (server) via a network such as the Internet.
  • the network between the edge servers corresponds to interface 350b in the above example.
  • the communication delay is shortened by distributing the edge servers 12-2 (for example, edge servers 12-2a to 12-2d) closer to the terminal device (information processing device 11) than the server 13. , Speeding up processing, and improving real-time performance can be realized.
  • edge servers 12-2 for example, edge servers 12-2a to 12-2d
  • FIG. 26 is shown for easy understanding of an example in which the system 2 is realized in a system including an edge server, and the system 2 is not limited to such a system. As described in each of the above examples.
  • FIG. 27 is a diagram showing an example of a system including fog computing as one of more specific examples of the system configuration according to the embodiment of the present disclosure.
  • the information processing device 11 (or information processing devices 11a, 11b) is a terminal device, the information processing device 12 is fog computing, and the information processing device 13 is a server.
  • the terminal device includes a mobile device 11-1, a wearable device 11-2, an in-vehicle device 11-3, a television 11-4, a digital camera 11-5, and a CE.
  • Devices 11-6, robot devices, signboards 11-7 and the like may be included.
  • These information processing devices 11 (terminal devices) communicate with the information processing devices 12 (fog computing 12-3) via a network.
  • the network between the terminal device and fog computing corresponds to interfaces 250b and 450b in the above example.
  • the information processing device 12 (fog computing) communicates with the information processing device 13 (server) via a network such as the Internet.
  • the network between the fog computing and the server corresponds to interface 350b in the above example.
  • Fog computing 12-3 is a distributed processing environment between the cloud and the device, and is widely distributed in a position closer to the device (information processing device 11) than the cloud (server 13).
  • fog computing 12-3 has a system configuration that includes edge computing by a mechanism in which computing resources for processing are distributed and optimally arranged by field or region.
  • a mobility fog 12-3a that manages and processes data of mobile device 11-1 and a wearable fog that manages and processes data of wearable device 11-2. 12-3b
  • in-vehicle device fog 12-3c that manages and processes data of in-vehicle device 11-3
  • TV terminal fog 12-3d that manages and processes data of television 11-4
  • data management and data management of digital camera 11-5 It is assumed that the camera terminal fog 12-3e for processing, the CE fog 12-3f for data management and processing of the CE device 11-6, and the signboard fog 12-3g for data management and processing of the signboard 11-7 are assumed. .. Data can also be distributed between fog lights.
  • computing resources can be distributed close to the device to perform various processes such as data management, storage, and conversion, reducing communication delays, speeding up processing, and improving real-time performance. Can be.
  • FIG. 27 The example shown in FIG. 27 is shown to make it easier to understand an example in which the system 2 is realized in a system including fog computing, and the system 2 is not limited to such a system. , As described in each of the above examples.
  • FIG. 28 is a block diagram showing a tenth example of the system configuration according to the embodiment of the present disclosure.
  • the system 2 includes information processing devices 11a, 12a, 13.
  • the input unit 200 is realized in the information processing device 11a.
  • the processing unit 300 is distributed and realized in the information processing device 12a and the information processing device 13.
  • the output unit 400 is realized in the information processing device 13.
  • the information processing device 11a and the information processing device 12a, and the information processing device 12a and the information processing device 13 communicate with each other via a network in order to realize the functions according to the embodiment of the present disclosure.
  • This tenth example is an example in which the information processing devices 11b and 12b are incorporated into the information processing device 13 in the above ninth example. That is, in the tenth example, the information processing device 11a that realizes the input unit 200 and the information processing device 12a that realizes the processing unit 300a are independent devices, but the processing unit 300b and the output unit 400 are different. It is realized by the same information processing device 13.
  • the information acquired by the input unit 200 in the information processing device 11a which is a terminal device is processed by the processing unit 300a in the information processing device 12a which is an intermediate terminal device or a server.
  • a configuration is realized in which the information processing device 13 is provided as a server or a terminal, is processed by the processing unit 300b, and is output from the output unit 400.
  • the intermediate processing by the information processing apparatus 12a may be omitted.
  • a predetermined process is executed by the server or the information processing device 13 based on the information provided by the information processing device 11a, and then the processing result is stored or stored in the server or the information processing device 13. It can be adopted in services that output.
  • the accumulated processing result can be used, for example, by another service.
  • FIG. 29 is a block diagram showing an eleventh example of the system configuration according to the embodiment of the present disclosure.
  • the system 2 includes information processing devices 11b, 12b, 13.
  • the input unit 200 is realized in the information processing device 13.
  • the processing unit 300 is realized by being distributed to the information processing device 13 and the information processing device 12b.
  • the output unit 400 is realized in the information processing device 11b.
  • the information processing device 13 and the information processing device 12b, and the information processing device 12b and the information processing device 11b communicate with each other via a network in order to realize the functions according to the embodiment of the present disclosure.
  • This eleventh example is an example in which the information processing devices 11a and 12a are incorporated into the information processing device 13 in the above ninth example. That is, in the eleventh example, the information processing device 11b that realizes the output unit 400 and the information processing device 12b that realizes the processing unit 300c are independent devices, but the input unit 200 and the processing unit 300b are It is realized by the same information processing device 13.
  • the information acquired by the input unit 200 in the information processing device 13 which is a server or a terminal device is processed by the processing unit 300b, and the information processing device 12b which is an intermediate terminal device or a server.
  • the information processing device 11b which is a terminal device, outputs the information from the output unit 400 after being processed by the processing unit 300c.
  • the intermediate processing by the information processing apparatus 12b may be omitted.
  • a predetermined process is executed by the server or the information processing device 13, and then the processing result is provided to the information processing device 11b.
  • the information acquired may be provided, for example, by another service.
  • each component of each of the illustrated devices is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically distributed / physically in arbitrary units according to various loads and usage conditions. It can be integrated and configured.
  • the detection unit 141 and the notification unit 142 may be integrated.
  • the information processing device (information processing device 100 or the like in the embodiment) according to the present disclosure includes a control unit (control unit 140 in the embodiment).
  • the control unit detects information indicating the operating status of the device (home appliance 10 or the like in the embodiment) as sensing information. Further, when the sensing information is detected, the control unit refers to a storage unit (storage unit 130 or the like in the embodiment) in which the response contents corresponding to the sensing information are stored, and notifies the user of the operating status of the device. Judge whether or not.
  • the information processing device causes a troublesome situation when the user uses a plurality of devices by determining whether or not to notify the user of the operating status of the device related to the detected sensing information. Instead, only the necessary information can be notified to the user. As a result, the information processing device can smoothly operate a plurality of home appliances without impairing the convenience of the user.
  • control unit detects a notification sound emitted by the device to notify the operating status as sensing information, and when the notification sound is detected, the storage unit stores the response content corresponding to the notification sound. Refer to it and determine whether to notify the user of the operating status of the device. As a result, the information processing device can determine whether or not to notify the user of the operating status of the notification sound emitted by the device.
  • control unit updates the response content corresponding to the sensing information stored in the storage unit based on the reaction received from the user after notifying the user of the operating status of the device.
  • the information processing device can update the content to be notified to the user according to the request of the user.
  • control unit updates the setting indicating whether or not to notify the user of the operating status of the device corresponding to the detected sensing information based on the reaction received from the user.
  • the information processing apparatus can appropriately update the determination criteria related to the notification according to the user's request.
  • control unit recognizes the voice received from the user, and based on the user's reaction according to the result of the voice recognition, determines whether or not to notify the user of the operating status of the device corresponding to the detected sensing information. Update the settings shown.
  • the information processing device can update the response content based on the user's voice without accepting an input operation such as a key operation from the user.
  • control unit when the control unit notifies the user of the operating status of the device, the control unit notifies the user of information about the location where the device is installed together with the operating status. As a result, the information processing device can notify the user of detailed information such as what kind of place the device installed is transmitting the notification sound.
  • control unit identifies the device corresponding to the sensing information by image recognition, and notifies the user of the operating status of the device together with the information of the identified device.
  • information processing device can notify the user of detailed information such as which device has transmitted the notification sound.
  • control unit notifies the user of the operation status of the device, the type of the device, the name of the device, or at least one of the places where the device is installed.
  • the information processing device can notify the user of detailed information such as what kind of device has transmitted the notification sound.
  • control unit detects the location of the user and determines whether or not to notify the user of the operating status of the device based on the positional relationship between the location of the user and the device corresponding to the sensing information. To do.
  • the information processing device can notify only the user located in the vicinity, so that the notification can be performed without causing the user to feel annoyed.
  • control unit detects the location of the user and notifies the user of the operating status of the device based on the distance between the location of the user and the position where the device corresponding to the sensing information is installed. Judge whether or not. As a result, the information processing device can give an appropriate notification according to the situation, such as not notifying the user near the home appliance.
  • control unit responds to the orientation of the user's face or body at the timing when the device issues information indicating the operating status or when the device detects the information indicating the operating status as sensing information. , Determine whether to notify the user of the operating status of the device.
  • the information processing device can determine whether or not to give a notification according to the actual situation when the sound is emitted, such as whether or not the user recognizes the sound emitted from the home appliance.
  • control unit detects the attributes of the user located in the vicinity of the information processing device, and determines whether or not to notify the user of the operating status of the device according to the detected attributes of the user.
  • the information processing device can perform detailed notifications according to the user's request, such as notifying only the adult user and not the child user.
  • control unit when the control unit notifies the user of the operating status of the device, the control unit notifies the user of the information pre-labeled in the sensing information together with the operating status of the device. As a result, the information processing device can notify the operating status of the device in more detail.
  • control unit detects an abnormal sound indicating that the operating status of the device is abnormal as sensing information
  • the control unit notifies the user of the information indicating that the abnormal sound has been detected together with the operating status of the device.
  • the information processing device can accurately notify the user that an abnormal situation has occurred in the device.
  • control unit detects at least one of light, temperature, humidity, odor, vibration, and carbon dioxide concentration observed around the device as sensing information.
  • the information processing device can accurately notify the user of information regarding the operation of the device even if it is not a notification sound.
  • FIG. 30 is a hardware configuration diagram showing an example of a computer 1000 that realizes the functions of the information processing device 100.
  • the computer 1000 includes a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600. Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording an information processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard, mouse, or remote controller via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as MO (Magneto-Optical disk)
  • tape medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • MO Magneto-optical disk
  • the CPU 1100 of the computer 1000 realizes the functions of the control unit 140 and the like by executing the information processing program loaded on the RAM 1200. To do. Further, the information processing program according to the present disclosure and the data in the storage unit 130 are stored in the HDD 1400. The CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the present technology can also have the following configurations.
  • the storage unit in which the response content corresponding to the notification sound is stored is referred to, and it is determined whether or not to notify the user of the operating status of the device in (1).
  • the control unit in the above (1) or (2) the response content corresponding to the sensing information stored in the storage unit is updated based on the reaction received from the user after notifying the user of the operating status of the device.
  • the control unit The information processing device according to (3) above, which updates a setting indicating whether or not to notify the user of the operating status of the device corresponding to the detected sensing information based on the reaction received from the user.
  • the control unit A setting indicating whether or not to recognize the voice received from the user and notify the user of the operating status of the device corresponding to the detected sensing information based on the user's reaction according to the result of the voice recognition.
  • the information processing apparatus according to (3) or (4) above.
  • the control unit The information according to any one of (1) to (5) above, which notifies the user of information about the location where the device is installed together with the operating status when notifying the user of the operating status of the device. Processing equipment. (7) The control unit The information processing device according to any one of (1) to (6) above, wherein a device corresponding to the sensing information is identified by image recognition, and the operation status of the device is notified to the user together with the information of the identified device. (8) The control unit The information processing device according to (7) above, which notifies the user of at least one of the type of the device, the name of the device, or the place where the device is installed, together with the operating status of the device.
  • the control unit The location of the user is detected, and it is determined whether or not to notify the user of the operating status of the device based on the positional relationship between the location of the user and the device corresponding to the sensing information.
  • the information processing device according to any one of (1) to (8).
  • the control unit Whether or not to detect the location of the user and notify the user of the operating status of the device based on the distance between the location of the user and the position where the device corresponding to the sensing information is installed.
  • the information processing apparatus according to (9) above.
  • the control unit The operation of the device is performed according to the orientation of the user's face or body at the timing when the device issues information indicating the operating status or when the information indicating the operating status of the device is detected as sensing information.
  • the information processing device according to (9) or (10) above, which determines whether or not to notify the user of the situation. (12)
  • the control unit The attributes of a user located in the vicinity of the information processing device are detected, and it is determined whether or not to notify the user of the operating status of the device according to the detected attributes of the user.
  • the information processing device according to any one of 11).
  • the control unit When notifying the user of the operating status of the device, any one of the above (1) to (12) for notifying the user of the information pre-labeled in the sensing information together with the operating status of the device.
  • the control unit When an abnormal sound indicating that the operating status of the device is abnormal is detected as the sensing information, the user is notified of the information indicating that the abnormal sound has been detected together with the operating status of the device (1) to The information processing device according to any one of (13).
  • the control unit The information according to any one of (1) to (14) above, which detects at least one of light, temperature, humidity, odor, vibration, and carbon dioxide concentration observed in the vicinity of the device as the sensing information. Processing equipment. (16) The control unit The information processing device according to any one of (1) to (15) above, which controls the display of notifications on the display unit.
  • the control unit Acquire the usage status of the information processing device and The information processing device according to any one of (1) to (16), which controls the output of notifications based on the usage status.
  • the usage status is The information processing device according to (17) above, which includes information about the content output by the information processing device.
  • It is an information processing method executed by an information processing device. Processing to detect information indicating the operating status of the device as sensing information, When the sensing information is detected, a process of referring to a storage unit in which the response contents corresponding to the sensing information are stored and determining whether or not to notify the user of the operating status of the device is performed.
  • Information processing method including.
  • Information processing system 10 Home appliances 100 Information processing device 120 Sensor 120A Voice input sensor 120B Image input sensor 121 Input unit 122 Communication unit 130 Storage unit 131 Response content table 132 Device information table 133 Temporary storage area 134 User information table 140 Control unit 141 Detection Department 142 Notification Department 143 UI Department

Abstract

情報処理装置は、機器の稼働状況を示した情報をセンシング情報として検出する処理と、センシング情報が検出された場合に、当該センシング情報に対応する応答内容が記憶された記憶部を参照し、機器の稼働状況をユーザに通知するか否かを判定する処理と、を実行する制御部を備える。

Description

情報処理装置、情報処理方法、情報処理プログラム
　本開示は、情報処理装置、情報処理方法、情報処理プログラムに関する。詳しくは、機器の挙動をユーザに通知する処理に関する。
　生活の電化に伴い、複数の家電等の機器が同時に稼働する機会が増えている。このような状況に鑑みて、複数の機器を円滑に活用するための技術が提案されている。
　例えば、ネットワークに接続された機器がエラーをネットワーク経由でユーザに通知し、ユーザはその結果を電子メール等で知ることができる技術が知られている（例えば、特許文献１）。また、家電機器の状態を診断するための製品情報を変換して出力し、出力された信号を撮影して家電機器の状態を診断し、家電機器の故障可否を診断して故障に対応するための技術が知られている（例えば、特許文献２）。
特開平５－２７４３１７号公報 特開２０１３－１４９２５２号公報
　上記の従来技術によれば、家電等の複数の機器をユーザが円滑に操作することができる。
　しかしながら、従来技術には、改善の余地がある。例えば、従来技術では、家電がネットワーク通信に対応していなかったり、診断を行う装置が認識可能な表示を家電が表示することができなかったりする場合には、ユーザに機器の状況を通知することが難しい。すなわち、従来技術は、通知を行う装置と、当該装置との何らかの通信が可能な機器との組み合わせでなければ実現できない場合がある。
　そこで、本開示では、個々の機器の性能によらず、様々な機器を円滑に運用することのできる情報処理装置、情報処理方法、情報処理プログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、機器の稼働状況を示した情報をセンシング情報として検出する処理と、前記センシング情報が検出された場合に、当該センシング情報に対応する応答内容が記憶された記憶部を参照し、当該機器の稼働状況をユーザに通知するか否かを判定する処理と、を実行する制御部を備える。
第１の実施形態に係る情報処理の一例を示す図である。 第１の実施形態に係る情報処理装置の構成例を示す図である。 第１の実施形態に係る応答内容テーブルの一例を示す図である。 第１の実施形態に係る処理の流れを示すフローチャートである。 第２の実施形態に係る情報処理の一例を示す図である。 第２の実施形態に係る情報処理装置の構成例を示す図である。 第２の実施形態に係る機器情報テーブルの一例を示す図である。 第２の実施形態に係る処理の流れを示すフローチャートである。 第２の実施形態の変形例に係る応答内容テーブルの一例を示す図である。 第３の実施形態に係る情報処理の一例を示す図である。 その他の実施形態に係る応答内容テーブルの一例を示す図である。 その他の実施形態に係るユーザ情報テーブルの一例を示す図である。 本開示に係るシステム構成の第１の例を示すブロック図である。 本開示に係るシステム構成の第２の例を示すブロック図である。 本開示に係るシステム構成の第３の例を示すブロック図である。 本開示に係るシステム構成の第４の例を示すブロック図である。 本開示に係るシステム構成の第５の例を示すブロック図である。 本開示に係るシステム構成のより具体的な例の一つとして、クライアント－サーバシステムを示す図である。 本開示に係るシステム構成の他の具体的な例の一つとして、分散型システムを示す図である。 本開示に係るシステム構成の第６の例を示すブロック図である。 本開示に係るシステム構成の第７の例を示すブロック図である。 本開示に係るシステム構成の第８の例を示すブロック図である。 本開示に係るシステム構成の第９の例を示すブロック図である。 本開示に係るシステム構成のより具体的な例の一つとして、中間サーバを含むシステムの例を示す図である。 本開示に係るシステム構成のより具体的な例の一つとして、ホストとして機能する端末装置を含むシステムの例を示す図である。 本開示に係るシステム構成のより具体的な例の一つとして、エッジサーバを含むシステムの例を示す図である。 本開示に係るシステム構成のより具体的な例の一つとして、フォグコンピューティングを含むシステムの例を示す図である。 本開示に係るシステム構成の第１０の例を示すブロック図である。 本開示に係るシステム構成の第１１の例を示すブロック図である。 機器の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　以下に示す項目順序に従って本開示を説明する。
　　１．第１の実施形態
　　　１－１．第１の実施形態に係る情報処理の一例
　　　１－２．第１の実施形態に係る情報処理装置の構成
　　　１－３．第１の実施形態に係る情報処理の手順
　　　１－４．第１の実施形態に係る変形例
　　２．第２の実施形態
　　　２－１．第２の実施形態に係る情報処理の一例
　　　２－２．第２の実施形態に係る情報処理装置の構成
　　　２－３．第２の実施形態に係る情報処理の手順
　　　２－４．第２の実施形態に係る変形例
　　３．第３の実施形態
　　４．その他の実施形態
　　　４－１．異常音の検出
　　　４－２．ユーザ属性に応じた通知
　　　４－３．装置の使用状況に応じた通知
　　　４－４．各装置の構成
　　　４－５．情報処理システムの態様
　　　４－６．その他
　　５．本開示に係る情報処理装置の効果
　　６．ハードウェア構成
（１．第１の実施形態）
［１－１．第１の実施形態に係る情報処理の一例］
　図１を用いて、本開示の第１の実施形態に係る情報処理の一例を説明する。図１は、第１の実施形態に係る情報処理の一例を示す図である。図１では、第１の実施形態に係る情報処理が、本開示に係る情報処理装置１００と、本開示に係る機器の一例である家電１０とを含む情報処理システム１によって実行される例を示す。
　情報処理装置１００は、本開示に係る情報処理装置の一例である。例えば、情報処理装置１００は、音声やテキストを介してユーザとの対話を行う機能（エージェント（Agent）機能等と称される）を有し、音声認識やユーザへの応答生成等の種々の情報処理を行う。また、情報処理装置１００は、エージェント機能を利用するユーザの要求に応じて、いわゆるＩｏＴ（Internet　of　Things）機器等に対して各種制御を行う役割を担うこともできる。情報処理装置１００は、例えば、スマートスピーカーや、スマートフォン（smart　phone）やテレビ、タブレット端末等である。なお、情報処理装置１００は、スマートスピーカー等以外にも、時計型端末や眼鏡型端末等のウェアラブルデバイス（wearable　device）、エージェント機能を有する冷蔵庫や洗濯機等の家電製品であってもよい。
　家電１０は、本開示に係る機器の一例である。例えば、家電１０は、ユーザの自宅等に設置され利用される家電製品である。図１の例では、家電１０は、洗濯機であるものとする。また、第１の実施形態では、家電１０は、ネットワークを介して情報処理装置１００との通信を行う機能を有しないものとする。また、図１の例では、家電１０を一つのみ表記しているが、家電１０の数は図１に図示したものに限られない。
　図１に示す例では、情報処理装置１００は、マイクロフォンやカメラ等の各種センサを用いて、家電１０の稼働状況を検知（センシング）する。また、情報処理装置１００は、検知した情報（以下、「センシング情報」と称する）を取得する。例えば、情報処理装置１００は、家電１０が発した音（例えば、洗濯を開始したことや、洗濯が終了したことを示す通知のための電子音等）を取得し、また、取得した音を再現することが可能である。かかる処理によれば、情報処理装置１００は、ユーザが家電１０の近傍に居ない場合であっても、家電１０が発した電子音をユーザに対して通知することができる。
　ところで、ユーザが複数の家電を利用する環境下では、情報処理装置１００が取得したすべての音をユーザに通知することは、ユーザにとって煩わしい状況を生じさせる可能性がある。例えば、洗濯の終了を例にとると、洗濯機から遠い部屋にいるユーザに洗濯の終了を告げることには意味があるが、洗濯機の眼の前にいるユーザに対して洗濯機の停止を通知するのは、ユーザにとって冗長で煩わしいことである。すなわち、情報処理装置１００が実行しようとする、家電製品の稼働状況の通知において、ユーザが明らかに知り得る情報を逐一通知すると、かえってユーザにとっての利便性が損なわれるおそれがある。このように、家電状態の通知に関する技術には、ユーザの利便性を損なわせず、かつ、複数の家電を円滑に運用したいという課題が存在する。
　そこで、本開示に係る情報処理装置１００は、以下に説明する情報処理によって、上記課題を解決する。
　具体的には、本開示に係る情報処理装置１００は、家電の稼働状況を示した情報をセンシング情報として検出するとともに、センシング情報が検出された場合に、センシング情報に対応する応答内容が記憶された記憶部を参照し、家電の稼働状況をユーザに通知するか否かを判定する。これにより、情報処理装置１００は、家電の状況を逐一ユーザに対して通知するのではなく、ユーザの要望に合わせた通知を行うことができるため、ユーザに煩わしさを感じさせず、複数の家電を適切に運用することができる。
　以下、本開示に係る第１の実施形態の情報処理の一例について、図１を用いて、流れに沿って説明する。なお、図１の例では、情報処理装置１００の処理部を、概念的に検出部１４１、通知部１４２、ＵＩ部１４３と表現しているが、これは説明の便宜上の表現であり、情報処理装置１００は必ずしも図１で示した機能構成であることを要しない。
　まず、情報処理装置１００に係る検出部１４１は、センシング情報の一例として、家電１０が発した電子音（以下、このような通知のために発せられる音を「通知音」と表記する場合もある）を検出する（ステップＳ１）。例えば、情報処理装置１００は、予め記憶部１３０に記憶されている通知音の例とのパターンマッチングアルゴリズムに基づき、家電１０が発した通知音を検出する。なお、情報処理装置１００は、上記の例に限らず、種々の既知の手法を用いて通知音を検出してもよい。例えば、情報処理装置１００は、通知音と家電１０の稼働音（洗濯中に発する振動音等）とを区別するよう学習された音認識モデルを用いて、家電１０が発した通知音を検出してもよい。
　また、情報処理装置１００は、センシング情報として、通知音に限らず、家電１０が発する光表示等を検出してもよい。例えば、情報処理装置１００は、カメラ等を用いて、洗濯終了時に点滅する表示を検出してもよい。
　情報処理装置１００は、検出した通知音を通知部１４２に送る（ステップＳ２）。情報処理装置１００に係る通知部１４２は、検出部１４１によって検出された通知音が、ユーザに対して通知すべき通知音であるか否かを判定する。
　具体的には、情報処理装置１００は、記憶部１３０を参照する（ステップＳ３）。詳細は後述するが、記憶部１３０は、検出された通知音を区別するための情報（例えば、通知音のテンプレート）とともに、通知音をユーザに通知するか否かといった通知可否に関する情報をデータテーブルとして記憶している。すなわち、情報処理装置１００は、記憶部１３０を参照し、ステップＳ１において検出された通知音が、「ユーザに対して通知すべき通知音」であるか否かを判定する。
　情報処理装置１００は、ステップＳ１において検出された通知音がユーザに対して通知すべき通知音であると判定した場合、当該通知音のデータ（通知音を再生するための波形データや信号データ等）をＵＩ（User　Interface）部１４３に送る（ステップＳ４）。
　情報処理装置１００に係るＵＩ部１４３は、ユーザとのやりとりを行う処理部である。例えば、ＵＩ部１４３は、情報処理装置１００が備えるディスプレイに情報を表示したり、情報処理装置１００が備える音声出力デバイス（スピーカー等）から音声を出力したりする処理を制御する。
　情報処理装置１００は、通知部１４２から送られた通知音をユーザに通知する（ステップＳ５）。例えば、情報処理装置１００は、ステップＳ１において家電１０から検出された通知音と同様の音を出力する。
　このとき、情報処理装置１００は、通知音とともに、予め設定された応答内容を出力して、ユーザに対して所定の問い合わせを行ってもよい。例えば、情報処理装置１００は、「～といった音が検出されましたが、今後、この音を通知しますか？」といった問い合わせを行う。
　その後、情報処理装置１００は、ユーザからの反応を受け付ける（ステップＳ６）。例えば、情報処理装置１００は、ユーザが通知音を認識し、通知音の通知を拒否しなかったことを示す反応（例えば、「わかった」、「ありがとう」等、否定的な表現を含まない音声等）を受け付ける。あるいは、情報処理装置１００は、ユーザが通知音を認識し、通知音の通知を拒否したことを示す反応（例えば、「それは伝えなくてもいいよ」、「うるさい」等、否定的な表現を含む音声等）を受け付ける。あるいは、情報処理装置１００は、ユーザへの問い合わせに対するユーザの反応（例えば、「その音は、これからも伝えるようにして」等、以後、同じ音が検出された場合の対応を判定するための決定を示す音声等）を受け付ける。
　情報処理装置１００は、受け付けた反応を通知部１４２に送る（ステップＳ７）。続けて、情報処理装置１００は、受け付けた反応を記憶部１３０のデータベースに反映させる（ステップＳ８）。言い換えれば、情報処理装置１００は、ユーザからの反応に基づいて、通知音に関する通知を行うか否かを学習する。
　上述のように、情報処理装置１００は、家電１０の稼働状況を示した情報をセンシング情報として検出する。そして、情報処理装置１００は、センシング情報が検出された場合に、センシング情報に対応する応答内容が記憶された記憶部１３０を参照し、家電１０の稼働状況をユーザに通知するか否かを判定する。
　このように、情報処理装置１００は、家電１０が何らかの通知音等を発した場合に、その情報をユーザに通知するか否かを判定したうえで、ユーザに対して通知を行う。これにより、情報処理装置１００は、ユーザが所望しない通知音は通知しない一方で、ユーザが所望する通知音はユーザに通知することができるため、ユーザの要望に沿った通知を行うことができる。また、情報処理装置１００は、ユーザが家電１０の傍にいない場合等には、家電１０に代わって通知をユーザに伝達することができるため、ユーザの利便性を向上させることができる。なお、情報処理装置１００は、家電１０がネットワークに接続されていないような状態（例えば、家電１０がＩｏＴ機器でない場合）であっても、家電１０が発した音をマイクロフォン等で検出するため、家電１０の機能によらず、その通知音を確実に検出することができる。結果として、情報処理装置１００は、個々の家電１０の性能によらず、様々な家電１０を円滑に運用することができる。
　なお、図１では、情報処理装置１００が１台で本開示に係る情報処理を実行する例を示しているが、情報処理装置１００は複数台設置されていてもよい。例えば、本開示に係る情報処理は、ユーザの傍に設置された第１のスマートスピーカーと、家電１０の傍に設置された第２のスマートスピーカーとが連携して実行されてもよい。この場合、第２のスマートスピーカーは、ネットワークを介して、検出した通知音に係る情報を第１のスマートスピーカーに送信する。第１のスマートスピーカーは、第２のスマートスピーカーが設置された場所の情報（例えばキッチン等）とともに、家電１０から発せられた通知音をユーザに出力する。具体的には、第１のスマートスピーカーは、家電１０が発した通知音を出力する際に、「キッチンの方から、このような音がしました」といった通知を行う。これにより、情報処理装置１００は、ユーザが知りえない家電１０の情報を的確にユーザに伝えることができる。
　以下、上記の情報処理を行う情報処理装置１００、及び、情報処理装置１００を含む情報処理システム１の構成について、図２以下を用いて詳細に説明する。
［１－２．第１の実施形態に係る情報処理装置の構成］
　図２を用いて、第１の実施形態に係る情報処理装置１００の構成について説明する。図２は、第１の実施形態に係る情報処理装置１００の構成例を示す図である。
　図２に示すように、情報処理装置１００は、センサ１２０と、入力部１２１と、通信部１２２と、記憶部１３０と、制御部１４０とを有する。
　センサ１２０は、各種情報を検知するためのデバイスである。センサ１２０は、例えば、家電１０が発した通知音や、ユーザが発話した音声を集音する音声入力センサ１２０Ａを含む。音声入力センサ１２０Ａは、例えば、マイクロフォンである。また、センサ１２０は、例えば、画像入力センサ１２０Ｂを含む。画像入力センサ１２０Ｂは、例えば、家電１０や、ユーザや、ユーザの自宅内の状況を撮影するためのカメラである。例えば、画像入力センサ１２０Ｂは、例えば、観測対象までの距離や方向（デプスデータ等）を取得可能なステレオカメラ等である。
　また、センサ１２０は、加速度センサやジャイロセンサ等を含んでもよい。また、センサ１２０は、情報処理装置１００の現在位置を検知するセンサを含んでもよい。例えば、センサ１２０は、ＧＰＳ（Global　Positioning　System）衛星から送出される電波を受信し、受信した電波に基づいて情報処理装置１００の現在位置を示す位置情報（例えば、緯度及び経度）を検知してもよい。
　また、センサ１２０は、外部装置が発する電波を検知する電波センサや、電磁波を検知する電磁波センサ等を含んでもよい。また、センサ１２０は、情報処理装置１００が置かれた環境を検知してもよい。具体的には、センサ１２０は、情報処理装置１００の周囲の照度を検知する照度センサや、周囲の温度を検知する温度センサや、周囲の湿度を検知する湿度センサや、情報処理装置１００の所在位置における磁場を検知する地磁気センサ等を含んでもよい。
　また、センサ１２０は、必ずしも情報処理装置１００の内部に備えられなくてもよい。例えば、センサ１２０は、通信等を用いてセンシングした情報を情報処理装置１００に送信することが可能であれば、情報処理装置１００の外部に設置されてもよい。
　入力部１２１は、ユーザから各種操作を受け付けるためのデバイスである。例えば、入力部１２１は、キーボードやマウス、タッチパネル等によって実現される。情報処理装置１００がスマートスピーカーである場合、入力部１２１は、ユーザから音声によって入力を受け付けるため、音声入力センサ１２０Ａが入力部１２１を兼ねてもよい。
　通信部１２２は、例えば、ＮＩＣ（Network　Interface　Card）等によって実現される。通信部１２２は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、他の情報処理装置１００や、音声認識処理を行う外部サーバ等との間で情報の送受信を行う。
　記憶部１３０は、例えば、ＲＡＭ（Random　Access　Memory)、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。第１の実施形態では、記憶部１３０は、応答内容テーブル１３１を有する。
　応答内容テーブル１３１は、通知音が検出された場合にユーザに対して応答を行う際の応答内容を記憶する。図３に、第１の実施形態に係る応答内容テーブル１３１の一例を示す。図３は、第１の実施形態に係る応答内容テーブル１３１の一例を示す図である。図３に示した例では、応答内容テーブル１３１は、「通知音ＩＤ」、「応答内容」といった項目を有する。また、「応答内容」は、「通知可否」、「通知メッセージ」といった小項目を含む。
　「通知音ＩＤ」は、通知音を識別する識別情報を示す。なお、図３での図示は省略するが、通知音ＩＤには、検出した通知音を識別するための波形データや信号データ等の情報が含まれてもよい。
　「応答内容」は、通知音が検出された場合のユーザへの応答の内容を示す。「通知可否」は、通知音をユーザに対して通知するか否かを示す。「通知メッセージ」は、通知音とともに出力されるメッセージの内容を示す。図３に示した例では、通知メッセージの項目を「Ｂ０１」のように概念的に記載しているが、実際には、通知メッセージの項目には、ユーザに出力される具体的な音声の内容等が記憶される。
　すなわち、図３には、応答内容テーブル１３１に登録された情報の一例として、通知音ＩＤが「Ａ０１」である通知音は、検出された場合にはユーザに対して通知される通知音であり（通知可否が「Ｙｅｓ」である）、通知メッセージが「Ｂ０１」であることを示している。
　図２に戻って説明を続ける。制御部１４０は、情報処理装置１００が実行する情報処理を実行する処理部である。図２に示すように、制御部１４０は、検出部１４１、通知部１４２、ＵＩ部１４３を有する。制御部１４０は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）等によって、情報処理装置１００内部に記憶されたプログラム（例えば、本開示に係る情報処理プログラム）がＲＡＭ（Random　Access　Memory）等を作業領域として実行されることにより実現される。また、制御部１４０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現されてもよい。
　検出部１４１は、機器（家電１０）の稼働状況を示した情報をセンシング情報として検出する。例えば、検出部１４１は、センサ１２０によって検知された各種情報をセンシング情報として検出する。
　例えば、検出部１４１は、センシング情報として、家電１０が稼働状況を通知するために発する通知音を検出する。具体的には、検出部１４１は、家電１０が稼働を開始した際の電子音や、稼働を終了した際の電子音等を検出する。
　例えば、検出部１４１は、記憶部１３０内に予め記憶された通知音のテンプレートを参照し、当該テンプレートと、家電１０から発せられた通知音との照合（パターンマッチング）に基づいて、通知音を検出する。あるいは、検出部１４１は、家電１０が発する電子音を検知したり、電子音の種別を認識し分類したりする学習モデル等を用いて、通知音を検出する。
　また、検出部１４１は、センサ１２０によって検知された音声のうち、ユーザが発した音声を検出してもよい。例えば、検出部１４１は、自動音声認識（ＡＳＲ（Automatic　Speech　Recognition））処理や自然言語理解（ＮＬＵ（Natural　Language　Understanding））処理を経て、検知された音声に含まれるユーザの発話意図を解析し、解析した情報を検出する。
　なお、検出部１４１は、音声の解析の結果、ユーザの意図が理解不能であった場合、その旨をＵＩ部１４３に渡してもよい。例えば、検出部１４１は、解析の結果、ユーザの発話から推定することのできない意図が含まれている場合、その内容をＵＩ部１４３に渡す。この場合、ＵＩ部１４３は、不明な情報について、ユーザにもう一度正確に発話してもらうことを要求するような応答（「もう一度言ってください」といった発話等）を出力する。
　また、検出部１４１は、画像入力センサ１２０Ｂや加速度センサ、赤外線センサ等を介して、ユーザの顔情報、ユーザの身体の向き、傾き、動きや移動速度等、ユーザの動作に関する各種情報を検出してもよい。すなわち、検出部１４１は、センサ１２０を介して、位置情報、加速度、温度、重力、回転（角速度）、照度、地磁気、圧力、近接、湿度、回転ベクトルといった、種々の物理量をコンテキストとして検知してもよい。
　また、検出部１４１は、通信に関する情報を検知してもよい。例えば、検出部１４１は、情報処理装置１００が複数台存在する場合、情報処理装置１００同士の接続状況を定期的に検知してもよい。接続状況とは、例えば、相互通信が確立しているか否かを示す情報等である。
　通知部１４２は、センシング情報が検出された場合に、センシング情報に対応する応答内容が記憶された記憶部１３０を参照し、機器の稼働状況をユーザに通知するか否かを判定する。なお、機器の稼働状況とは、検出部１４１によって検出された通知音そのものであってもよいし、機器の稼働状況を示すメッセージ等（家電１０の稼働が終了したことを示すメッセージ等）であってもよい。
　例えば、通知部１４２は、検出部１４１によって通知音が検出された場合に、通知音に対応する応答内容が記憶された記憶部１３０を参照し、機器の稼働状況をユーザに通知するか否かを判定する。具体的には、通知部１４２は、検出された通知音の応答内容を参照し、かかる通知音がユーザに通知するよう設定されている通知音である場合、かかる通知音をユーザに通知するよう制御する。一方、通知部１４２は、検出された通知音がユーザに通知するよう設定されていない通知音である場合、かかる通知音はユーザに通知しないよう制御する。なお、通知部１４２は、検出された通知音が記憶部１３０に記憶されておらず、ユーザに通知するか否かの設定がされていない場合、この通知音が初めて検出されたことを示すメッセージとともに、ユーザに当該通知音を通知してもよい。この場合、通知部１４２は、「以後、この通知音を通知しますか」といった、ユーザへの問い合わせを行ってもよい。
　また、通知部１４２は、機器の稼働状況をユーザに通知したのちにユーザから受け付けた反応に基づいて、記憶部１３０に格納されたセンシング情報に対応する応答内容を更新する。
　具体的には、通知部１４２は、ユーザから受け付けた反応に基づいて、検出されたセンシング情報に対応する機器の稼働状況をユーザに通知するか否かを示した設定（例えば、図３に示した「通知可否」の項目に記憶される情報）を更新する。
　より具体的には、通知部１４２は、ユーザから受け付けた音声を認識し、音声認識の結果に応じたユーザの反応に基づいて、検出されたセンシング情報に対応する機器の稼働状況をユーザに通知するか否かを示した設定を更新する。例えば、通知部１４２は、機器の稼働状況を通知されたユーザから「ありがとう」といった肯定的な反応を受けた場合、以後も、当該通知音に対応する稼働状況をユーザに通知するよう設定を更新（あるいは維持）する。あるいは、通知部１４２は、機器の稼働状況を通知されたユーザから「それは伝えなくてもいいよ」といった否定的な反応を受けた場合、以後は、当該通知音に対応する稼働状況をユーザに通知しないよう設定を更新する。
　また、通知部１４２は、機器の稼働状況をユーザに通知する場合に、稼働状況と合わせて、機器が設置された場所に関する情報をユーザに通知してもよい。例えば、ユーザの自宅に情報処理装置１００が複数台設置されている場合、情報処理装置１００は、各装置が設置されている位置（自宅、キッチン、洗面所等のカテゴリを示す情報）を記憶することができる。そして、通知部１４２は、ユーザに通知音を通知する場合に、機器の稼働状況を検出した情報処理装置１００の設置位置を合わせて通知する。具体的には、通知部１４２は、「キッチンからこのような音がしました」といったメッセージとともに、通知音をユーザに通知する。これにより、ユーザは、通知音がどの家電１０から発せられたものか、大まかな予測を行うことができる。なお、上述のように、本開示に係る情報処理装置１００は、複数の装置が連携して本開示に係る情報処理を実行する場合がある。この場合、機器の稼働状況をユーザに通知するか否かを判定した装置と、ユーザに通知を行う装置は別の装置であってもよい。すなわち、通知部１４２が実行する通知処理とは、自装置がユーザに対して通知する処理のみならず、他の装置を制御してユーザに通知させる処理を含むものである。
　ＵＩ部１４３は、ユーザと情報のやりとりを行う処理部である。例えば、ＵＩ部１４３は、通知部１４２によって通知された情報（通知音等の音情報等）を出力したり、ユーザから音声の入力を受け付けたりするインターフェイスとして機能する。
　また、ＵＩ部１４３は、種々の情報を出力するための機構を含む。例えば、ＵＩ部１４３は、音を出力するためのスピーカーや、映像を出力するためのディスプレイを有してもよい。例えば、ＵＩ部１４３は、通知部１４２によって生成されたユーザへの通知を音声で出力する。また、ＵＩ部１４３は、通知部１４２によって生成されたユーザへの通知を画面表示（画像データ）に変換し、変換した画像をディスプレイに出力してもよい。例えば、ＵＩ部１４３は、通知部１４２によって生成されたメッセージをテキスト表示した映像データを、音声とともにディスプレイに表示してもよい。他にも、例えば、ＵＩ部１４３はユーザへ音声通知を行うとともに、検出部１４１によって取得された画像をディスプレイに出力してもよい。
［１－３．第１の実施形態に係る情報処理の手順］
　次に、図４を用いて、第１の実施形態に係る情報処理の手順について説明する。図４は、第１の実施形態に係る処理の流れを示すフローチャートである。
　図４に示すように、情報処理装置１００は、家電１０が発した通知音を検出したか否かを判定する（ステップＳ１０１）。通知音を検出していない場合（ステップＳ１０１；Ｎｏ）、情報処理装置１００は、通知音を検出するまで待機する。
　一方、通知音を検出した場合（ステップＳ１０１；Ｙｅｓ）、情報処理装置１００は、記憶部１３０に記憶された通知音と照合する（ステップＳ１０２）。
　そして、情報処理装置１００は、検出された通知音と、記憶部１３０に記憶されていた通知音とが一致したか否かを判定する（ステップＳ１０３）。通知音が一致した場合（ステップＳ１０３；Ｙｅｓ）、情報処理装置１００は、その通知音がユーザへ通知が可能な設定となっているか否かを判定する（ステップＳ１０４）。
　通知音がユーザへ通知が可能な設定となっている場合（例えば、図３で示した「通知可否」の項目が「Ｙｅｓ」である場合）（ステップＳ１０４；Ｙｅｓ）、情報処理装置１００は、記憶部１３０に記憶されている応答内容に基づいて、ユーザに家電１０の稼働状況を通知する（ステップＳ１０５）。一方、通知音がユーザへ通知が可能な設定となっていない場合（ステップＳ１０４；Ｎｏ）、情報処理装置１００は、ユーザへ通知を行わずに処理を終了する。
　なお、情報処理装置１００は、検出された通知音と、記憶部１３０に記憶されていた通知音とが一致しなかった場合（ステップＳ１０３；Ｎｏ）、今後、当該通知音が検出された場合にどのような対応を採るかをユーザに問い合わせる（ステップＳ１０６）。
　そして、情報処理装置１００は、ユーザの返答と、検出した音（ステップＳ１０１で検出された通知音）とを対応付けて、対応付けた情報を記憶部１３０に新たに記憶する（ステップＳ１０７）。
［１－４．第１の実施形態に係る変形例］
　上記で説明した第１の実施形態に係る情報処理は、様々な変形を伴ってもよい。以下に、第１の実施形態の変形例について説明する。
　例えば、情報処理装置１００は、図２で示した構成を全て有しなくてもよい。例えば、情報処理装置１００は、図３で示した応答内容テーブル１３１を保持しなくてもよい。この場合、情報処理装置１００は、ネットワークを介して、応答内容テーブル１３１に対応する情報を保持する外部サーバ等にアクセスし、応答内容テーブル１３１に対応する情報取得してもよい。
　また、情報処理装置１００は、外部サーバ等にアクセスし、適宜、応答内容テーブル１３１に保持する内容を更新してもよい。例えば、情報処理装置１００は、ユーザが利用する家電１０の登録を受け付けた場合に、当該家電１０に対応する通知音のデータを外部サーバ等から取得してもよい。
（２．第２の実施形態）
［２－１．第２の実施形態に係る情報処理の一例］
　次に、第２の実施形態について説明する。図５は、第２の実施形態に係る情報処理の一例を示す図である。第２の実施形態に係る情報処理は、図２に示す情報処理装置１００Ａによって実行される。第２の実施形態では、情報処理装置１００Ａは、家電１０Ａ及び家電１０Ｂから発せられる通知音を検出する。なお、図２の例において、家電１０Ａは洗濯機であり、家電１０Ｂは炊飯器である。また、以下の説明において、第１の実施形態に係る情報処理装置１００と、第２の実施形態に係る情報処理装置１００Ａとを区別する必要のない場合、単に情報処理装置１００と表記する。また、以下の説明において、第１の実施形態に係る家電１０と、第２の実施形態に係る家電１０Ａ又は１０Ｂとを区別する必要のない場合、単に家電１０と表記する。
　図２に示す例では、情報処理装置１００Ａに係る検出部１４１は、家電１０Ａ又は家電１０Ｂが発した電子音を検出する（ステップＳ１１及びステップＳ１２）。このとき、情報処理装置１００Ａは、例えばアレイマイク（Array　Microphone）等を用いて、家電１０Ａ又は家電１０Ｂが設置された方向や位置を検出する。さらに、情報処理装置１００Ａは、検出された方向がカメラの視野内であれば、カメラ画像に対して物体認識を行う。これにより、情報処理装置１００Ａは、検出した通知音を発した家電１０Ａ又は家電１０Ｂを認識する。
　その後、情報処理装置１００Ａは、記憶部１３０に記憶されている情報を参照する（ステップＳ１３）。具体的には、情報処理装置１００Ａは、記憶部１３０内に記憶されている物体ラベル情報（例えば、画像認識の結果が、どのような家電に対応するか示した情報）を参照する。そして、情報処理装置１００Ａは、ステップＳ１１及びステップＳ１２で検出された通知音と、当該通知音を発した家電１０Ａ又は家電１０Ｂとを対応付けた情報を通知部１４２に送る（ステップＳ１４）。ステップＳ１５以降の処理は、第１の実施形態と同様であるため、説明を省略する。
　すなわち、第２の実施形態では、情報処理装置１００Ａは、センシング情報に対応する家電１０Ａ又は家電１０Ｂを画像認識により識別し、識別した家電１０Ａ又は家電１０Ｂの情報とともに、家電１０Ａ又は家電１０Ｂの稼働状況をユーザに通知する。
　これにより、情報処理装置１００Ａは、ユーザに対して、家電１０Ａ又は家電１０Ｂの稼働状況をより詳細に通知することができる。具体的には、情報処理装置１００Ａは、通知音とともに、「炊飯器からこのような音がしました」等、通知音を発した対象を示した情報をユーザに通知することができる。すなわち、情報処理装置１００Ａは、複数の家電１０を取り扱うユーザの利便性をより向上させることができる。
［２－２．第２の実施形態に係る情報処理装置の構成］
　図６は、第２の実施形態に係る情報処理装置１００Ａの構成例を示す図である。第１の実施形態と比較して、情報処理装置１００Ａは、機器情報テーブル１３２をさらに有する。
　機器情報テーブル１３２は、機器（家電）に関する情報を記憶する。図７は、第２の実施形態に係る機器情報テーブル１３２の一例を示す図である。図７に示した例では、機器情報テーブル１３２は、「機器ＩＤ」、「機器種別」、「画像認識データ」といった項目を有する。
　「機器ＩＤ」は、機器を識別する識別情報を示す。なお、明細書中では、機器ＩＤと家電１０の参照符号は共通するものとする。例えば、機器ＩＤが「１０Ａ」で識別される機器とは、「家電１０Ａ」を意味する。
　「機器種別」は、機器の種別を示す。機器の種別とは、例えば家電１０の属性や特徴によって区分けした情報を示す。具体的には、機器の種別とは、「洗濯機」や「炊飯器」、「冷蔵庫」といった、家電１０を示すカテゴリである。
　「画像認識データ」とは、画像認識の結果として得られたデータを示す。例えば、画像認識では、画像内に含まれる物体に、「洗濯機」や「炊飯器」として認識したことを示す情報が付与される。画像認識データは、このような画像認識の結果を示すデータである。図７に示した例では、画像認識データの項目を「Ｃ０１」のように概念的に記載しているが、実際には、画像認識データの項目には、画像認識の結果、抽出された物体や、当該物体をどのような物体と認識したかを示した具体的なデータ等が記憶される。例えば、情報処理装置１００Ａによる画像認識によって「Ｃ０１」というデータが得られた場合、情報処理装置１００Ａは、機器情報テーブル１３２を参照することで、当該データに対応する物体が機器ＩＤ「１０Ａ」で識別される機器（この例では、家電１０Ａ）であると特定することができる。
　すなわち、図７には、機器情報テーブル１３２に登録された情報の一例として、機器ＩＤが「１０Ａ」である家電１０Ａは、機器種別が「洗濯機」であり、画像認識データが「Ｃ０１」であることを示している。
　図６に戻って説明を続ける。上述のように、第２の実施形態に係る情報処理装置１００Ａは、家電１０Ａ又は家電１０Ｂに対して方向や画像認識を行うとともに、ユーザに対しても画像認識を行う。
　例えば、第２の実施形態に係る通知部１４２は、センシング情報に対応する機器を画像認識により識別し、識別した機器の情報とともに、機器の稼働状況をユーザに通知する。
　具体的には、通知部１４２は、機器の稼働状況とともに、機器の種別、機器の名称又は機器が設置された場所の少なくとも一つをユーザに通知する。例えば、制御部１４０は、通知音を発した家電１０の種別や名称（例えば、「冷蔵庫」や「炊飯器」等）や、家電１０が置かれた場所（例えば、「キッチン」や「洗面所」等）を通知する。
　また、第２の実施形態に係る検出部１４１は、センサ１２０を用いて、機器の情報のみならず、ユーザの情報を検出してもよい。具体的には、検出部１４１は、自宅におけるユーザの所在位置を検出する。そして、検出部１４１は、通知音を発した家電１０の近傍にユーザが所在するか否か等を検証する。
　そして、第２の実施形態に係る通知部１４２は、検出されたユーザの所在位置と、センシング情報に対応する機器との位置関係に基づいて、機器の稼働状況をユーザに通知するか否かを判定してもよい。
　具体的には、通知部１４２は、検出したユーザの所在位置と、センシング情報に対応する機器が設置された位置との距離に基づいて、機器の稼働状況をユーザに通知するか否かを判定する。例えば、検出部１４１は、デプスセンサ等の測距可能なセンサ１２０を用いて、ユーザと、家電１０との距離を検出する。あるいは、検出部１４１は、画像認識処理によって、同一画像内に含まれるユーザと家電１０との距離を推定する。
　そして、通知部１４２は、ユーザと家電１０との距離が所定の閾値を超える場合（例えば１０メートル等）に、家電１０が発した通知音（すなわち、家電１０の稼働状況）をユーザに通知する。一方、通知部１４２は、ユーザと家電１０との距離が所定の閾値を超えない場合、家電１０が発した通知音をユーザに通知しなくてもよい。
　すなわち、通知部１４２は、家電１０とユーザとの位置の関係性を検出したうえで、ユーザに通知を行うか否かを判定する。これにより、ユーザは、すぐ傍にある家電１０の稼働状況をわざわざ情報処理装置１００Ａから通知されるといった、煩わしい状況を回避することができる。一方、ユーザは、視認することが難しい家電１０については、情報処理装置１００Ａを介して稼働状況を知ることができる。このように、情報処理装置１００Ａは、ユーザにとって満足度の高い通知処理を実現することができる。
　なお、検出部１４１は、ユーザと家電１０の距離のみならず、さらに詳細な情報を検出してもよい。例えば、検出部１４１は、既知の画像認識処理を利用して、ユーザの顔の向きや、身体の向きを検出してもよい。そして、通知部１４２は、家電１０が稼働状況を示した情報を発したタイミング、もしくは、家電１０が稼働状況を示した情報をセンシング情報として検出したタイミングにおける、ユーザの顔もしくは身体の向きに応じて、家電１０の稼働状況をユーザに通知するか否かを判定してもよい。
　具体的には、通知部１４２は、家電１０が通知音を発した際にユーザの顔もしくは身体が家電１０の方向を向いていた場合、家電１０が発した通知音をユーザが認識したと判定する。この場合、通知部１４２は、あらためて家電１０の稼働状況をユーザに伝えることを要しないと判定し、ユーザへの通知を行わない。一方、通知部１４２は、家電１０が通知音を発した際にユーザの顔もしくは身体が家電１０の方向を向いていなかった場合、家電１０が発した通知音をユーザが認識していないと判定する。この場合、通知部１４２は、家電１０の稼働状況をユーザに伝えるべきであると判定し、ユーザへの通知を行う。このように、情報処理装置１００Ａは、ユーザのその場の状況に応じた通知処理を行うことができる。
　また、通知部１４２は、ユーザの顔や身体の向きのみならず、ユーザの所在範囲に基づいて、通知を行うか否かを判定してもよい。例えば、通知部１４２は、家電１０とユーザとがともにカメラの画角内におさまっている間（すなわち、同一の画像内に家電１０とユーザとが含まれる場合）は、ユーザへの通知が不要と判定してもよい。このとき、通知部１４２は、ユーザがフレームアウトしてから所定時間内（例えば、数秒間）についてもユーザへの通知が不要と判定するなど、所定のバッファタイムを設けてもよい。また、通知部１４２は、ユーザがフレームアウトしてから所定時間を超えた場合には、ユーザへの通知を行うと判定してもよい。
　また、通知部１４２は、同一フレーム内であっても、カメラが広角である等の理由で、ユーザと家電１０との間の距離が所定距離を超えていれば、カメラの視野内であっても、ユーザに通知を行う等の判定を行ってもよい。
　また、通知部１４２は、ユーザの顔認識処理により、ユーザが目を閉じている状態が所定時間よりも長いと判定した場合（すなわち、ユーザが睡眠状態にあると判定した場合）には、通知を行わないといった判定を行ってもよい。なお、通知部１４２は、情報処理装置１００Ａがカメラを備えない場合であっても、音声による話者識別や、話者の状況判定処理等により、上記と同様の処理を簡易的に実現してもよい。
［２－３．第２の実施形態に係る情報処理の手順］
　次に、図８を用いて、第２の実施形態に係る情報処理の手順について説明する。図８は、第２の実施形態に係る処理の流れを示すフローチャートである。
　図８に示すように、情報処理装置１００Ａは、家電１０が発した通知音を検出したか否かを判定する（ステップＳ２０１）。通知音を検出していない場合（ステップＳ２０１；Ｎｏ）、情報処理装置１００Ａは、通知音を検出するまで待機する。
　一方、通知音を検出した場合（ステップＳ２０１；Ｙｅｓ）、情報処理装置１００Ａは、記憶部１３０に記憶された通知音と照合するとともに、通知音を発した家電１０を認識し、家電１０に関する情報を取得する（ステップＳ２０２）。
　そして、情報処理装置１００Ａは、検出された通知音と、記憶部１３０に記憶されていた通知音とが一致したか否かを判定する（ステップＳ２０３）。通知音が一致した場合（ステップＳ２０３；Ｙｅｓ）、情報処理装置１００Ａは、その通知音がユーザへ通知が可能な設定となっているか否かを判定する（ステップＳ２０４）。
　通知音がユーザへ通知が可能な設定となっている場合（ステップＳ２０４；Ｙｅｓ）、情報処理装置１００Ａは、さらに、通知に適した場所にユーザが所在しているかを判定する（ステップＳ２０５）。例えば、情報処理装置１００Ａは、ユーザが家電１０から所定距離以上離れているか否か等を判定する。
　通知に適した場所にユーザが所在している場合（ステップＳ２０５；Ｙｅｓ）、情報処理装置１００Ａは、記憶部１３０に記憶されている応答内容に基づいて、ユーザに家電１０の稼働状況を通知する（ステップＳ２０６）。一方、通知音がユーザへ通知が可能な設定となっていない場合（ステップＳ２０４；Ｎｏ）や、通知に適した場所にユーザが所在していない場合（ステップＳ２０５；Ｎｏ）、情報処理装置１００Ａは、ユーザへ通知を行わずに処理を終了する。
　なお、情報処理装置１００Ａは、検出された通知音と、記憶部１３０に記憶されていた通知音とが一致しなかった場合（ステップＳ２０３；Ｎｏ）、今後、当該通知音が検出された場合にどのような対応を採るかをユーザに問い合わせる（ステップＳ２０７）。
　そして、情報処理装置１００Ａは、ユーザの返答と、検出した音（ステップＳ２０１で検出された通知音）とを対応付けて、対応付けた情報を記憶部１３０に新たに記憶する（ステップＳ２０８）。
［２－４．第２の実施形態に係る変形例］
　上記で説明した第２の実施形態に係る情報処理は、様々な変形を伴ってもよい。以下に、第２の実施形態の変形例について説明する。
　例えば、情報処理装置１００Ａは、検出された家電１０や、検出された通知音に対してラベリングを行ってもよい。この点について、図９を用いて説明する。図９は、第２の実施形態の変形例に係る応答内容テーブル１３１Ｂの一例を示す図である。応答内容テーブル１３１Ｂは、応答内容テーブル１３１及び機器情報テーブル１３２に示した情報に加えて、「ラベル」という項目を有する。
　「ラベル」は、ユーザに通知音を通知したのち、もしくは、ユーザに通知音の取り扱いを問い合わせたのちに、ユーザが指示した情報等が記憶される。すなわち、図９では、応答内容テーブル１３１Ｂに登録された情報の一例として、通知音ＩＤが「Ａ１１」である通知音は、機器ＩＤ「１０Ａ」で識別される家電１０Ａが発したものであり、家電１０Ａの機器種別は「洗濯機」であることを示している。また、通知音ＩＤが「Ａ１１」である通知音は、通知可否が「Ｙｅｓ」であり、通知メッセージが「Ｂ１１」であり、その通知音のラベルは「洗濯終わり」であることを示している。
　例えば、情報処理装置１００Ａは、家電１０Ａが通知音を発したことを検出した場合、当該家電１０Ａを認識した結果とともに、ユーザに通知音のラベルについて問い合わせる。具体的には、情報処理装置１００Ａが「家電１０Ａから以下のような音がしました。今後、この音を通知しますか？」のような問い合わせを行った際に、ユーザが「「洗濯終わり」って通知して」等の返答があった場合、情報処理装置１００Ａは、当該返答に応じたラベルを通知音に対応付ける。
　その後、情報処理装置１００Ａは、同様の通知音を検出した場合、応答内容テーブル１３１Ｂを参照し、当該通知音に「洗濯終わり」というラベルが付されていることを認識する。そして、情報処理装置１００Ａは、通知音を検出した場合には、「洗濯が終わりました」といった、ラベルに応じた通知メッセージをユーザに対して出力する。このとき、情報処理装置１００Ａは、メッセージとともに通知音を出力してもよいし、通知音そのものの出力は省略してもよい。
　このように、情報処理装置１００Ａは、機器の稼働状況をユーザに通知する場合に、機器の稼働状況と合わせて、センシング情報に予めラベル付けされた情報をユーザに通知する。すなわち、情報処理装置１００Ａは、通知音を発した家電１０Ａや家電１０Ｂを認識するのみならず、家電１０Ａや家電１０Ｂが発した通知音にラベルを付すことができる。これにより、ユーザは、単に通知音だけを通知される場合と比較して、ラベル付けにより認知しやすい情報に変換された通知を受けることができる。
（３．第３の実施形態）
　次に、第３の実施形態について説明する。図１０は、第３の実施形態に係る情報処理の一例を示す図である。第３の実施形態に係る情報処理は、図１０に示す情報処理装置１００Ｃによって実行される。図１０に示すように、第３の実施形態では、情報処理装置１００Ｃは、記憶部１３０内に一時記憶領域１３３を有する。以下、図１０を用いて、第３の実施形態に係る情報処理の流れを説明する。なお、第１の実施形態又は第２の実施形態で説明した処理については、説明を省略する。
　情報処理装置１００Ｃは、家電１０が発した通知音を検出する（ステップＳ２１）。情報処理装置１００Ｃは、検出した通知音を通知部１４２に送る（ステップＳ２２）。情報処理装置１００Ｃは、記憶部１３０を参照し（ステップＳ２３）、記憶部１３０に記憶されている内容に従い通知する内容をＵＩ部１４３に送る（ステップＳ２４）。このとき、情報処理装置１００Ｃは、記憶部１３０内の一時記憶領域１３３に、ステップＳ２１において検出された通知音を記憶するものとする。
　図１０の例では、ステップＳ２１において検出された通知音は、ユーザに通知されない（「通知可否」が「Ｎｏ」である）ものであったものとする。この場合、情報処理装置１００Ｃは、通知音の内容をユーザに通知することなく、何ら表示を行わない（ステップＳ２５）。
　ここで、ユーザは、家電１０が発した通知音を聞き、情報処理装置１００Ｃに通知を依頼したいと所望したとする。この場合、ユーザは、「さっきの音は、通知するようにして」といった要望を情報処理装置１００Ｃに伝える（ステップＳ２６）。
　情報処理装置１００Ｃは、当該要望を通知部１４２に送る（ステップＳ２７）。情報処理装置１００Ｃは、記憶部１３０にアクセスし、一時記憶領域１３３に記憶されている通知音を参照し、当該通知音に対応する応答内容を更新する。具体的には、情報処理装置１００Ｃは、通知可否が「Ｎｏ」とされていた設定を「Ｙｅｓ」に更新する。
　このように、第３の実施形態に係る情報処理装置１００Ｃは、通知音を一時記憶領域１３３に格納し、ある程度の時間（例えば、１分間以内）、ユーザの指示を待機する。そして、情報処理装置１００Ｃは、ユーザから指示があった場合、一時記憶領域１３３に格納されていた通知音の応答内容をユーザの指示に応じて更新する。これにより、情報処理装置１００Ｃは、ユーザの様々な要望に対して柔軟な学習を行うことができる。
（４．その他の実施形態）
　上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
［４－１．異常音の検出］
　例えば、情報処理装置１００は、家電１０が発する通知音のみならず、種々の通知に関する情報を検出してもよい。一例として、情報処理装置１００は、センシング情報として家電１０の稼働状況が異常であることを示す異常音を検出した場合、家電１０の稼働状況とともに、異常音を検出した旨を示す情報をユーザに通知してもよい。異常音とは、例えば、通常の稼働音よりも所定閾値を超える音圧を有する音等である。異常音が検出された場合、情報処理装置１００は、例えば「洗濯機から普段聞こえない音がしました」といった警告を通知してもよい。
　また、情報処理装置１００は、センシング情報として、音以外の情報を検出してもよい。例えば、情報処理装置１００は、センシング情報として、家電１０の周辺で観測された光、温度、湿度、臭気、振動、二酸化炭素濃度の少なくともいずれかの情報を検出してもよい。例えば、情報処理装置１００は、各種のセンサ１２０に応じて、家電１０が発した光や温度等を検出し、検出した情報に基づいてユーザへの通知を行う。例えば、情報処理装置１００は、臭いセンサや画像センサ、光センサ、触覚センサ、振動センサ、気温センサ、湿度センサ又は二酸化炭素濃度センサ等により検出された情報に基づいて、ユーザへの通知を行う。
　また、情報処理装置１００は、家電１０の稼働状況が異常を示しているか否かを定義付けたデータテーブルを参照し、異常を検知したことをユーザに通知してもよい。この点について、図１１を用いて説明する。図１１は、その他の実施形態に係る応答内容テーブル１３１Ｃの一例を示す図である。
　応答内容テーブル１３１Ｃは、第１乃至第３の実施形態と比較して、「検出条件」といった項目を有する。「検出条件」は、センサ１２０により検知された情報がセンシング情報として検出される条件を示す。
　例えば、図１１に示した例では、検出条件として、「（ある家電１０の）温度が４０°を超えた場合」や、「（ある家電１０から発せられた）臭気指数が３００を超えた場合」等に、かかる情報がセンシング情報として検出されることを示している。
　情報処理装置１００は、応答内容テーブル１３１Ｃを参照し、センシング情報を検出した場合、センシング情報の内容をラベルとともにユーザに通知する。例えば、情報処理装置１００は、家電１０の周辺で検知された温度とともに、「家電１０が異常な高温となっています。チェックしてください」といった通知メッセージをユーザに通知する。これにより、情報処理装置１００は、家電１０の異常な稼働状況をユーザに適切に通知することができる。
　なお、異常を判定するための検出条件は、初期出荷時等に情報処理装置１００に組み込まれていてもよいし、ユーザによる入力を受け付けて更新されてもよいし、家電１０のメーカーが提供する外部サーバ等によって更新されてもよい。
［４－２．ユーザ属性に応じた通知］
　また、情報処理装置１００は、ユーザを識別し、ユーザに応じた通知を行ってもよい。すなわち、情報処理装置１００は、情報処理装置１００の近傍に所在するユーザの属性を検出し、検出されたユーザの属性に応じて、機器の稼働状況をユーザに通知するか否かを判定してもよい。
　この場合、情報処理装置１００は、例えば図１２に示すユーザ情報テーブル１３４を有する。ユーザ情報テーブル１３４は、情報処理装置１００を利用するユーザに関する情報を記憶する。図１２は、その他の実施形態に係るユーザ情報テーブル１３４の一例を示す図である。
　図１２に示した例では、ユーザ情報テーブル１３４は、「ユーザＩＤ」、「属性」、「通知設定」といった項目を有する。
　「ユーザＩＤ」は、ユーザを識別する識別情報を示す。「属性」は、情報処理装置１００の利用の際にユーザから登録される、ユーザの各種情報を示す。例えば、属性は、ユーザの年齢や性別、居住地、家族構成等の属性情報（ユーザプロファイル）が含まれる。なお、属性は、ユーザから登録される情報に限らず、情報処理装置１００によって自動認識された情報が含まれてもよい。例えば、属性には、情報処理装置１００の画像認識によって子どもであると推定された情報や、男性や女性と推定された情報等が含まれてもよい。
　「通知設定」は、情報処理装置１００からの通知を受けるか否かという設定情報を示す。図１２に示した例では、通知設定の項目を「Ｆ０１」のように概念的に記載しているが、実際には、通知設定の項目には、各通知音や家電１０の種別ごとに、各ユーザが通知を受けるか否かを示した設定情報が記憶される。
　すなわち、図１２に示した例では、ユーザＩＤが「Ｕ０１」で識別されるユーザは、属性が「男性、大人」であり、通知設定が「Ｆ０１」であることを示している。
　情報処理装置１００は、通知音を検出した場合、ユーザ情報テーブル１３４を参照し、情報処理装置１００の近傍に所在するユーザの通知設定を確認する。そして、情報処理装置１００は、ユーザ毎の通知設定に応じて、当該ユーザに通知するか否かを判定する。これにより、情報処理装置１００は、ユーザに合わせた通知を行うことができる。
　なお、情報処理装置１００は、近傍のユーザを検知する手法として、種々の既知の技術を利用してもよい。例えば、情報処理装置１００は、生体が発する情報に基づいて、生体が所在するか否かを検知するセンサである生体センサを用いて、情報処理装置１００の近傍に所在するユーザを検知する。具体的には、生体センサは、生体の温度（体温）を検知する赤外線センサ（サーモグラフィ）や、生体を画像認識するためのイメージセンサ（カメラ）等である。また、情報処理装置１００は、ユーザまでの距離を計測する測距センサ等を利用してもよい。測距センサは、光を照射して生体までの距離を測距する距離センサや、超音波センサ等である。なお、測距センサには、例えば、ＬｉＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）等の技術が用いられてもよい。また、情報処理装置１００とユーザとの距離の測定には、例えば、情報処理装置１００が備えるＳＬＡＭ（Simultaneous　Localization　and　Mapping）等の技術が利用されてもよい。
[４－３．装置の使用状況に応じた通知]
　また、情報処理装置１００は、通知の出力を行う情報処理装置１００の使用状況を取得し、取得した使用状況に応じて通知を出力してもよい。例えば、情報処理装置１００は、ディスプレイ等の表示部への通知の表示を制御してもよい。具体的には、情報処理装置１００は、通知を行う情報処理装置１００において再生されている音声や表示されている画像に応じた通知の制御を行ってもよい。
　例えば、情報処理装置１００として、家電１０の近傍にあるスマートスピーカーと、ユーザが放送番組を視聴しているテレビがある場合が考えられる。家電１０近傍のスマートスピーカーが家電１０から出力された通知音を検出した場合に、放送番組がテレビのディスプレイに表示されている間は通知の表示を行わず、放送番組がコマーシャルに切り替わった際に通知を出力してもよい。また、表示されているコンテンツの視聴を阻害しないような位置に、通知を表示するよう制御されてもよい。他にも、例えば、通知を出力する情報処理装置１００が、スマートフォンであり、画面上に大きな通知を出すと邪魔になると判断された場合には、アイコンとして通知を表示するような処理を行ってもよい。これらの使用状況の取得処理は、情報処理装置１００上で実行されているアプリケーションに関する情報を基に行われてもよいし、画面上に表示されているコンテンツに対する画像解析を基に行われてもよい。
　これらの例は一例であり、音声通知を出力する情報処理装置１００が音声コンテンツを再生しているスマートスピーカーであるような異なる情報処理装置１００の例や、通知を出力する情報処理装置１００が放送番組を再生するスマートフォンであるような異なる組合せの例などの、本発明に基づいて着想可能な異なる実施の形態を排除するものではない。また、本実施の形態は、家電１０の通知音を検出する情報処理装置１００と、通知を出力する情報処理装置１００が同一である場合に行われてもよい。
［４－４．各装置の構成］
　上記各実施形態では、情報処理装置１００がいわゆるスマートスピーカーやスマートフォンやテレビ、タブレット端末であり、スタンドアロンで処理を行う例を示した。しかし、情報処理装置１００は、ネットワークによって接続されたサーバ装置（いわゆるクラウドサーバ（Cloud　Server）等）と連携して本開示に係る情報処理を行ってもよい。また、例えば、情報処理装置１００は、スマートスピーカーとスマートフォンとの連携により実現されてもよい。この場合、例えば、スマートスピーカーが検出した通知音に基づいて、ユーザの手元にあるスマートフォンが通知を行う、といった情報処理が可能となる。他にも、エージェント機能を有する冷蔵庫が検出した電子レンジの通知音に基づいて、ユーザの視聴するテレビが音声や画面表示で通知を行う、といった情報処理が可能となる。
　また、本開示に係る情報処理装置１００は、スマートフォン等に搭載されるＩＣチップ等の態様で実現されてもよい。
［４－５．情報処理システムの態様］
　また、本開示に係る情報処理システム１は、様々な変形を伴ってもよい。例えば、情報処理装置１００がＩｏＴ機器等である場合、本開示に係る情報処理は、クライアント（ＩｏＴ機器）と外部サーバ（クラウドサーバ）等と協働して実行されてもよい。以下、情報処理システム１の態様として想定しうる例について列挙する。なお、以下の例では、各装置に入力部や処理部、出力部を有する例を示す。入力部や出力部は、例えば、図２に示した通信部１２２に対応する。また、処理部は、例えば、図２に示した制御部１４０に対応する。また、以下の変形例では、情報処理システムの変形例を「システム２」と表記する。また、情報処理装置１００の変形例を「情報処理装置１１」、「情報処理装置１２」もしくは「情報処理装置１３」と表記する。また、情報処理装置１１等の変形例については、「情報処理装置１１ａ」、「情報処理装置１１ｂ」又は「情報処理装置１１ｃ」等と表記する。
　（第１の例）
　図１３は、本開示の実施形態に係るシステム構成の第１の例を示すブロック図である。図１３を参照すると、システム２は、情報処理装置１１を含む。入力部２００、処理部３００、および出力部４００は、いずれも情報処理装置１１において実現される。情報処理装置１１は、以下で説明するように端末装置またはサーバでありうる。この第１の例において、情報処理装置１１は、本開示の実施形態に係る機能の実現のためにネットワークを介して外部装置と通信しない、スタンドアロンの装置であってもよい。なお、情報処理装置１１は、他の機能のために外部装置と通信してもよく、従って必ずしもスタンドアロンの装置でなくてもよい。入力部２００と処理部３００との間のインターフェイス２５０ａ、および処理部３００と出力部４００との間のインターフェイス４５０ａは、いずれも装置内のインターフェイスでありうる。
　第１の例において、情報処理装置１１は、例えば端末装置でありうる。この場合、入力部２００は、入力装置、センサ、外部サービスから情報を取得するソフトウェアなどを含みうる。外部サービスから情報を取得するソフトウェアは、例えば、端末装置で実行されているサービスのアプリケーションソフトウェアからデータを取得する。処理部３００は、端末装置が備えるプロセッサまたは処理回路がメモリまたはストレージ装置に格納されたプログラムに従って動作することによって実現される。出力部４００は、出力装置、制御装置、外部サービスに情報を提供するソフトウェアなどを含みうる。外部サービスに情報を提供するソフトウェアは、例えば、端末装置で実行されているサービスのアプリケーションソフトウェアに情報を提供しうる。
　あるいは、第１の例において、情報処理装置１１は、サーバであってもよい。この場合、入力部２００は、外部サービスから情報を取得するソフトウェアを含みうる。外部サービスから情報を取得するソフトウェアは、例えば、外部サービスのサーバ（情報処理装置１１自身であってもよい）からデータを取得する。処理部３００は、端末装置が備えるプロセッサがメモリまたはストレージ装置に格納されたプログラムに従って動作することによって実現される。出力部４００は、外部サービスに情報を提供するソフトウェアなどを含みうる。外部サービスに情報を提供するソフトウェアは、例えば、外部サービスのサーバ（情報処理装置１１自身であってもよい）に情報を提供する。
　（第２の例）
　図１４は、本開示の実施形態に係るシステム構成の第２の例を示すブロック図である。図１４を参照すると、システム２は、情報処理装置１１，１３を含む。入力部２００および出力部４００は、情報処理装置１１において実現される。一方、処理部３００は、情報処理装置１３において実現される。情報処理装置１１と情報処理装置１３とは、本開示の実施形態に係る機能を実現するために、ネットワークを介して通信する。入力部２００と処理部３００との間のインターフェイス２５０ｂおよび処理部３００と出力部４００との間のインターフェイス４５０ｂは、いずれも装置間の通信インターフェイスでありうる。
　第２の例において、情報処理装置１１は、例えば端末装置でありうる。この場合、入力部２００は、上記の第１の例と同様に、入力装置、センサ、外部サービスから情報を取得するソフトウェアなどを含みうる。出力部４００も、上記の第１の例と同様に、出力装置、制御装置、外部サービスに情報を提供するソフトウェアなどを含みうる。あるいは、情報処理装置１１は、外部サービスとの間で情報をやりとりするためのサーバであってもよい。この場合、入力部２００は、外部サービスから情報を取得するソフトウェアを含みうる。また、出力部４００は、外部サービスに情報を提供するソフトウェアを含みうる。
　また、第２の例において、情報処理装置１３は、サーバまたは端末装置でありうる。処理部３００は、情報処理装置１３が備えるプロセッサまたは処理回路がメモリまたはストレージ装置に格納されたプログラムに従って動作することによって実現される。情報処理装置１３は、例えばサーバとして専用される装置であってもよい。この場合、情報処理装置１３は、データセンタなどに設置されてもよいし、家庭内に設置されてもよい。あるいは、情報処理装置１３は、他の機能については端末装置として利用可能であるが、本開示の実施形態に係る機能に関しては入力部２００および出力部４００を実現しない装置であってもよい。以下の例において、情報処理装置１３は、上記のような意味において、サーバであってもよいし、端末装置であってもよい。
　一例として、情報処理装置１１がウェアラブルデバイスであり、情報処理装置１３がウェアラブルデバイスにＢｌｕｅｔｏｏｔｈ（登録商標）などで接続されたモバイルデバイスであるような場合を考える。ウェアラブルデバイスがユーザによる操作入力を受け付け（入力部２００）、当該操作入力に基づいて送信されたリクエストに基づいてモバイルデバイスが処理を実行し（処理部３００）、処理の結果をウェアラブルデバイスから出力する（出力部４００）ような場合、ウェアラブルデバイスは上記の第２の例における情報処理装置１１として、モバイルデバイスは情報処理装置１３として、それぞれ機能しているといえる。
　（第３の例）
　図１５は、本開示の実施形態に係るシステム構成の第３の例を示すブロック図である。図１５を参照すると、システム２は、情報処理装置１１ａ，１１ｂ，１３を含む。入力部２００は、情報処理装置１１ａにおいて実現される。出力部４００は、情報処理装置１１ｂにおいて実現される。また、処理部３００は、情報処理装置１３において実現される。情報処理装置１１ａ，１１ｂと情報処理装置１３とは、本開示の実施形態に係る機能を実現するために、ネットワークを介してそれぞれ通信する。入力部２００と処理部３００との間のインターフェイス２５０ｂおよび処理部３００と出力部４００との間のインターフェイス４５０ｂは、いずれも装置間の通信インターフェイスでありうる。ただし、第３の例では、情報処理装置１１ａと情報処理装置１１ｂとが別個の装置であるために、インターフェイス２５０ｂ，４５０ｂは、それぞれ異なる種類のインターフェイスを含みうる。
　第３の例において、情報処理装置１１ａ，１１ｂは、例えば端末装置でありうる。この場合、入力部２００は、上記の第１の例と同様に、入力装置、センサ、外部サービスから情報を取得するソフトウェアなどを含みうる。出力部４００も、上記の第１の例と同様に、出力装置、制御装置、外部サービスに情報を提供するソフトウェアなどを含みうる。あるいは、情報処理装置１１ａ，１１ｂのうちの一方または両方は、外部サービスからの情報の取得、および外部サービスへの情報の提供のためのサーバであってもよい。この場合、入力部２００は、外部サービスから情報を取得するソフトウェアを含みうる。また、出力部４００は、外部サービスに情報を提供するソフトウェアを含みうる。
　また、第３の例において、情報処理装置１３は、上記の第２の例と同様に、サーバまたは端末装置でありうる。処理部３００は、情報処理装置１３が備えるプロセッサまたは処理回路がメモリまたはストレージ装置に格納されたプログラムに従って動作することによって実現される。
　上記の第３の例では、入力部２００を実現する情報処理装置１１ａと、出力部４００を実現する情報処理装置１１ｂとが別個の装置である。従って、例えば、第１のユーザが所持または使用する端末装置である情報処理装置１１ａによって取得された入力に基づく処理の結果を、第１のユーザとは異なる第２のユーザが所持または使用する端末装置である情報処理装置１１ｂから出力するといったような機能が実現できる。また、第１のユーザが所持または使用する端末装置である情報処理装置１１ａによって取得された入力に基づく処理の結果を、その時点では第１のユーザの手元にない（例えば留守中の自宅に設置されている）端末装置である情報処理装置１１ｂから出力するといったような機能も実現できる。あるいは、情報処理装置１１ａと情報処理装置１１ｂは、いずれも同じユーザによって所持または使用される端末装置であってもよい。例えば、情報処理装置１１ａ，１１ｂが、ユーザの異なる部位に装着されるウェアラブルデバイスである場合や、ウェアラブルデバイスとモバイルデバイスとの組み合わせであるような場合、これらのデバイスを連携させた機能をユーザに提供することができる。
　（第４の例）
　図１６は、本開示の実施形態に係るシステム構成の第４の例を示すブロック図である。図１６を参照すると、システム２は、情報処理装置１１，１３を含む。第４の例において、入力部２００および出力部４００は、情報処理装置１１において実現される。一方、処理部３００は、情報処理装置１１および情報処理装置１３に分散して実現される。情報処理装置１１と情報処理装置１３とは、本開示の実施形態に係る機能を実現するために、ネットワークを介して通信する。
　上記のように、この第４の例では、処理部３００が、情報処理装置１１と情報処理装置１３との間で分散して実現される。より具体的には、処理部３００は、情報処理装置１１で実現される処理部３００ａ，３００ｃと、情報処理装置１３で実現される処理部３００ｂとを含む。処理部３００ａは、入力部２００からインターフェイス２５０ａを介して提供される情報に基づいて処理を実行し、処理の結果を処理部３００ｂに提供する。この意味において、処理部３００ａは、前処理を実行するともいえる。一方、処理部３００ｃは、処理部３００ｂから提供される情報に基づいて処理を実行し、処理の結果をインターフェイス４５０ａを介して出力部４００に提供する。この意味において、処理部３００ｃは、後処理を実行するともいえる。
　なお、図示された例では、前処理を実行する処理部３００ａと後処理を実行する処理部３００ｃとが両方示されているが、実際にはこのうちのいずれか一方だけが存在してもよい。つまり、情報処理装置１１は、前処理を実行する処理部３００ａを実現するが、後処理を実行する処理部３００ｃを実現せず、処理部３００ｂから提供される情報は、そのまま出力部４００に提供されてもよい。同様に、情報処理装置１１は、後処理を実行する処理部３００ｃを実現するが、前処理を実行する処理部３００ａを実現しなくてもよい。
　処理部３００ａと処理部３００ｂとの間、および処理部３００ｂと処理部３００ｃとの間には、それぞれインターフェイス３５０ｂが介在する。インターフェイス３５０ｂは、装置間の通信インターフェイスである。一方、情報処理装置１１が処理部３００ａを実現する場合、インターフェイス２５０ａは、装置内のインターフェイスである。同様に、情報処理装置１１が処理部３００ｃを実現する場合、インターフェイス４５０ａは、装置内のインターフェイスである。
　なお、上述した第４の例は、処理部３００ａまたは処理部３００ｃのうちの一方または両方が情報処理装置１１が備えるプロセッサまたは処理回路によって実現される点を除いては、上記の第２の例と同様である。つまり、情報処理装置１１は、端末装置、または外部サービスとの間で情報をやり取りするためのサーバでありうる。また、情報処理装置１３は、サーバまたは端末装置でありうる。
　（第５の例）
　図１７は、本開示の実施形態に係るシステム構成の第５の例を示すブロック図である。図１７を参照すると、システム２は、情報処理装置１１ａ，１１ｂ，１３を含む。入力部２００は、情報処理装置１１ａにおいて実現される。出力部４００は、情報処理装置１１ｂにおいて実現される。また、処理部３００は、情報処理装置１１ａ，１１ｂおよび情報処理装置１３に分散して実現される。情報処理装置１１ａ，１１ｂと情報処理装置１３とは、本開示の実施形態に係る機能を実現するために、ネットワークを介してそれぞれ通信する。
　図示されているように、この第５の例では、処理部３００が、情報処理装置１１ａ，１１ｂと情報処理装置１３との間で分散して実現される。より具体的には、処理部３００は、情報処理装置１１ａで実現される処理部３００ａと、情報処理装置１３で実現される処理部３００ｂと、情報処理装置１１ｂで実現される処理部３００ｃとを含む。このような処理部３００の分散については、上記の第４の例と同様である。ただし、この第５の例では、情報処理装置１１ａと情報処理装置１１ｂとが別個の装置であるために、インターフェイス３５０ｂ１，３５０ｂ２は、それぞれ異なる種類のインターフェイスを含みうる。
　なお、第５の例は、処理部３００ａまたは処理部３００ｃのうちの一方または両方が情報処理装置１１ａまたは情報処理装置１１ｂが備えるプロセッサまたは処理回路によって実現される点を除いては、上記の第３の例と同様である。つまり、情報処理装置１１ａ，１１ｂは、端末装置、または外部サービスとの間で情報をやり取りするためのサーバでありうる。また、情報処理装置１３は、サーバまたは端末装置でありうる。また、以降の例では、入力部と出力部を有する端末またはサーバにおける処理部は省略して記載するが、いずれの例においても、いずれかまたは全ての装置が処理部を有していてもよい。
　（クライアント－サーバシステムの例）
　図１８は、本開示の実施形態に係るシステム構成のより具体的な例の一つとして、クライアント－サーバシステムを示す図である。図示された例では、情報処理装置１１（または情報処理装置１１ａ，１１ｂ）が端末装置であり、情報処理装置１３がサーバである。
　図示されているように、端末装置には、例えば、スマートフォン、タブレット、もしくはノートＰＣ（Personal　Computer）のようなモバイルデバイス１１－１、アイウェアまたはコンタクトレンズ型端末、腕時計型端末、腕輪型端末、指輪型端末、ヘッドセット、衣服取付型または衣服一体型端末、靴取付型または靴一体型端末、もしくはネックレス型端末のようなウェアラブルデバイス１１－２、カーナビゲーションシステムやリアシートエンターテインメントシステムのような車載デバイス１１－３、テレビ１１－４、デジタルカメラ１１－５、レコーダ、ゲーム機、エアコンディショナー、冷蔵庫、洗濯機、もしくはデスクトップＰＣのようなＣＥ（Consumer　Electronics）デバイス１１－６、ロボット装置、設備に付帯して設置されるセンサなどを含むデバイス、または街頭に設置されるデジタルサインボード（デジタルサイネージ）１１－７などが含まれうる。これらの情報処理装置１１（端末装置）は、ネットワークを介して情報処理装置１３（サーバ）と通信する。端末装置とサーバとの間のネットワークは、上記の例におけるインターフェイス１５０ｂ、インターフェイス２５０ｂ、またはインターフェイス３５０ｂにあたる。さらに、これらの装置は、装置相互間で個別に連係動作してもよいし、すべての装置が連係動作可能なシステムが構築されていてもよい。
　なお、図１８に示した例は、システム２がクライアント－サーバシステムにおいて実現される例を理解しやすくするために示されたものであり、システム２がこのようなクライアント－サーバシステムに限定されないのは、上記のそれぞれの例で説明された通りである。つまり、例えば、情報処理装置１１，１３の両方が端末装置であってもよいし、情報処理装置１１，１３の両方がサーバであってもよい。情報処理装置１１が情報処理装置１１ａ，１１ｂを含む場合、情報処理装置１１ａ，１１ｂのうちの一方が端末装置であり、他方がサーバであってもよい。また、情報処理装置１１が端末装置である場合も、端末装置の例は、上記の端末装置１１－１～１１－７には限られず、他の種類の端末装置が含まれてもよい。
　（分散型システムの例）
　システム２の他の構成例について、図１９を参照して説明する。図１９は、本開示の実施形態に係るシステム構成の他の具体的な例の一つとして、分散型システムを示す図である。図示された例では、情報処理装置１１（または、情報処理装置１１ａ、１１ｂ）がノードであって、これらの情報処理装置１１は、ネットワークを介して互いに接続している。
　図１９に示す分散型システムでは、装置相互間で個別に連携動作したり、データを分散管理したり、処理を分散したりすることが可能である。これにより、処理負担の軽減、リアルタイム性の向上（応答時間や処理速度の向上）、セキュリティの担保を実現することが可能となる。
　また、分散型システムは、分散協調的に機械学習を行うことも可能であって、大量のデータを処理することができる。
　また、図１９に示す分散型システムでは、集中型システムにおけるサーバを必要とせず、互いにデータの監視を行ってその信憑性を確保することも可能である。具体的には、例えば、取引情報（台帳）を参加者全員（各情報処理装置１１）で共有して正当性を厳密に維持することができる（所謂ブロックチェーン）。ブロックチェーンにおいては、参加者全員の台帳を全て改ざんすることは実質的に不可能なため、より確実に信憑性を確保可能となる。また、ブロックチェーンにおいて、過去のブロックに含まれるデータを改ざんする場合、そのブロック以降のブロックに含まれるハッシュ値を全て再計算する必要があるため、処理負荷が高く実質的に不可能であるため、より確実に信憑性を確保可能となる。
　また、ブロックチェーンでは、参加者全員が取引情報を共有し（分散データベース）、かかる分散データベースへの書き込みを特定の合意形成により行うため、特定の参加者による不正を防ぎ、公平性が保たれる。
　（第６の例）
　図２０は、本開示の実施形態に係るシステム構成の第６の例を示すブロック図である。図２０を参照すると、システム２は、情報処理装置１１，１２，１３を含む。入力部２００および出力部４００は、情報処理装置１１において実現される。一方、処理部３００は、情報処理装置１２および情報処理装置１３に分散して実現される。情報処理装置１１と情報処理装置１２、および情報処理装置１２と情報処理装置１３とは、本開示の実施形態に係る機能を実現するために、ネットワークを介してそれぞれ通信する。
　上記のように、この第６の例では、処理部３００が、情報処理装置１２と情報処理装置１３との間で分散して実現される。より具体的には、情報処理装置１２で実現される処理部３００ａ，３００ｃと、情報処理装置１３で実現される処理部３００ｂとを含む。処理部３００ａは、入力部２００からインターフェイス２５０ｂを介して提供される情報に基づいて処理を実行し、処理の結果をインターフェイス３５０ｂを介して処理部３００ｂに提供する。一方、処理部３００ｃは、処理部３００ｂからインターフェイス３５０ｂを介して提供される情報に基づいて処理を実行し、処理の結果をインターフェイス４５０ｂを介して出力部４００に提供する。なお、図示された例では、前処理を実行する処理部３００ａと後処理を実行する処理部３００ｃとが両方示されているが、実際にはこのうちのいずれか一方だけが存在してもよい。
　第６の例において、情報処理装置１２は、情報処理装置１１と情報処理装置１３との間に介在する。より具体的には、例えば、情報処理装置１２は、端末装置である情報処理装置１１と、サーバである情報処理装置１３との間に介在する端末装置またはサーバでありうる。情報処理装置１２が端末装置である例としては、情報処理装置１１がウェアラブルデバイスであり、情報処理装置１２がウェアラブルデバイスとＢｌｕｅｔｏｏｔｈ（登録商標）などで接続されたモバイルデバイスであり、情報処理装置１３がモバイルデバイスとインターネットで接続されたサーバであるような場合がある。また、情報処理装置１２がサーバである例としては、情報処理装置１１が各種の端末装置であり、情報処理装置１２が端末装置とネットワークで接続された中間サーバであり、情報処理装置１３が中間サーバとネットワークで接続されたサーバであるような場合がある。
　（第７の例）
　図２１は、本開示の実施形態に係るシステム構成の第７の例を示すブロック図である。図２１を参照すると、システム２は、情報処理装置１１ａ，１１ｂ，１２，１３を含む。図示された例において、入力部２００は、情報処理装置１１ａにおいて実現される。出力部４００は、情報処理装置１１ｂにおいて実現される。一方、処理部３００は、情報処理装置１２および情報処理装置１３に分散して実現される。情報処理装置１１ａ，１１ｂと情報処理装置１２、および情報処理装置１２と情報処理装置１３とは、本開示の実施形態に係る機能を実現するために、ネットワークを介してそれぞれ通信する。
　この第７の例は、上記の第３の例と第６の例とを組み合わせた例である。つまり、第７の例では、入力部２００を実現する情報処理装置１１ａと、出力部４００を実現する情報処理装置１１ｂとが別個の装置である。より具体的には、この第７の例には、情報処理装置１１ａ，１１ｂが、ユーザの異なる部位に装着されるウェアラブルデバイスであり、情報処理装置１２がこれらのウェアラブルデバイスとＢｌｕｅｔｏｏｔｈ（登録商標）などで接続されたモバイルデバイスであり、情報処理装置１３がモバイルデバイスとインターネットで接続されたサーバであるような場合が含まれる。また、この第７の例には、情報処理装置１１ａ，１１ｂが複数の端末装置（同じユーザによって所持または使用されてもよいし、異なるユーザによって所持または使用されてもよい）であり、情報処理装置１２がそれぞれの端末装置とネットワークで接続された中間サーバであり、情報処理装置１３が中間サーバとネットワークで接続されたサーバであるような場合も含まれる。
　（第８の例）
　図２２は、本開示の実施形態に係るシステム構成の第８の例を示すブロック図である。図２２を参照すると、システム２は、情報処理装置１１，１２ａ，１２ｂ，１３を含む。入力部２００および出力部４００は、情報処理装置１１において実現される。一方、処理部３００は、情報処理装置１２ａ，１２ｂおよび情報処理装置１３に分散して実現される。情報処理装置１１と情報処理装置１２ａ，１２ｂ、および情報処理装置１２ａ，１２ｂと情報処理装置１３とは、本開示の実施形態に係る機能を実現するために、ネットワークを介してそれぞれ通信する。
　この第８の例は、上記の第６の例において、前処理を実行する処理部３００ａと、後処理を実行する処理部３００ｃとが、別個の情報処理装置１２ａ，１２ｂによってそれぞれ実現されるようにした例である。従って、情報処理装置１１および情報処理装置１３については、上記の第６の例と同様である。また、情報処理装置１２ａ，１２ｂは、それぞれ、サーバであってもよいし、端末装置であってもよい。例えば、情報処理装置１２ａ，１２ｂがいずれもサーバである場合、システム２では、処理部３００が、３つのサーバ（情報処理装置１２ａ，１２ｂ，１３）に分散して実現されているともいえる。なお、処理部３００を分散的に実現するサーバの数は、３つには限らず、２つであってもよいし、４つ以上であってもよい。これらの例については、例えばこの第８の例、または次に説明する第９の例から理解することが可能であるため、図示は省略する。
　（第９の例）
　図２３は、本開示の実施形態に係るシステム構成の第９の例を示すブロック図である。図２３を参照すると、システム２は、情報処理装置１１ａ，１１ｂ，１２ａ，１２ｂ，１３を含む。この第９の例において、入力部２００は、情報処理装置１１ａにおいて実現される。出力部４００は、情報処理装置１１ｂにおいて実現される。一方、処理部３００は、情報処理装置１２ａ，１２ｂおよび情報処理装置１３に分散して実現される。情報処理装置１１ａと情報処理装置１２ａ、情報処理装置１１ｂと情報処理装置１２ｂ、および情報処理装置１２ａ，１２ｂと情報処理装置１３とは、本開示の実施形態に係る機能を実現するために、ネットワークを介してそれぞれ通信する。
　この第９の例は、上記の第７の例と第８の例とを組み合わせた例である。つまり、第９の例では、入力部２００を実現する情報処理装置１１ａと、出力部４００を実現する情報処理装置１１ｂとが別個の装置である。情報処理装置１１ａ，１１ｂは、それぞれ別個の中間ノード（情報処理装置１２ａ，１２ｂ）と通信する。従って、この第９の例では、上記の第８の例と同様に処理部３００が３つのサーバ（情報処理装置１２ａ，１２ｂ，１３）に分散して実現されるとともに、同じユーザによって所持または使用される、または異なるユーザによって所持または使用される端末装置でありうる情報処理装置１１ａ，１１ｂを利用して、本開示の実施形態に係る機能を実現することができる。
　（中間サーバを含むシステムの例）
　図２４は、本開示の実施形態に係るシステム構成のより具体的な例の一つとして、中間サーバを含むシステムの例を示す図である。図示された例では、情報処理装置１１（または情報処理装置１１ａ，１１ｂ）が端末装置であり、情報処理装置１２が中間サーバであり、情報処理装置１３がサーバである。
　上記で図１８を参照して説明した例と同様に、端末装置には、モバイルデバイス１１－１、ウェアラブルデバイス１１－２、車載デバイス１１－３、テレビ１１－４、デジタルカメラ１１－５、ＣＥデバイス１１－６、ロボットデバイス、またはサインボード１１－７などが含まれうる。これらの情報処理装置１１（端末装置）は、ネットワークを介して情報処理装置１２（中間サーバ）と通信する。端末装置と中間サーバとの間のネットワークは、上記の例におけるインターフェイス２５０ｂ，４５０ｂにあたる。また、情報処理装置１２（中間サーバ）は、ネットワークを介して情報処理装置１３（サーバ）と通信する。中間サーバとサーバとの間のネットワークは、上記の例におけるインターフェイス３５０ｂにあたる。
　なお、図２４に示した例は、システム２が中間サーバを含むシステムにおいて実現される例を理解しやすくするために示されたものであり、システム２がこのようなシステムに限定されないのは、上記のそれぞれの例で説明された通りである。
　（ホストとして機能する端末装置を含むシステムの例）
　図２５は、本開示の実施形態に係るシステム構成のより具体的な例の一つとして、ホストとして機能する端末装置を含むシステムの例を示す図である。図示された例では、情報処理装置１１（または情報処理装置１１ａ，１１ｂ）が端末装置であり、情報処理装置１２がホストとして機能する端末装置であり、情報処理装置１３がサーバである。
　図示された例において、端末装置には、例えば、ウェアラブルデバイス１１－２、車載デバイス１１－３、デジタルカメラ１１－５、ロボットデバイス、設備に付帯して設置されるセンサなどを含むデバイス、およびＣＥデバイス１１－６が含まれうる。これらの情報処理装置１１（端末装置）は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉのようなネットワークを介して情報処理装置１２と通信する。図では、ホストとして機能する端末装置として、モバイルデバイス１２－１を例示している。端末装置とモバイルデバイスとの間のネットワークは、上記の例におけるインターフェイス２５０ｂ，４５０ｂにあたる。情報処理装置１２（モバイルデバイス）は、例えばインターネットなどのネットワークを介して情報処理装置１３（サーバ）と通信する。モバイルデバイスとサーバとの間のネットワークは、上記の例におけるインターフェイス３５０ｂにあたる。
　なお、図２５に示した例は、システム２がホストとして機能する端末装置を含むシステムにおいて実現される例を理解しやすくするために示されたものであり、システム２がこのようなシステムに限定されないのは、上記のそれぞれの例で説明された通りである。また、ホストとして機能する端末装置は、図示された例におけるモバイルデバイス１２－１には限られず、適切な通信機能および処理機能を有する各種の端末装置が、ホストとして機能しうる。また、端末装置の例として図示したウェアラブルデバイス１１－２、車載デバイス１１－３、デジタルカメラ１１－５、およびＣＥデバイス１１－６は、これらの装置以外の端末装置をこの例から除外するものではなく、情報処理装置１２がモバイルデバイス１２－１である場合の情報処理装置１１としてありうる典型的な端末装置の例を示しているにすぎない。
　（エッジサーバを含むシステムの例）
　図２６は、本開示の実施形態に係るシステム構成のより具体的な例の一つとして、エッジサーバを含むシステムの例を示す図である。図示された例では、情報処理装置１１（または情報処理装置１１ａ、１１ｂ）が端末装置であり、情報処理装置１２がエッジサーバであり、情報処理装置１３がサーバである。
　上記で図１８を参照して説明した例と同様に、端末装置には、モバイルデバイス１１－１、ウェアラブルデバイス１１－２、車載デバイス１１－３、テレビ１１－４、デジタルカメラ１１－５、ＣＥデバイス１１－６、ロボットデバイス、またはサインボード１１－７などが含まれうる。これらの情報処理装置１１（端末装置）は、ネットワークを介して情報処理装置１２（エッジサーバ１２－２）と通信する。端末装置とエッジサーバとの間のネットワークは、上記の例におけるインターフェイス２５０ｂ，４５０ｂにあたる。情報処理装置１２（エッジサーバ）は、例えばインターネットなどのネットワークを介して情報処理装置１３（サーバ）と通信する。エッジサーバとサーバとの間のネットワークは、上記の例におけるインターフェイス３５０ｂにあたる。
　図２６に示す例では、サーバ１３よりも端末装置（情報処理装置１１）の近くにエッジサーバ１２－２（例えば、エッジサーバ１２－２ａ～１２－２ｄ）を分散させることで、通信遅延の短縮、処理の高速化、およびリアルタイム性の向上を実現し得る。
　なお、図２６に示した例は、システム２がエッジサーバを含むシステムにおいて実現される例を理解しやすくするために示されたものであり、システム２がこのようなシステムに限定されないのは、上記のそれぞれの例で説明された通りである。
　（フォグコンピューティングを含むシステムの例）
　図２７は、本開示の実施形態に係るシステム構成のより具体的な例の一つとして、フォグコンピューティングを含むシステムの例を示す図である。図示された例では、情報処理装置１１（または情報処理装置１１ａ、１１ｂ）が端末装置であり、情報処理装置１２がフォグコンピューティングであり、情報処理装置１３がサーバである。
　上記で図１８を参照して説明した例と同様に、端末装置には、モバイルデバイス１１－１、ウェアラブルデバイス１１－２、車載デバイス１１－３、テレビ１１－４、デジタルカメラ１１－５、ＣＥデバイス１１－６、ロボットデバイス、またはサインボード１１－７などが含まれうる。これらの情報処理装置１１（端末装置）は、ネットワークを介して情報処理装置１２（フォグコンピューティング１２－３）と通信する。端末装置とフォグコンピューティングとの間のネットワークは、上記の例におけるインターフェイス２５０ｂ，４５０ｂにあたる。情報処理装置１２（フォグコンピューティング）は、例えばインターネットなどのネットワークを介して情報処理装置１３（サーバ）と通信する。フォグコンピューティングとサーバとの間のネットワークは、上記の例におけるインターフェイス３５０ｂにあたる。
　フォグコンピューティング１２－３は、クラウドとデバイスの間にある分散処理環境で、クラウド（サーバ１３）よりデバイス（情報処理装置１１）に近い位置に広く分散している。具体的には、フォグコンピューティング１２－３は、処理のためのコンピューティングリソースを分野別や地域別に分散化して最適に配置する仕組みによりエッジコンピューティングを包含したシステム構成となる。
　図２７に示す例では、一例として、フォグコンピューティング１２－３として、モバイルデバイス１１－１のデータ管理および処理を行うモビリティフォグ１２－３ａ、ウェアラブルデバイス１１－２のデータ管理および処理を行うウェアラブルフォグ１２－３ｂ、車載デバイス１１－３のデータ管理および処理を行う車載デバイスフォグ１２－３ｃ、テレビ１１－４のデータ管理および処理を行うテレビ端末フォグ１２－３ｄ、デジタルカメラ１１－５のデータ管理および処理を行うカメラ端末フォグ１２－３ｅ、ＣＥデバイス１１－６のデータ管理および処理を行うＣＥフォグ１２－３ｆ、サインボード１１－７のデータ管理および処理を行うサインボードフォグ１２－３ｇが想定される。各フォグ同士でのデータ流通も行われ得る。
　フォグコンピューティングでは、コンピューティングリソースをデバイスに近い位置で分散し、データ管理や蓄積、変換等の各種処理を行うことができ、通信遅延の短縮、処理の高速化、およびリアルタイム性の向上を実現し得る。
　なお、図２７に示した例は、システム２がフォグコンピューティングを含むシステムにおいて実現される例を理解しやすくするために示されたものであり、システム２がこのようなシステムに限定されないのは、上記のそれぞれの例で説明された通りである。
　（第１０の例）
　図２８は、本開示の実施形態に係るシステム構成の第１０の例を示すブロック図である。図２８を参照すると、システム２は、情報処理装置１１ａ，１２ａ，１３を含む。この第１０の例において、入力部２００は、情報処理装置１１ａにおいて実現される。また、処理部３００は、情報処理装置１２ａおよび情報処理装置１３に分散して実現される。出力部４００は、情報処理装置１３において実現される。情報処理装置１１ａと情報処理装置１２ａ、および情報処理装置１２ａと情報処理装置１３とは、本開示の実施形態に係る機能を実現するために、ネットワークを介してそれぞれ通信する。
　この第１０の例は、上記の第９の例において、情報処理装置１１ｂ，１２ｂが情報処理装置１３に取り込まれた例である。つまり、第１０の例では、入力部２００を実現する情報処理装置１１ａ、および処理部３００ａを実現する情報処理装置１２ａはそれぞれが独立した装置であるが、処理部３００ｂと出力部４００とは、同じ情報処理装置１３によって実現される。
　第１０の例によって、例えば、端末装置である情報処理装置１１ａにおいて入力部２００によって取得された情報が、中間的な端末装置またはサーバである情報処理装置１２ａでの処理部３００ａによる処理を経て、サーバまたは端末である情報処理装置１３に提供され、処理部３００ｂによる処理を経て出力部４００から出力される、といったような構成が実現される。なお、情報処理装置１２ａによる中間的な処理は、省略されてもよい。このような構成は、例えば、情報処理装置１１ａから提供される情報に基づいて、サーバまたは情報処理装置１３にて所定の処理を実行した上で、処理結果をサーバまたは情報処理装置１３において蓄積または出力するようなサービスにおいて採用されうる。蓄積された処理結果は、例えば別のサービスによって利用されうる。
　（第１１の例）
　図２９は、本開示の実施形態に係るシステム構成の第１１の例を示すブロック図である。図２９を参照すると、システム２は、情報処理装置１１ｂ，１２ｂ，１３を含む。この第１１の例において、入力部２００は、情報処理装置１３において実現される。また、処理部３００は、情報処理装置１３および情報処理装置１２ｂに分散して実現される。出力部４００は、情報処理装置１１ｂにおいて実現される。情報処理装置１３と情報処理装置１２ｂ、および情報処理装置１２ｂと情報処理装置１１ｂとは、本開示の実施形態に係る機能を実現するために、ネットワークを介してそれぞれ通信する。
　この第１１の例は、上記の第９の例において、情報処理装置１１ａ，１２ａが情報処理装置１３に取り込まれた例である。つまり、第１１の例では、出力部４００を実現する情報処理装置１１ｂ、および処理部３００ｃを実現する情報処理装置１２ｂはそれぞれが独立した装置であるが、入力部２００と処理部３００ｂとは、同じ情報処理装置１３によって実現される。
　第１１の例によって、例えば、サーバまたは端末装置である情報処理装置１３において入力部２００によって取得された情報が、処理部３００ｂによる処理を経て、中間的な端末装置またはサーバである情報処理装置１２ｂに提供され、処理部３００ｃによる処理を経て、端末装置である情報処理装置１１ｂにおいて出力部４００から出力される、といったような構成が実現される。なお、情報処理装置１２ｂによる中間的な処理は、省略されてもよい。このような構成は、例えば、サーバまたは情報処理装置１３において取得された情報に基づいて、サーバまたは情報処理装置１３にて所定の処理を実行した上で、処理結果を情報処理装置１１ｂに提供するようなサービスにおいて採用されうる。取得される情報は、例えば別のサービスによって提供されうる。
［４－６．その他］
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、検出部１４１と通知部１４２は統合されてもよい。
　また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
（５．本開示に係る情報処理装置の効果）
　上述のように、本開示に係る情報処理装置（実施形態では情報処理装置１００等）は、制御部（実施形態では制御部１４０）を備える。制御部は、制御部は、機器（実施形態では家電１０等）の稼働状況を示した情報をセンシング情報として検出する。また、制御部は、センシング情報が検出された場合に、センシング情報に対応する応答内容が記憶された記憶部（実施形態では記憶部１３０等）を参照し、機器の稼働状況をユーザに通知するか否かを判定する。
　このように、情報処理装置は、検出したセンシング情報に関連する機器の稼働状況をユーザに通知するか否かを判定することで、ユーザが複数の機器を利用する際に、煩わしい状況を生じさせず、必要な情報のみをユーザに通知することができる。これにより、情報処理装置は、ユーザの利便性を損なわせず、かつ、複数の家電を円滑に運用することができる。
　また、制御部は、センシング情報として、機器が稼働状況を通知するために発する通知音を検出し、通知音が検出された場合に、当該通知音に対応する応答内容が記憶された記憶部を参照し、当該機器の稼働状況をユーザに通知するか否かを判定する。これにより、情報処理装置は、機器が発する通知音に関する稼働状況について、ユーザに通知するか否かを判定することができる。
　また、制御部は、機器の稼働状況をユーザに通知したのちに当該ユーザから受け付けた反応に基づいて、記憶部に格納されたセンシング情報に対応する応答内容を更新する。これにより、情報処理装置は、ユーザの要望に合わせて、当該ユーザに通知する内容を更新することができる。
　また、制御部は、ユーザから受け付けた反応に基づいて、検出されたセンシング情報に対応する機器の稼働状況をユーザに通知するか否かを示した設定を更新する。これにより、情報処理装置は、ユーザの要望に合わせて、通知に係る判定基準を適切に更新することができる。
　また、制御部は、ユーザから受け付けた音声を認識し、音声認識の結果に応じたユーザの反応に基づいて、検出されたセンシング情報に対応する機器の稼働状況をユーザに通知するか否かを示した設定を更新する。これにより、情報処理装置は、ユーザからキー操作等の入力操作を受け付けずとも、ユーザの音声に基づいて応答内容を更新することができる。
　また、制御部は、機器の稼働状況をユーザに通知する場合に、稼働状況と合わせて、当該機器が設置された場所に関する情報をユーザに通知する。これにより、情報処理装置は、どのような場所に設置された機器が通知音を発信しているか等の詳細な情報をユーザに通知することができる。
　また、制御部は、センシング情報に対応する機器を画像認識により識別し、識別した機器の情報とともに、当該機器の稼働状況をユーザに通知する。これにより、情報処理装置は、どの機器が通知音を発信したかといった詳細な情報をユーザに通知することができる。
　また、制御部は、機器の稼働状況とともに、機器の種別、当該機器の名称又は当該機器が設置された場所の少なくとも一つをユーザに通知する。これにより、情報処理装置は、どのような機器が通知音を発信したかといった詳細な情報をユーザに通知することができる。
　また、制御部は、ユーザの所在する位置を検出し、ユーザの所在位置と、センシング情報に対応する機器との位置関係に基づいて、当該機器の稼働状況をユーザに通知するか否かを判定する。これにより、情報処理装置は、近傍に位置するユーザのみに通知をすることができるので、ユーザに煩わしさを感じさせない通知を行うことができる。
　また、制御部は、ユーザの所在する位置を検出し、ユーザの所在位置と、センシング情報に対応する機器が設置された位置との距離に基づいて、当該機器の稼働状況をユーザに通知するか否かを判定する。これにより、情報処理装置は、家電の傍にいるユーザには通知しないなど、状況に合わせた適切な通知を行うことができる。
　また、制御部は、機器が稼働状況を示した情報を発したタイミング、もしくは、当該機器が稼働状況を示した情報をセンシング情報として検出したタイミングにおける、当該ユーザの顔もしくは身体の向きに応じて、当該機器の稼働状況をユーザに通知するか否かを判定する。これにより、情報処理装置は、ユーザが家電から発した音を認識しているかといった、音が発せられた際の実情に合わせて通知を行うか否かを判定することができる。
　また、制御部は、情報処理装置の近傍に所在するユーザの属性を検出し、検出されたユーザの属性に応じて、機器の稼働状況をユーザに通知するか否かを判定する。これにより、情報処理装置は、大人のユーザだけに通知し、子どものユーザには通知しないなど、詳細なユーザの要望に合わせた通知を行うことができる。
　また、制御部は、機器の稼働状況をユーザに通知する場合に、当該機器の稼働状況と合わせて、センシング情報に予めラベル付けされた情報をユーザに通知する。これにより、情報処理装置は、機器の稼働状況をより詳細に通知することができる。
　また、制御部は、センシング情報として当該機器の稼働状況が異常であることを示す異常音を検出した場合、当該機器の稼働状況とともに、異常音を検出した旨を示す情報をユーザに通知する。これにより、情報処理装置は、機器に異常な事態が発生したことを的確にユーザに通知することができる。
　また、制御部は、センシング情報として、機器の周辺で観測された光、温度、湿度、臭気、振動、二酸化炭素濃度の少なくともいずれかの情報を検出する。これにより、情報処理装置は、通知音以外であっても、機器の稼働に関する情報をユーザに的確に通知することができる。
（６．ハードウェア構成）
　上述してきた各実施形態に係る情報処理装置１００等の情報処理装置は、例えば図３０に示すような構成のコンピュータ１０００によって実現される。以下、第１の実施形態に係る情報処理装置１００を例に挙げて説明する。図３０は、情報処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス、リモートコントローラ等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が第１の実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１４０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１３０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　機器の稼働状況を示した情報をセンシング情報として検出する処理と、
　前記センシング情報が検出された場合に、当該センシング情報に対応する応答内容が記憶された記憶部を参照し、前記機器の稼働状況をユーザに通知するか否かを判定する処理と、
　を実行する制御部を備えた情報処理装置。
（２）
　前記制御部は、
　前記センシング情報として、前記機器が稼働状況を通知するために発する通知音を検出し、
　前記通知音が検出された場合に、当該通知音に対応する応答内容が記憶された記憶部を参照し、前記機器の稼働状況を前記ユーザに通知するか否かを判定する
　前記（１）に記載の情報処理装置。
（３）
　前記制御部は、
　前記機器の稼働状況を前記ユーザに通知したのちに当該ユーザから受け付けた反応に基づいて、前記記憶部に格納された前記センシング情報に対応する応答内容を更新する
　前記（１）又は（２）に記載の情報処理装置。
（４）
　前記制御部は、
　前記ユーザから受け付けた反応に基づいて、前記検出されたセンシング情報に対応する機器の稼働状況を当該ユーザに通知するか否かを示した設定を更新する
　前記（３）に記載の情報処理装置。
（５）
　前記制御部は、
　前記ユーザから受け付けた音声を認識し、音声認識の結果に応じたユーザの反応に基づいて、前記検出されたセンシング情報に対応する機器の稼働状況を当該ユーザに通知するか否かを示した設定を更新する
　前記（３）又は（４）に記載の情報処理装置。
（６）
　前記制御部は、
　前記機器の稼働状況を前記ユーザに通知する場合に、稼働状況と合わせて、当該機器が設置された場所に関する情報を当該ユーザに通知する
　前記（１）～（５）のいずれかに記載の情報処理装置。
（７）
　前記制御部は、
　前記センシング情報に対応する機器を画像認識により識別し、識別した機器の情報とともに、当該機器の稼働状況を前記ユーザに通知する
　前記（１）～（６）のいずれかに記載の情報処理装置。
（８）
　前記制御部は、
　前記機器の稼働状況とともに、当該機器の種別、当該機器の名称又は当該機器が設置された場所の少なくとも一つを前記ユーザに通知する
　前記（７）に記載の情報処理装置。
（９）
　前記制御部は、
　前記ユーザの所在する位置を検出し、当該ユーザの所在位置と、前記センシング情報に対応する機器との位置関係に基づいて、当該機器の稼働状況を当該ユーザに通知するか否かを判定する
　前記（１）～（８）のいずれかに記載の情報処理装置。
（１０）
　前記制御部は、
　前記ユーザの所在する位置を検出し、当該ユーザの所在位置と、前記センシング情報に対応する機器が設置された位置との距離に基づいて、当該機器の稼働状況を当該ユーザに通知するか否かを判定する
　前記（９）に記載の情報処理装置。
（１１）
　前記制御部は、
　前記機器が稼働状況を示した情報を発したタイミング、もしくは、当該機器の稼働状況を示した情報をセンシング情報として検出したタイミングにおける、前記ユーザの顔もしくは身体の向きに応じて、当該機器の稼働状況を当該ユーザに通知するか否かを判定する
　前記（９）又は（１０）に記載の情報処理装置。
（１２）
　前記制御部は、
　前記情報処理装置の近傍に所在するユーザの属性を検出し、検出された当該ユーザの属性に応じて、前記機器の稼働状況を当該ユーザに通知するか否かを判定する
　前記（９）～（１１）のいずれかに記載の情報処理装置。
（１３）
　前記制御部は、
　前記機器の稼働状況を前記ユーザに通知する場合に、当該機器の稼働状況と合わせて、前記センシング情報に予めラベル付けされた情報を当該ユーザに通知する
　前記（１）～（１２）のいずれかに記載の情報処理装置。
（１４）
　前記制御部は、
　前記センシング情報として前記機器の稼働状況が異常であることを示す異常音を検出した場合、当該機器の稼働状況とともに、異常音を検出した旨を示す情報を前記ユーザに通知する
　前記（１）～（１３）のいずれかに記載の情報処理装置。
（１５）
　前記制御部は、
　前記センシング情報として、前記機器の周辺で観測された光、温度、湿度、臭気、振動、二酸化炭素濃度の少なくともいずれかの情報を検出する
　前記（１）～（１４）のいずれかに記載の情報処理装置。
（１６）
　前記制御部は、
　表示部への通知の表示を制御する
　前記（１）～（１５）のいずれかに記載の情報処理装置。
（１７）
　前記制御部は、
　前記情報処理装置の使用状況を取得し、
　前記使用状況に基づいて通知の出力を制御する
　前記（１）～（１６）のいずれかに記載の情報処理装置。
（１８）
　前記使用状況は、
　前記情報処理装置が出力するコンテンツに関する情報を含む
　前記（１７）に記載の情報処理装置。
（１９）
　情報処理装置が実行する情報処理方法であって、
　機器の稼働状況を示した情報をセンシング情報として検出する処理と、
　前記センシング情報が検出された場合に、当該センシング情報に対応する応答内容が記憶された記憶部を参照し、当該機器の稼働状況をユーザに通知するか否かを判定する処理と、
　を含んだ情報処理方法。
（２０）
　情報処理装置に、
　機器の稼働状況を示した情報をセンシング情報として検出する処理と、
　前記センシング情報が検出された場合に、当該センシング情報に対応する応答内容が記憶された記憶部を参照し、当該機器の稼働状況をユーザに通知するか否かを判定する処理と、
　を実行させるよう機能する情報処理プログラム。
　１　情報処理システム
　１０　家電
　１００　情報処理装置
　１２０　センサ
　１２０Ａ　音声入力センサ
　１２０Ｂ　画像入力センサ
　１２１　入力部
　１２２　通信部
　１３０　記憶部
　１３１　応答内容テーブル
　１３２　機器情報テーブル
　１３３　一時記憶領域
　１３４　ユーザ情報テーブル
　１４０　制御部
　１４１　検出部
　１４２　通知部
　１４３　ＵＩ部

Claims (20)

  1. 　機器の稼働状況を示した情報をセンシング情報として検出する処理と、
    　前記センシング情報が検出された場合に、当該センシング情報に対応する応答内容が記憶された記憶部を参照し、前記機器の稼働状況をユーザに通知するか否かを判定する処理と、
    　を実行する制御部を備えた情報処理装置。
  2. 　前記制御部は、
    　前記センシング情報として、前記機器が稼働状況を通知するために発する通知音を検出し、
    　前記通知音が検出された場合に、当該通知音に対応する応答内容が記憶された記憶部を参照し、前記機器の稼働状況を前記ユーザに通知するか否かを判定する
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、
    　前記機器の稼働状況を前記ユーザに通知したのちに当該ユーザから受け付けた反応に基づいて、前記記憶部に格納された前記センシング情報に対応する応答内容を更新する
    　請求項１に記載の情報処理装置。
  4. 　前記制御部は、
    　前記ユーザから受け付けた反応に基づいて、前記検出されたセンシング情報に対応する機器の稼働状況を当該ユーザに通知するか否かを示した設定を更新する
    　請求項３に記載の情報処理装置。
  5. 　前記制御部は、
    　前記ユーザから受け付けた音声を認識し、音声認識の結果に応じたユーザの反応に基づいて、前記検出されたセンシング情報に対応する機器の稼働状況を当該ユーザに通知するか否かを示した設定を更新する
    　請求項３に記載の情報処理装置。
  6. 　前記制御部は、
    　前記機器の稼働状況を前記ユーザに通知する場合に、稼働状況と合わせて、当該機器が設置された場所に関する情報を当該ユーザに通知する
    　請求項１に記載の情報処理装置。
  7. 　前記制御部は、
    　前記センシング情報に対応する機器を画像認識により識別し、識別した機器の情報とともに、当該機器の稼働状況を前記ユーザに通知する
    　請求項１に記載の情報処理装置。
  8. 　前記制御部は、
    　前記機器の稼働状況とともに、当該機器の種別、当該機器の名称又は当該機器が設置された場所の少なくとも一つを前記ユーザに通知する
    　請求項７に記載の情報処理装置。
  9. 　前記制御部は、
    　前記ユーザの所在する位置を検出し、当該ユーザの所在位置と、前記センシング情報に対応する機器との位置関係に基づいて、当該機器の稼働状況を当該ユーザに通知するか否かを判定する
    　請求項１に記載の情報処理装置。
  10. 　前記制御部は、
    　前記ユーザの所在する位置を検出し、当該ユーザの所在位置と、前記センシング情報に対応する機器が設置された位置との距離に基づいて、当該機器の稼働状況を当該ユーザに通知するか否かを判定する
    　請求項９に記載の情報処理装置。
  11. 　前記制御部は、
    　前記機器が稼働状況を示した情報を発したタイミング、もしくは、当該機器の稼働状況を示した情報をセンシング情報として検出したタイミングにおける、前記ユーザの顔もしくは身体の向きに応じて、当該機器の稼働状況を当該ユーザに通知するか否かを判定する
    　請求項９に記載の情報処理装置。
  12. 　前記制御部は、
    　前記情報処理装置の近傍に所在するユーザの属性を検出し、検出された当該ユーザの属性に応じて、前記機器の稼働状況を当該ユーザに通知するか否かを判定する
    　請求項９に記載の情報処理装置。
  13. 　前記制御部は、
    　前記機器の稼働状況を前記ユーザに通知する場合に、当該機器の稼働状況と合わせて、前記センシング情報に予めラベル付けされた情報を当該ユーザに通知する
    　請求項１に記載の情報処理装置。
  14. 　前記制御部は、
    　前記センシング情報として前記機器の稼働状況が異常であることを示す異常音を検出した場合、当該機器の稼働状況とともに、異常音を検出した旨を示す情報を前記ユーザに通知する
    　請求項１に記載の情報処理装置。
  15. 　前記制御部は、
    　前記センシング情報として、前記機器の周辺で観測された光、温度、湿度、臭気、振動、二酸化炭素濃度の少なくともいずれかの情報を検出する
    　請求項１に記載の情報処理装置。
  16. 　前記制御部は、
    　表示部への通知の表示を制御する
    　請求項１に記載の情報処理装置。
  17. 　前記制御部は、
    　前記情報処理装置の使用状況を取得し、
    　前記使用状況に基づいて通知の出力を制御する
    　請求項１に記載の情報処理装置。
  18. 　前記使用状況は、
    　前記情報処理装置が出力するコンテンツに関する情報を含む
    　請求項１７に記載の情報処理装置。
  19. 　情報処理装置が実行する情報処理方法であって、
    　機器の稼働状況を示した情報をセンシング情報として検出する処理と、
    　前記センシング情報が検出された場合に、当該センシング情報に対応する応答内容が記憶された記憶部を参照し、前記機器の稼働状況をユーザに通知するか否かを判定する処理と、
    　を含んだ情報処理方法。
  20. 　情報処理装置に、
    　機器の稼働状況を示した情報をセンシング情報として検出する処理と、
    　前記センシング情報が検出された場合に、当該センシング情報に対応する応答内容が記憶された記憶部を参照し、前記機器の稼働状況をユーザに通知するか否かを判定する処理と、
    　を実行させるよう機能する情報処理プログラム。
PCT/JP2020/010505 2019-03-26 2020-03-11 情報処理装置、情報処理方法、情報処理プログラム WO2020195821A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20776886.2A EP3952320A4 (en) 2019-03-26 2020-03-11 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING PROGRAM
US17/593,277 US20220351600A1 (en) 2019-03-26 2020-03-11 Information processing apparatus, information processing method, and information processing program
CN202080021543.5A CN113574906A (zh) 2019-03-26 2020-03-11 信息处理设备、信息处理方法和信息处理程序
JP2021508996A JPWO2020195821A1 (ja) 2019-03-26 2020-03-11

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-059279 2019-03-26
JP2019059279 2019-03-26

Publications (1)

Publication Number Publication Date
WO2020195821A1 true WO2020195821A1 (ja) 2020-10-01

Family

ID=72611391

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/010505 WO2020195821A1 (ja) 2019-03-26 2020-03-11 情報処理装置、情報処理方法、情報処理プログラム

Country Status (5)

Country Link
US (1) US20220351600A1 (ja)
EP (1) EP3952320A4 (ja)
JP (1) JPWO2020195821A1 (ja)
CN (1) CN113574906A (ja)
WO (1) WO2020195821A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022079952A1 (ja) * 2020-10-16 2022-04-21
JPWO2022079953A1 (ja) * 2020-10-16 2022-04-21

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020070888A1 (ja) * 2018-10-05 2020-04-09 三菱電機株式会社 音声操作支援システム、音声操作システム、音声処理装置、音声操作支援装置、音声操作支援方法及びプログラム
US20220068057A1 (en) * 2020-12-17 2022-03-03 General Electric Company Cloud-based acoustic monitoring, analysis, and diagnostic for power generation system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05274317A (ja) 1992-03-24 1993-10-22 Misawa Homes Co Ltd ホームオートメーションシステム
JP2005051376A (ja) * 2003-07-31 2005-02-24 Hitachi Ltd 家電機器制御装置及び制御プログラム
JP2013149252A (ja) 2012-01-17 2013-08-01 Lg Electronics Inc 家電機器、家電機器診断装置、及びその方法
JP2015153379A (ja) * 2014-02-19 2015-08-24 ソニー株式会社 情報通知装置及び情報通知方法、並びに情報受信装置及び情報受信方法
JP2016076799A (ja) * 2014-10-03 2016-05-12 シャープ株式会社 家電管理システム、家電、リモコン装置、ロボット
JP2018170744A (ja) * 2017-03-30 2018-11-01 株式会社エヌ・ティ・ティ・データ リモコン制御システム、リモコン制御方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4525271B2 (ja) * 2004-09-22 2010-08-18 富士ゼロックス株式会社 画像処理装置および異常報知方法
WO2015107681A1 (ja) * 2014-01-17 2015-07-23 任天堂株式会社 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
US20180158288A1 (en) * 2014-04-10 2018-06-07 Twin Harbor Labs Llc Methods and apparatus for notifying a user of the operating condition of a household appliance
JP6551342B2 (ja) * 2016-08-30 2019-07-31 京セラドキュメントソリューションズ株式会社 画像処理装置及び画像処理装置の制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05274317A (ja) 1992-03-24 1993-10-22 Misawa Homes Co Ltd ホームオートメーションシステム
JP2005051376A (ja) * 2003-07-31 2005-02-24 Hitachi Ltd 家電機器制御装置及び制御プログラム
JP2013149252A (ja) 2012-01-17 2013-08-01 Lg Electronics Inc 家電機器、家電機器診断装置、及びその方法
JP2015153379A (ja) * 2014-02-19 2015-08-24 ソニー株式会社 情報通知装置及び情報通知方法、並びに情報受信装置及び情報受信方法
JP2016076799A (ja) * 2014-10-03 2016-05-12 シャープ株式会社 家電管理システム、家電、リモコン装置、ロボット
JP2018170744A (ja) * 2017-03-30 2018-11-01 株式会社エヌ・ティ・ティ・データ リモコン制御システム、リモコン制御方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3952320A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022079952A1 (ja) * 2020-10-16 2022-04-21
WO2022079952A1 (ja) * 2020-10-16 2022-04-21 パナソニックＩｐマネジメント株式会社 通知制御装置、通知制御システム、および、通知制御方法
JPWO2022079953A1 (ja) * 2020-10-16 2022-04-21
WO2022079953A1 (ja) * 2020-10-16 2022-04-21 パナソニックＩｐマネジメント株式会社 通知制御装置、通知制御システム、および、通知制御方法
JP7249610B2 (ja) 2020-10-16 2023-03-31 パナソニックＩｐマネジメント株式会社 通知制御装置、通知制御システム、および、通知制御方法
JP7249605B2 (ja) 2020-10-16 2023-03-31 パナソニックＩｐマネジメント株式会社 通知制御装置、通知制御システム、および、通知制御方法
EP4231658A4 (en) * 2020-10-16 2024-03-27 Panasonic Ip Man Co Ltd NOTIFICATION CONTROL APPARATUS, NOTIFICATION CONTROL SYSTEM, AND NOTIFICATION CONTROL METHOD

Also Published As

Publication number Publication date
EP3952320A1 (en) 2022-02-09
US20220351600A1 (en) 2022-11-03
EP3952320A4 (en) 2022-06-15
JPWO2020195821A1 (ja) 2020-10-01
CN113574906A (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
WO2020195821A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム
US10439918B1 (en) Routing messages to user devices
US11532181B2 (en) Provision of targeted advertisements based on user intent, emotion and context
CN106663245B (zh) 社交提醒
US11356512B2 (en) Method and device for controlling home device
JP2018190413A (ja) ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム
CN105075278A (zh) 基于环境感测提供建议
US11875776B2 (en) Response generating apparatus, response generating method, and response generating program
US10911450B2 (en) Augmented reality service negotiation
KR20160035753A (ko) 메시지 자동 생성 방법 및 장치
CN112805739A (zh) 电子设备及其控制方法
WO2020116026A1 (ja) 応答処理装置、応答処理方法及び応答処理プログラム
JP6767322B2 (ja) 出力制御装置、出力制御方法及び出力制御プログラム
JP5255957B2 (ja) 注目度測定可視化システム
JP7452524B2 (ja) 情報処理装置、及び情報処理方法
JPWO2020149031A1 (ja) 応答処理装置及び応答処理方法
WO2017154283A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2020158504A1 (ja) 情報機器、情報処理方法、情報処理プログラム、制御装置、制御方法及び制御プログラム
KR102192027B1 (ko) 추론 엔진 기반 콘텐츠 제공 방법 및 이를 사용하는 전자 장치
JP6688820B2 (ja) 出力装置、出力方法、および出力プログラム
KR20220030136A (ko) 스트리밍 매니저를 포함하는 콘텐츠 스트리밍 시스템
KR20220030137A (ko) 테넌트 사용자 관리 모듈을 포함하는 콘텐츠 스트리밍 시스템
KR20220030138A (ko) 콘텐츠 스토리지 관리 모듈을 포함하는 콘텐츠 스트리밍 시스템
KR20220030140A (ko) 비디오 콘텐츠 관리 모듈을 포함하는 콘텐츠 스트리밍 시스템
KR20220030139A (ko) 대시보드 관리 모듈을 포함하는 콘텐츠 스트리밍 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20776886

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021508996

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020776886

Country of ref document: EP

Effective date: 20211026