WO2015029362A1 - 機器制御方法及び機器制御システム - Google Patents

機器制御方法及び機器制御システム Download PDF

Info

Publication number
WO2015029362A1
WO2015029362A1 PCT/JP2014/004200 JP2014004200W WO2015029362A1 WO 2015029362 A1 WO2015029362 A1 WO 2015029362A1 JP 2014004200 W JP2014004200 W JP 2014004200W WO 2015029362 A1 WO2015029362 A1 WO 2015029362A1
Authority
WO
WIPO (PCT)
Prior art keywords
environmental sound
time
devices
database
driving
Prior art date
Application number
PCT/JP2014/004200
Other languages
English (en)
French (fr)
Inventor
美沙貴 辻川
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to JP2015533966A priority Critical patent/JP6466844B2/ja
Publication of WO2015029362A1 publication Critical patent/WO2015029362A1/ja
Priority to US14/741,723 priority patent/US9418665B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering

Definitions

  • the present disclosure relates to a device control method and device control system that control a plurality of devices based on a voice command from a user.
  • a device control method is a device control method for controlling a plurality of devices based on a voice command from a user, and an environment in which environmental sound around the plurality of devices is acquired at a first time.
  • a database management step of associating the environmental sound acquired at the first time in the environmental sound acquisition step and storing the associated environmental sound in a database.
  • FIG. 1 is a diagram showing an overall configuration of a device control system according to an embodiment of the present disclosure. It is a block diagram showing composition of a device control system in Embodiment 1 of this indication. It is a flow chart which shows database construction processing of a device control system in Embodiment 1 of this indication. It is a figure which shows an example of the data structure of an environmental sound information database. It is a flow chart which shows database construction processing of a device control system in the 1st modification of Embodiment 1 of this indication. It is a flowchart which shows the database construction process of the equipment control system in the 2nd modification of Embodiment 1 of this indication. It is a flowchart which shows the noise removal process of the apparatus control system in Embodiment 1 of this indication.
  • a device control method is a device control method for controlling a plurality of devices based on a voice command from a user, and an environment in which environmental sound around the plurality of devices is acquired at a first time.
  • a database management step of associating the environmental sound acquired at the first time in the environmental sound acquisition step and storing the associated environmental sound in a database.
  • environmental sound around the plurality of devices is acquired at the first time, and driving conditions at the first time of the plurality of devices are acquired via the network, and operation at the acquired first time is obtained.
  • the situation and the environmental sound acquired at the first time are associated and stored in the database.
  • the voice command from the user is acquired at the second time different from the first time, and the driving situations at the second time of the plurality of devices are acquired via the network,
  • the driving situation corresponding to the driving situation at the second time of the device is stored in the database, noise is removed from the voice command based on the environmental sound stored in the database in association with the driving situation.
  • noise environmentmental sound included in the voice command can be reliably removed, and voice recognition can be performed more reliably.
  • a voice command obtaining step of obtaining a voice command from the user at a second time different from the first time, and an operating condition of the plurality of devices at the second time via the network If the driving situation corresponding to the driving situation at the second time of the plurality of devices acquired in the second driving situation acquiring step of acquiring the second driving stage and the second driving situation acquiring step is stored in the database, the driving situation A determination step of determining whether speech recognition is possible in a sound environment predicted from an environmental sound stored in the database in association with the data, and a presenting step of presenting the result determined in the determination step to the user It is preferable to further include.
  • the voice command from the user is acquired at the second time different from the first time, and the driving situations at the second time of the plurality of devices are acquired via the network,
  • a driving situation that matches the driving situation at the second time of the device is stored in the database, voice recognition is possible in the sound environment predicted from the environmental sound stored in the database in association with the driving situation It is determined whether there is any, and the determined result is presented to the user.
  • the voice command from the user is acquired at the second time different from the first time, and the driving situations at the second time of the plurality of devices are acquired via the network,
  • a driving situation that matches the driving situation at the second time of the device is stored in the database, voice recognition is possible in the sound environment predicted from the environmental sound stored in the database in association with the driving situation
  • the device emitting an environmental sound is controlled.
  • the device emitting an environmental sound is controlled, so that environmental noise that interferes with voice recognition can be reduced. Speech recognition can be performed more reliably.
  • the database further stores whether or not voice recognition has succeeded in the past, in association with the driving situation, and in the device control step, voice recognition is impossible in the determination step. It is preferable to control a plurality of devices so as to operate in a driving situation in which voice recognition has succeeded in the past stored in the database when it is determined that
  • the plurality of devices are controlled to operate in a driving condition in which voice recognition has succeeded in the past stored in the database. Control of the device is facilitated, and voice recognition can be performed more reliably.
  • the determination step Determining whether or not voice recognition is possible by determining whether or not the volume of the environmental sound stored in the database in association with the situation is equal to or less than a predetermined volume capable of voice recognition. preferable.
  • the apparatus further includes a voice detection step of detecting absence of a voice command input for a predetermined time or more, and an environmental sound acquisition step includes absence of voice command input for a predetermined time in the voice detection step.
  • a voice detection step of detecting absence of a voice command input for a predetermined time or more
  • an environmental sound acquisition step includes absence of voice command input for a predetermined time in the voice detection step.
  • the device control method further includes a person detection step of detecting a person present around a plurality of devices, and the environmental sound acquisition step is a step around the plurality of devices when a person is not detected in the person detection step. It is preferable to acquire environmental sounds.
  • the environmental sound acquisition step does not store, in the database, a driving situation that matches the driving situation at the first time of the plurality of devices acquired in the first driving situation acquisition step, It is preferable to acquire environmental sounds around multiple devices.
  • a device control system is a device control system that controls a plurality of devices based on a voice command from a user, and acquires environmental sounds around the plurality of devices at a first time.
  • a database management unit that associates the environmental sound acquired at the first time according to and stores it in the database.
  • the environmental sound around the plurality of devices is acquired in the first time
  • the driving conditions of the plurality of devices are acquired through the network
  • the driving conditions in the acquired first time and
  • the environmental sound acquired at the time of is associated with and stored in the database.
  • FIG. 1 is a diagram showing an overall configuration of a device control system according to an embodiment of the present disclosure.
  • the configuration of the device control system shown in FIG. 1 is an example, and a configuration other than the configuration shown in FIG. 1 may be provided. Further, part of the configuration of the device control system shown in FIG. 1 may be omitted.
  • the device control system includes a server device 100, a device control device 110, and a device 120.
  • the device 120 is a device that can be controlled by voice recognition such as a television or an air conditioner disposed in a home.
  • the server apparatus 100, the device control apparatus 110, and the devices 120 to be controlled are connected to one another via a network.
  • a single device 120 or a plurality of devices 120 may be connected to the server apparatus 100.
  • the device 120 may not be directly connected to the server device 100, but may be connected to the device control device 110 via, for example, a LAN (Local Area Network), and the server device 100 may be connected via the device control device 110. It may be connected with
  • the place where the server apparatus 100 is installed is not particularly limited.
  • the server apparatus 100 may be located at a data center owned by a company that manages and operates a data center that handles big data, or may be located at each home. Further, each configuration of the server device 100 may be integrated in one device, or each configuration may be arranged in different devices.
  • the server apparatus 100 includes a control unit 101, a communication unit 102, and an environmental sound information database (DB) 103.
  • DB environmental sound information database
  • the control unit 101 is a configuration for performing various controls related to the server device 100, and is not particularly limited.
  • the control unit 101 includes, for example, a CPU (central processing unit).
  • the communication unit 102 is a configuration for connecting to a network (for example, the Internet), and is not particularly limited. It does not matter how to connect to the Internet.
  • the environmental sound information database 103 is a recording device capable of accumulating a large amount of information.
  • the environmental sound information database 103 stores, for example, the operating condition of each device 120 in the home and the environmental sound information in association with each other.
  • the environmental sound information database 103 may be stored in the same device, or may be stored in separate devices.
  • the device control apparatus 110 includes a control unit 111, a communication unit 112, a sound information acquisition unit 113, and a display unit 114. Note that these configurations of the device control device 110 may be built in as part of the device, or may be devices that are separately connected to the outside. Here, the device control device 110 may be, for example, a television for general household use, a monitor of a PC (personal computer), or the like as long as the device control device 110 has the above-described configuration. Further, the device control device 110 may be a dedicated device for the device control system.
  • control unit 111 and the communication unit 112 have the same configuration as the control unit 101 and the communication unit 102 of the server apparatus 100, and thus the description thereof will be omitted.
  • the sound information acquisition unit 113 is a recording device provided with a microphone.
  • the display unit 114 is a device having a display function such as a monitor.
  • the device 120 includes a control unit 111 and a communication unit 112. Note that these configurations of the device 120 may be incorporated as part of the device, or may be a device that is separately connected to the outside.
  • control unit 111 and the communication unit 112 have the same configuration as the control unit 101 and the communication unit 102 of the server apparatus 100, and thus the description thereof will be omitted.
  • the apparatus control system described below is comprised with the server apparatus 100, the apparatus control apparatus 110, and the apparatus 120, it is not restricted to this.
  • the configuration of part or all of the server device 100 and the device control device 110 may be included in the device 120, and the device control system may be configured with only the device 120.
  • FIG. 2 is a block diagram showing the configuration of the device control system according to the first embodiment of the present disclosure.
  • the device control system includes an environmental sound acquisition unit 201, a driving condition acquisition unit 202, a database management unit 203, an environmental sound information database 204, a voice command acquisition unit 205, and a noise removal unit 206. Equipped with
  • the environmental sound acquisition unit 201 acquires environmental sound information indicating environmental sounds around the plurality of devices 120.
  • the environmental sound information may be a sound including the operation sound emitted from each device 120 or other noise in the home.
  • the environmental sound acquisition unit 201 may have a function of removing a sudden sound when the environmental sound includes a sudden sound that is not a steady environmental sound. Further, the timing at which the environmental sound acquisition unit 201 acquires the environmental sound, and the time length of the environmental sound acquired by the environmental sound acquisition unit 201 are not particularly limited.
  • the environmental sound acquisition unit 201 may always acquire environmental sounds or may acquire environmental sounds at preset time intervals. Also, the environmental sound acquisition unit 201 may acquire the environmental sound only when a person is not emitting a voice.
  • the environmental sound acquisition unit 201 outputs the acquired environmental sound information to the database management unit 203.
  • the driving condition acquisition unit 202 acquires driving condition information indicating the driving condition of each device connected via the network at the timing when the environmental sound acquisition unit 201 acquires the environmental sound.
  • the operating condition information is, for example, the power ON / OFF state or the operating mode.
  • the driving status information may include other information that can be acquired from each device.
  • the driving condition acquisition unit 202 outputs the acquired driving condition information to the database management unit 203.
  • the database management unit 203 uses the environmental sound information acquired by the environmental sound acquisition unit 201 and the driving condition information acquired by the driving condition acquisition unit 202 to construct and manage the environmental sound information database 204.
  • the environmental sound information database 204 environmental sound information acquired in the past and driving condition information when the environmental sound information is acquired are stored in association with each other.
  • the database management unit 203 associates the driving condition information at the first time acquired by the driving condition acquiring unit 202 with the environmental sound information acquired at the first time by the environmental sound acquiring unit 201, to thereby obtain the environmental sound information database. It stores in 204.
  • the acquired environmental sound information is registered as a WAV format file.
  • the environmental sound information may not necessarily be a WAV format file.
  • the environmental sound information may be audio-compressed data such as MPEG format or AIFF format.
  • the environmental sound information may be a feature amount necessary for noise removal calculated from the environmental sound.
  • the feature amount required for noise removal is, for example, a frequency spectrum.
  • the feature amount necessary for noise removal or the method of noise removal is not limited.
  • the database management unit 203 outputs the environmental sound information and the driving condition information stored in the environmental sound information database 204 to the noise removal unit 206.
  • the voice command acquisition unit 205 acquires a voice command from the user at a timing different from the timing at which the environmental sound information is acquired by the environmental sound acquisition unit 201.
  • the voice command indicates the voice emitted by the user to operate the device.
  • the driving condition acquisition unit 202 acquires the driving condition information of a plurality of devices via the network at the timing when the voice command acquisition unit 205 acquires the voice command.
  • the noise removing unit 206 refers to the operating condition information of the plurality of devices acquired at the timing when the voice command for device control is input, and the environmental sound information of the constructed environmental sound information database 204, Remove noise from That is, in the case where the noise removal unit 206 stores, in the environmental sound information database 204, driving situations that match the driving situations of the plurality of devices acquired by the driving situation acquiring unit 202 at the timing when the voice command is acquired. Based on the environmental sound stored in the environmental sound information database 204 in association with the driving situation, noise is removed from the voice command.
  • the method of removing noise is not limited.
  • the noise removing unit 206 may calculate and reproduce the noise canceling noise from the environmental sound information, or may remove the noise from the acquired voice command by signal processing.
  • the environmental sound acquisition unit 201 is realized by the sound information acquisition unit 113, the communication unit 112, and the communication unit 102 shown in FIG. 1, and the driving condition acquisition unit 202 is realized by the communication unit 112 and the communication unit 102 shown in FIG.
  • the database management unit 203 is realized by the control unit 101 shown in FIG. 1
  • the environmental sound information database 204 is realized by the environmental sound information database 103 shown in FIG. 1
  • the voice command acquisition unit 205 is shown in FIG. It is realized by the sound information acquisition unit 113, the communication unit 112, and the communication unit 102, and the noise removal unit 206 is realized by the control unit 101 shown in FIG.
  • FIG. 3 is a flowchart showing a database construction process of the device control system according to the first embodiment of the present disclosure.
  • the acquisition method of the environmental sound accumulated in the database by the device control system according to the first embodiment will be described with reference to FIG.
  • the processing of the flowchart is assumed to be continuously performed.
  • the voice detection unit detects that a voice command is not input for a predetermined time or more.
  • the voice detection unit determines whether it is detected that there is no input of a voice command for a predetermined time or more (step S1).
  • the voice detection unit measures the time from when the acquisition of the voice command is completed to when the acquisition of the voice command is started next, and it is determined whether the time from when the acquisition of the voice command is completed has exceeded a predetermined time. To judge. If it is determined that the voice command is not input for a predetermined time or more (YES in step S1), the process proceeds to step S2. On the other hand, when it is determined that the input of the voice command is within the predetermined time (NO in step S1), the process of step S1 is continuously repeated.
  • the driving condition acquisition unit 202 acquires the driving conditions of a plurality of devices (step S2).
  • the environmental sound acquisition unit 201 acquires environmental sound (step S3).
  • the environmental sound acquisition unit 201 acquires environmental sounds around a plurality of devices when the speech detection unit detects that there is no input of a speech command for a predetermined time or more.
  • running condition of a several apparatus, and the process in which the environmental sound acquisition part 201 acquires environmental sound are performed continuously, and the driving condition and the environment are substantially the same time. You can get sound and.
  • the driving condition acquisition unit 202 and the environmental sound acquisition unit 201 may acquire the driving condition and the environmental sound at the same time.
  • the database management unit 203 associates the driving statuses of the plurality of devices acquired by the driving status acquiring unit 202 with the environmental sound acquired by the environmental sound acquiring unit 201 and stores them in the environmental sound information database 204 (see FIG. Step S4).
  • FIG. 4 is a view showing an example of the data structure of the environmental sound information database.
  • the ON / OFF state information of the device A and the device B and the operation mode of the device C strong or weak air flow
  • One environmental sound is associated with one pattern combining.
  • the driving condition acquisition unit 202 acquires, from the device A, the driving condition information in which the power is on and the driving condition information in which the power is on. It acquires from the device C, and acquires from the device C operating condition information whose operation mode is strong.
  • the environmental sound acquisition unit 201 acquires environmental sound, and outputs the acquired environmental sound to the database management unit 203 as environmental sound information "XXX01. Wav" of a WAV format file.
  • the database management unit 203 associates the driving condition information of each of the devices A, B, and C acquired by the driving condition acquiring unit 202 with the environmental sound information acquired by the environmental sound acquiring unit 201 to make the environmental sound information database 204 Remember.
  • the presence or absence of a person is detected by detecting that there is no input of a voice command for a predetermined time or more, but the present disclosure is not particularly limited thereto.
  • a sensor may detect the presence or absence of a person.
  • FIG. 5 is a flowchart showing a database construction process of the device control system according to the first modified example of the first embodiment of the present disclosure.
  • the acquisition method of the environmental sound accumulated in the database by the device control system in the first modified example of the first embodiment will be described using FIG. 5.
  • the processing of the flowchart is assumed to be continuously performed.
  • a human sensor detects a person present around a plurality of devices (step S11).
  • the sensor that detects the presence or absence of a person is not limited to the human sensor.
  • the human sensor determines whether a human has been detected. Here, if it is determined that a person is not detected (NO in step S12), the process proceeds to step S13. On the other hand, when it is determined that a person has been detected (YES in step S12), the processes of steps S11 and S12 are continuously repeated.
  • the driving condition acquisition unit 202 acquires the driving conditions of a plurality of devices (step S13).
  • the environmental sound acquisition unit 201 acquires environmental sound (step S14).
  • the environmental sound acquisition unit 201 acquires environmental sounds around a plurality of devices when no human is detected by the human sensor.
  • the environmental sound acquisition unit 201 calculates environmental sound information necessary for noise removal from the acquired environmental sound (step S15). After acquiring the environmental sound in step S14, the environmental sound acquisition unit 201 calculates, as environmental sound information, a feature amount necessary for noise removal from the acquired environmental sound.
  • the database management unit 203 associates the driving conditions of the plurality of devices acquired by the driving condition acquiring unit 202 with the environmental sound information acquired by the environmental sound acquiring unit 201 and stores them in the environmental sound information database 204. (Step S16).
  • step S15 may be omitted, and the environmental sound acquisition unit 201 outputs the environmental sound acquired in step S14 to the database management unit 203 as environmental sound information. You may
  • the driving condition acquisition unit 202 may periodically acquire the driving condition, and may store the acquired time and the driving condition in association with each other. Then, the database management unit 203 reads the driving condition corresponding to the time when the environmental sound is acquired by the environmental sound acquisition unit 201 from the driving condition acquisition unit 202, associates the read operating condition with the environmental sound, and outputs environmental sound information. It may be stored in the database 204.
  • the environmental sound information database may already exist, and the environmental sound may be acquired when a driving situation not detected on the environmental sound information database is detected.
  • FIG. 6 is a flowchart showing a database construction process of the device control system in the second modified example of the first embodiment of the present disclosure.
  • a method of acquiring environmental sound accumulated in a database by the device control system according to the second modification of the first embodiment will be described with reference to FIG.
  • the processing of the flowchart is assumed to be continuously performed.
  • the driving condition acquisition unit 202 acquires the driving conditions of a plurality of devices (step S21).
  • the database management unit 203 determines whether the combination of the driving conditions of the plurality of devices acquired by the driving condition acquisition unit 202 is in the environmental sound information database 204 (step S22).
  • the process proceeds to step S23.
  • the processes of steps S21 and S22 are continuously repeated.
  • the environmental sound acquisition unit 201 acquires environmental sound (step S23).
  • the environmental sound information database 204 does not store a driving situation that matches the driving situation of the plurality of devices acquired by the driving situation acquiring unit 202 in the first time
  • the environmental sound acquiring unit 201 Get environmental sound.
  • the database management unit 203 associates the driving statuses of the plurality of devices acquired by the driving status acquiring unit 202 with the environmental sound acquired by the environmental sound acquiring unit 201 and stores them in the environmental sound information database 204 (see FIG. Step S24).
  • the environmental sound acquiring unit 201 does not receive the operating conditions of a plurality of devices in FIG.
  • the feature amount may be calculated from the sound.
  • FIG. 7 is a flowchart showing noise removal processing of the device control system according to the first embodiment of the present disclosure.
  • the voice command acquisition unit 205 receives an input of a voice command issued by the user, and determines whether a voice command is input (step S31).
  • the driving condition acquisition unit 202 acquires driving conditions of a plurality of devices (step S32).
  • the database management unit 203 determines whether the combination of the driving conditions of the plurality of devices acquired by the driving condition acquisition unit 202 is present in the environmental sound information database 204 (step S33).
  • the noise removing unit 206 acquires the acquired driving conditions stored in the environmental sound information database 204.
  • the environmental sound (noise) is removed from the acquired voice command by using the environmental sound information corresponding to the combination of (step S34).
  • the noise removing unit 206 performs normal noise removing processing on the acquired voice command,
  • the environmental sound (noise) is removed from the acquired voice command (step S35).
  • the normal noise removal processing for example, there are spectrum subtraction, cepstral averaging processing, echo cancellation in which the sound source is estimated, and the like.
  • voice recognition processing is performed on the voice command from which noise has been removed by the noise removing unit 206, and control of the device according to the voice command is performed.
  • the operating conditions that match the acquired operating conditions of the plurality of devices are stored in the database, based on the environmental sound stored in the database in association with the operating conditions, Since noise is removed from the voice command, noise (environmental sound) included in the voice command can be reliably removed, and voice recognition can be performed more reliably.
  • the environmental sound information database may store the driving conditions of all the devices in the home and the environmental sound in association with each other.
  • the environmental sound information database may be provided for each room in which a microphone for acquiring environmental sound and voice commands is disposed, and the environmental sound is associated with the operating conditions of a plurality of devices disposed indoors in each part. May be stored.
  • noise removal process shown in FIG. 7 may be performed using an environmental sound information database of the room in which the microphone to which the voice command has been input is arranged.
  • noise removal processing may be performed using the environmental sound information database of the adjacent room.
  • noise is removed from the voice command.
  • noise is reduced by controlling the device that is the noise source.
  • FIG. 8 is a block diagram showing a configuration of a device control system according to a second embodiment of the present disclosure.
  • the device control system includes an environmental sound acquisition unit 201, a driving condition acquisition unit 202, a database management unit 203, an environmental sound information database 204, a voice command acquisition unit 205, and a noise removal unit 207. And a voice recognition determination unit 208 and a device control unit 209.
  • the same components as those of the device control system according to the first embodiment are denoted by the same reference numerals, and the description thereof is omitted.
  • the noise removal unit 207 performs normal noise removal processing on the voice command acquired by the voice command acquisition unit 205. If it is determined that the combination of driving conditions does not exist in the environmental sound information database 204, the noise removing unit 207 performs normal noise removal processing on the obtained voice command, and the environmental sound is obtained from the obtained voice command. Remove (noise).
  • the voice recognition determination unit 208 associates the driving situation with the driving situation when the driving situation matching the driving situation at the second time of the plurality of devices acquired by the driving situation acquisition unit 202 is stored in the environmental sound information database 204. It is determined whether voice recognition is possible in the sound environment predicted from the environmental sound stored in the environmental sound information database 204.
  • the environmental sound acquisition unit 201 when acquiring the environmental sound, the environmental sound acquisition unit 201 also acquires the volume of the environmental sound.
  • the environmental sound information database 204 stores not only the environmental sound but also the volume of the environmental sound.
  • the voice recognition determination unit 208 associates the driving situation with the driving situation when the driving situation matching the driving situation at the second time of the plurality of devices acquired by the driving situation acquisition unit 202 is stored in the environmental sound information database 204. By determining whether the volume of the environmental sound stored in the environmental sound information database 204 is equal to or less than a predetermined volume at which voice recognition is possible, it is determined whether voice recognition is possible.
  • the environmental sound acquisition unit 201 determines that voice recognition is possible. Further, when the volume of the environmental sound stored in the environmental sound information database 204 in association with the driving condition is larger than a predetermined volume, the environmental sound acquisition unit 201 determines that voice recognition is impossible.
  • the device control unit 209 controls, of the plurality of devices, a device emitting an environmental sound when it is determined by the voice recognition determination unit 208 that voice recognition is impossible. For example, when the voice recognition determination unit 208 determines that voice recognition is not possible, the device control unit 209 may control, among a plurality of devices, a device whose environmental sound is equal to or higher than a predetermined volume. . Also, for example, when the voice recognition determination unit 208 determines that voice recognition is not possible, the device control unit 209 turns off the power of the device whose power is on among the plurality of devices. It is also good. In addition, when the voice recognition determination unit 208 determines that voice recognition is not possible, the device control unit 209 drives a plurality of devices according to a combination of driving situations corresponding to the environmental sound with the smallest volume. You may control the device of
  • the environmental sound information database 204 may store information regarding whether or not voice recognition has succeeded in the past, in association with a combination of driving situations, and the device control unit 209 may use voice recognition by the voice recognition determination unit 208 If it is determined that it is not possible, a plurality of devices may be controlled to drive according to a combination of driving situations in which voice recognition has succeeded in the past. Further, when the environmental sound information database 204 stores information regarding whether or not voice recognition has succeeded in the past in association with a combination of driving situations, the voice recognition judgment unit 208 is acquired by the driving situation acquisition unit 202 Whether or not voice recognition is possible may be determined based on information related to whether or not voice recognition has succeeded in the past, which is stored in association with the combination of the driving conditions of the plurality of devices.
  • the noise removal unit 207 is realized by the control unit 101 shown in FIG. 1
  • the speech recognition determination unit 208 is realized by the control unit 101 shown in FIG. 1
  • the device control unit 209 is the control unit 101 shown in FIG. Is realized by
  • the database construction process of the device control system according to the second embodiment of the present disclosure is the same as the database construction process shown in FIG. 3, FIG. 5 and FIG.
  • FIG. 9 is a flowchart illustrating device control processing of the device control system according to the second embodiment of the present disclosure.
  • steps S41 to S43 shown in FIG. 9 are the same as the processes of steps S31 to S33 shown in FIG.
  • the noise removing unit 207 When it is determined that the combination of the driving conditions does not exist in the environmental sound information database 204 (NO in step S43), the noise removing unit 207 performs a normal noise removing process on the obtained voice command to obtain the voice command. The environmental sound (noise) is removed from the voice command (step S44).
  • the voice recognition determining unit 208 associates the operating conditions with the driving conditions and stores the environment sound information database 204. It is determined whether voice recognition is possible in the sound environment predicted from the sound (step S45). Here, if it is determined that voice recognition is possible (YES in step S45), the process ends.
  • the device control unit 209 controls the device emitting the environmental sound among the plurality of devices (step S46).
  • the device control unit 209 controls, based on the information in the environmental sound information database 204, a device that emits noise that interferes with voice recognition in order to control the device by a voice command. For example, when the environmental sound information acquired when the power of a certain device A is in the ON state includes noise that is not suitable for voice recognition, the device control unit 209 receives a voice command while the power of the device A is input. Only temporarily turn off.
  • voice recognition processing is performed on the voice command in which noise is reduced, and control of the device according to the voice command is performed.
  • the device control unit 209 sends a device to the display device. It may notify that it is controlled.
  • FIG. 10 is a view showing an example of a display screen displayed on the display device when the device is controlled to enable voice recognition.
  • the database management unit 203 calculates the noise value of each device from the environmental sound acquired by the environmental sound acquisition unit 201.
  • the noise value of each device may be stored in advance in association with the driving condition of each device.
  • information indicating which device is controlled to what extent when using voice recognition is displayed. For example, on the display screen shown in FIG. 10, it is displayed that the operating condition of the air conditioner is changed from strong to weak.
  • the device emitting the environmental sound is controlled, so noise that interferes with voice recognition (Environmental sound) can be reduced, and voice recognition can be performed more reliably.
  • voice recognition Environmental sound
  • noise (environmental sound) is reduced by controlling the device that is the noise source, but in the third embodiment, it is presented to the user that there is the device that is the noise source. .
  • FIG. 11 is a block diagram showing the configuration of a device control system according to a third embodiment of the present disclosure.
  • the device control system includes an environmental sound acquisition unit 201, a driving condition acquisition unit 202, a database management unit 203, an environmental sound information database 204, a voice command acquisition unit 205, and a noise removal unit 207. And a speech recognition determination unit 208 and a presentation unit 210.
  • the same components as those of the device control system according to the first embodiment and the second embodiment are denoted by the same reference numerals, and the description thereof is omitted.
  • the presentation unit 210 presents the result determined by the speech recognition determination unit 208 to the user.
  • the presentation unit 210 presents the user that voice recognition is not possible when the voice recognition determination unit 208 determines that voice recognition is impossible.
  • the presentation unit 210 transmits a display screen indicating that voice recognition is not possible to the display device.
  • the display device displays the received display screen.
  • the display device is, for example, a television, a smartphone, a tablet computer, a PC, or the like.
  • the presentation unit 210 is realized by the control unit 101 shown in FIG.
  • the database construction process of the device control system according to the third embodiment of the present disclosure is the same as the database construction process shown in FIG. 3, FIG. 5 and FIG.
  • FIG. 12 is a flowchart showing information presentation processing of the device control system according to the third embodiment of the present disclosure.
  • steps S51 to S53 shown in FIG. 12 are the same as the processes of steps S31 to S33 shown in FIG. Further, the processes of step S54 to step S55 shown in FIG. 12 are the same as the processes of step S44 to step S45 shown in FIG.
  • the presentation unit 210 presents the user with voice recognition availability information indicating that voice recognition is impossible (step S56).
  • the presentation unit 210 may present to the user whether the current state is suitable for input of a voice command.
  • the presentation unit 210 presents, to the user, the current state as to whether or not voice recognition is possible in the sound environment expected from the current driving condition of the device, based on the information in the environmental sound information database 204. Note that the presentation unit 210 may prompt the user to control the device so as to provide a sound environment in which speech recognition is possible after presenting the current state.
  • the voice recognition availability information may include not only information indicating that voice recognition is impossible but also information indicating that voice recognition is possible.
  • the display device displays the current status of environmental sound. .
  • FIG. 13 is a diagram showing an example of a display screen displayed on the display device when presenting the fact that voice recognition is impossible to the user.
  • the display screen images showing a plurality of devices in operation and noise values (volumes) of the devices are displayed.
  • the database management unit 203 calculates the noise value of each device from the environmental sound acquired by the environmental sound acquisition unit 201.
  • the noise value of each device may be stored in advance in association with the driving condition of each device.
  • the display device may display the device having a large noise value larger than the other devices. Further, as shown in FIG. 13, the display device may display that the current noise condition is a noise condition not suitable for speech recognition.
  • a user who is presented with voice recognition failure information indicating that voice recognition is impossible changes the driving situation of the device to reduce environmental noise.
  • noise environmental noise
  • the user can easily grasp the current driving condition of the device and the noise condition. Also, the user can confirm the device that is the cause of the noise.
  • the device control method and device control system according to the present disclosure can perform voice recognition more reliably, and is useful as a device control method and device control system that controls a plurality of devices based on a voice command from a user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

機器制御システムは、第１の時間に複数の機器の周囲の環境音を取得する環境音取得部と、ネットワークを介して複数の機器の第１の時間における運転状況を取得する運転状況取得部と、運転状況取得部によって取得した第１の時間における運転状況と、環境音取得部によって第１の時間に取得した環境音とを関連付けてデータベースに記憶するデータベース管理部とを備える。

Description

機器制御方法及び機器制御システム
　本開示は、ユーザからの音声コマンドに基づいて複数の機器を制御する機器制御方法及び機器制御システムに関するものである。
　近年の音声認識技術の発展により、音声認識による様々な機器の制御が実現している。
　更に、家庭内に配置したマイクで音声入力を受け付け、ネットワークで接続された複数の機器を制御する機器制御方法も提案されている（例えば、特許文献１参照）。
特開２００２－１８２６７９号公報
　上記、従来の音声認識による機器制御方法では更なる改善が必要とされていた。
　本開示の一局面に係る機器制御方法は、ユーザからの音声コマンドに基づいて複数の機器を制御する機器制御方法であって、第１の時間に複数の機器の周囲の環境音を取得する環境音取得ステップと、ネットワークを介して複数の機器の第１の時間における運転状況を取得する第１の運転状況取得ステップと、第１の運転状況取得ステップにおいて取得した第１の時間における運転状況と、環境音取得ステップにおいて第１の時間に取得した環境音とを関連付けてデータベースに記憶するデータベース管理ステップと、を含む。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示によれば、音声認識による機器制御の更なる改善を実現できる。
本開示の実施の形態における機器制御システムの全体構成を示す図である。 本開示の実施の形態１における機器制御システムの構成を示すブロック図である。 本開示の実施の形態１における機器制御システムのデータベース構築処理を示すフローチャートである。 環境音情報データベースのデータ構造の一例を示す図である。 本開示の実施の形態１の第１の変形例における機器制御システムのデータベース構築処理を示すフローチャートである。 本開示の実施の形態１の第２の変形例における機器制御システムのデータベース構築処理を示すフローチャートである。 本開示の実施の形態１における機器制御システムのノイズ除去処理を示すフローチャートである。 本開示の実施の形態２における機器制御システムの構成を示すブロック図である。 本開示の実施の形態２における機器制御システムの機器制御処理を示すフローチャートである。 音声認識を可能にするために機器が制御される際に表示装置に表示される表示画面の一例を示す図である。 本開示の実施の形態３における機器制御システムの構成を示すブロック図である。 本開示の実施の形態３における機器制御システムの情報提示処理を示すフローチャートである。 音声認識が不可能であることをユーザに提示する際に表示装置に表示される表示画面の一例を示す図である。
　（本開示の基礎となった知見）
　音声認識により機器を制御する際に、家庭内の他の機器により発せられる環境音（ノイズ）によって命令が正しく認識されないおそれがある。そのため、音声入力時にノイズを除去する必要がある。特許文献１では、環境音をマイクで取得して、雑音解析を行うことによってノイズを除去している。特許文献１の図４のステップＳ５～Ｓ６の処理では、定常的な雑音が大きく変化したか否かを検出し、定常的な雑音が大きく変化していなければ雑音解析処理は行われない。しかしながら、定常的な雑音の大きな変化は頻繁に発生するため、結果として常に雑音解析処理を行わなければならないことになる。例えば、特許文献１の段落００５６等に記載されているように、エアコンの送風が弱から強へ変更された際には、その都度雑音解析処理を行わなければならない。その結果、処理が遅くなり、音声コマンドを受け付ける状態になるまでに時間がかかるという問題が発生する可能性がある。
　上記考察により、本発明者らは本開示の各態様を想到するに至った。
　本開示の一局面に係る機器制御方法は、ユーザからの音声コマンドに基づいて複数の機器を制御する機器制御方法であって、第１の時間に複数の機器の周囲の環境音を取得する環境音取得ステップと、ネットワークを介して複数の機器の第１の時間における運転状況を取得する第１の運転状況取得ステップと、第１の運転状況取得ステップにおいて取得した第１の時間における運転状況と、環境音取得ステップにおいて第１の時間に取得した環境音とを関連付けてデータベースに記憶するデータベース管理ステップと、を含む。
　この構成によれば、第１の時間に複数の機器の周囲の環境音が取得され、ネットワークを介して複数の機器の第１の時間における運転状況が取得され、取得した第１の時間における運転状況と、第１の時間に取得した環境音とが関連付けられてデータベースに記憶される。
　したがって、音声コマンドが入力された際の複数の機器の運転状況に対応する環境音をデータベースから取得し、取得した環境音に基づいて音声コマンドに含まれるノイズを除去することにより、過剰な雑音解析処理を行うことなく、より確実に音声認識を行うことができる。
　また、上記の機器制御方法において、第１の時間とは異なる第２の時間にユーザからの音声コマンドを取得する音声コマンド取得ステップと、ネットワークを介して複数の機器の第２の時間における運転状況を取得する第２の運転状況取得ステップと、第２の運転状況取得ステップにおいて取得した複数の機器の第２の時間における運転状況と一致する運転状況がデータベースに記憶されている場合に、運転状況に関連付けてデータベースに記憶されている環境音に基づいて、音声コマンドからノイズを除去するノイズ除去ステップと、をさらに含むことが好ましい。
　この構成によれば、第１の時間とは異なる第２の時間にユーザからの音声コマンドが取得され、ネットワークを介して複数の機器の第２の時間における運転状況が取得され、取得した複数の機器の第２の時間における運転状況と一致する運転状況がデータベースに記憶されている場合に、運転状況に関連付けてデータベースに記憶されている環境音に基づいて、音声コマンドからノイズが除去される。
　したがって、音声コマンドに含まれるノイズ（環境音）を確実に除去することができ、より確実に音声認識を行うことができる。
　また、上記の機器制御方法において、第１の時間とは異なる第２の時間にユーザからの音声コマンドを取得する音声コマンド取得ステップと、ネットワークを介して複数の機器の第２の時間における運転状況を取得する第２の運転状況取得ステップと、第２の運転状況取得ステップにおいて取得した複数の機器の第２の時間における運転状況と一致する運転状況がデータベースに記憶されている場合に、運転状況に関連付けてデータベースに記憶されている環境音から予測される音環境で、音声認識が可能であるか否かを判断する判断ステップと、判断ステップにおいて判断された結果をユーザに提示する提示ステップと、をさらに含むことが好ましい。
　この構成によれば、第１の時間とは異なる第２の時間にユーザからの音声コマンドが取得され、ネットワークを介して複数の機器の第２の時間における運転状況が取得され、取得した複数の機器の第２の時間における運転状況と一致する運転状況がデータベースに記憶されている場合に、運転状況に関連付けてデータベースに記憶されている環境音から予測される音環境で、音声認識が可能であるか否かが判断され、判断された結果がユーザに提示される。
　したがって、環境音の影響により音声認識が困難である場合に、ユーザに対して機器の運転状況の変更を促すことができ、音声認識の妨げとなる環境音を低減させることができる。
　また、上記の機器制御方法において、第１の時間とは異なる第２の時間にユーザからの音声コマンドを取得する音声コマンド取得ステップと、ネットワークを介して複数の機器の第２の時間における運転状況を取得する第２の運転状況取得ステップと、第２の運転状況取得ステップにおいて取得した複数の機器の第２の時間における運転状況と一致する運転状況がデータベースに記憶されている場合に、運転状況に関連付けてデータベースに記憶されている環境音から予測される音環境で、音声認識が可能であるか否かを判断する判断ステップと、判断ステップにおいて音声認識が不可能であると判断された場合に、複数の機器のうち、環境音を発している機器を制御する機器制御ステップと、をさらに含むことが好ましい。
　この構成によれば、第１の時間とは異なる第２の時間にユーザからの音声コマンドが取得され、ネットワークを介して複数の機器の第２の時間における運転状況が取得され、取得した複数の機器の第２の時間における運転状況と一致する運転状況がデータベースに記憶されている場合に、運転状況に関連付けてデータベースに記憶されている環境音から予測される音環境で、音声認識が可能であるか否かが判断され、音声認識が不可能であると判断された場合に、複数の機器のうち、環境音を発している機器が制御される。
　したがって、音声認識が不可能であると判断された場合に、複数の機器のうち、環境音を発している機器が制御されるので、音声認識の妨げとなる環境音を低減することができ、より確実に音声認識を行うことができる。
　また、上記の機器制御方法において、データベースは、過去に音声認識が成功したか否かを、運転状況に関連付けてさらに記憶しており、機器制御ステップは、判断ステップにおいて音声認識が不可能であると判断された場合に、データベースに記憶されている過去に音声認識に成功した運転状況で運転するように、複数の機器を制御することが好ましい。
　この構成によれば、音声認識が不可能であると判断された場合に、データベースに記憶されている過去に音声認識に成功した運転状況で運転するように、複数の機器が制御されるので、機器の制御が容易となり、より確実に音声認識を行うことができる。
　また、上記の機器制御方法において、判断ステップは、第２の運転状況取得ステップにおいて取得した複数の機器の第２の時間における運転状況と一致する運転状況がデータベースに記憶されている場合に、運転状況に関連付けてデータベースに記憶されている環境音の音量が、音声認識が可能な所定の音量以下であるか否かを判断することにより、音声認識が可能であるか否かを判断することが好ましい。
　この構成によれば、運転状況に関連付けてデータベースに記憶されている環境音の音量が、音声認識が可能な所定の音量以下であるか否かを判断することにより、音声認識が可能であるか否かを容易に判断することができる。
　また、上記の機器制御方法において、音声コマンドの入力が一定時間以上無いことを検知する音声検知ステップをさらに含み、環境音取得ステップは、音声検知ステップにおいて音声コマンドの入力が一定時間以上無いことが検知された場合、複数の機器の周囲の環境音を取得することが好ましい。
　この構成によれば、ユーザによって発話された音声コマンド以外の不要な音が環境音として取得されるので、音声コマンドに含まれる環境音を確実に除去することができる。
　また、上記の機器制御方法において、複数の機器の周囲に存在する人を検知する人検知ステップをさらに含み、環境音取得ステップは、人検知ステップにおいて人が検知されない場合、複数の機器の周囲の環境音を取得することが好ましい。
　この構成によれば、ユーザによって発話された音声コマンド以外の不要な音が環境音として取得されるので、音声コマンドに含まれる環境音を確実に除去することができる。
　また、上記の機器制御方法において、環境音取得ステップは、第１の運転状況取得ステップにおいて取得した複数の機器の第１の時間における運転状況と一致する運転状況がデータベースに記憶されていない場合、複数の機器の周囲の環境音を取得することが好ましい。
　この構成によれば、取得した複数の機器の第１の時間における運転状況と一致する運転状況がデータベースに記憶されていない場合、複数の機器の周囲の環境音が取得されるので、新たな運転状況と環境音とを関連付けたデータベースを構築することができる。
　本開示の他の局面に係る機器制御システムは、ユーザからの音声コマンドに基づいて複数の機器を制御する機器制御システムであって、第１の時間に複数の機器の周囲の環境音を取得する環境音取得部と、ネットワークを介して複数の機器の第１の時間における運転状況を取得する運転状況取得部と、運転状況取得部によって取得した第１の時間における運転状況と、環境音取得部によって第１の時間に取得した環境音とを関連付けてデータベースに記憶するデータベース管理部と、を備える。
　この構成によれば、第１の時間に複数の機器の周囲の環境音が取得され、ネットワークを介して複数の機器の運転状況が取得され、取得した第１の時間における運転状況と、第１の時間に取得した環境音とが関連付けられてデータベースに記憶される。
　したがって、音声コマンドが入力された際の複数の機器の運転状況に対応する環境音をデータベースから取得し、取得した環境音に基づいて音声コマンドに含まれるノイズを除去することにより、過剰な雑音解析処理を行うことなく、より確実に音声認識を行うことができる。
　以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
　（実施の形態１）
　（各装置の構成）
　図１は、本開示の実施の形態における機器制御システムの全体構成を示す図である。なお、図１に示す機器制御システムの構成は一例であり、図１に示されている構成以外の構成を備えていてもよい。また、図１に示す機器制御システムの構成の一部が欠けていてもよい。
　機器制御システムは、サーバ装置１００と、機器制御装置１１０と、機器１２０とを備える。機器１２０は、家庭内に配置されたテレビ又はエアコンなどの音声認識により制御可能な機器である。図１に示すようにサーバ装置１００と、機器制御装置１１０と、制御対象の各機器１２０とは、それぞれネットワークを介して接続される。なお、サーバ装置１００に対して単数の機器１２０又は複数の機器１２０が接続されてもよい。また、機器１２０は、サーバ装置１００と直接接続されていなくてもよく、機器制御装置１１０と例えばＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を介して接続されてもよく、機器制御装置１１０を介してサーバ装置１００と接続されてもよい。
　サーバ装置１００が設置されている場所に関しては、特に限定しない。サーバ装置１００は、ビッグデータを扱うデータセンターを管理及び運営する会社が保有するデータセンターに配置されていてもよいし、各家庭に配置されていてもよい。また、サーバ装置１００の各構成は１つの装置内に集約されていてもよいし、各構成が別々の装置に配置されていてもよい。
　サーバ装置１００は、制御部１０１と、通信部１０２と、環境音情報データベース（ＤＢ）１０３とを備える。
　制御部１０１は、サーバ装置１００に関する様々な制御を行うための構成であり、特に限定しない。制御部１０１は、例えばＣＰＵ（中央演算処理装置）などで構成される。
　通信部１０２は、ネットワーク（例えば、インターネット）に接続するための構成であり、特に限定しない。インターネットへの接続方法に関しては問わない。
　環境音情報データベース１０３は、大量の情報を蓄積可能な記録装置である。環境音情報データベース１０３は、例えば家庭内の各機器１２０の運転状況と、環境音情報とを対応付けて記憶している。環境音情報データベース１０３は、同一の装置内に格納されていてもよいし、別々の装置内に格納されていてもよい。
　機器制御装置１１０は、制御部１１１と、通信部１１２と、音情報取得部１１３と、表示部１１４とを備える。なお、機器制御装置１１０のこれらの構成は、機器の一部として内蔵されていてもよいし、別途外部に接続する装置であってもよい。ここで、機器制御装置１１０としては、上記した各構成を備えていれば、例えば一般家庭用のテレビ、又はＰＣ（パーソナルコンピュータ）のモニタなどであってもよい。また、機器制御装置１１０は、本機器制御システムのための専用装置であってもよい。
　制御部１１１及び通信部１１２は、サーバ装置１００の制御部１０１及び通信部１０２と同様の構成であるため、その説明は省略する。
　音情報取得部１１３は、マイクを備えた記録装置である。表示部１１４は、モニタなどの表示機能を持つ装置である。
　機器１２０は、制御部１１１と、通信部１１２とを備える。なお、機器１２０のこれらの構成は、機器の一部として内蔵されていてもよいし、別途外部に接続する装置であってもよい。
　制御部１１１及び通信部１１２は、サーバ装置１００の制御部１０１及び通信部１０２と同様の構成であるため、その説明は省略する。
　なお、図１では、サーバ装置１００と機器制御装置１１０と機器１２０とによって以下に述べる機器制御システムを構成しているが、これに限られない。例えば、サーバ装置１００及び機器制御装置１１０の一部又は全部の構成が、機器１２０に含まれており、機器１２０のみで機器制御システムを構成してもよい。
　なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ及びステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、全ての実施の形態において、各々の内容を組み合わせることもできる。
　（機器制御システムの構成）
　図２は、本開示の実施の形態１における機器制御システムの構成を示すブロック図である。
　本実施の形態１における機器制御システムは、環境音取得部２０１と、運転状況取得部２０２と、データベース管理部２０３と、環境音情報データベース２０４と、音声コマンド取得部２０５と、ノイズ除去部２０６とを備える。
　環境音取得部２０１は、複数の機器１２０の周囲の環境音を示す環境音情報を取得する。ここで、環境音情報とは、各機器１２０の発する作動音又は家庭内のその他の騒音を含む音であればよい。環境音取得部２０１は、環境音に、定常的な環境音ではない突発的な音が含まれる場合は、突発的な音を除去する機能を有していてもよい。また、環境音取得部２０１が環境音を取得するタイミング、及び環境音取得部２０１が取得する環境音の時間長に関しては特に限定しない。環境音取得部２０１は、常に環境音を取得していてもよいし、予め設定した時間間隔で環境音を取得してもよい。また、環境音取得部２０１は、人が音声を発していないときだけ環境音を取得してもよい。環境音取得部２０１は、取得した環境音情報をデータベース管理部２０３に出力する。
　運転状況取得部２０２は、環境音取得部２０１が環境音を取得したタイミングにおいて、ネットワークを介して接続された各機器の運転状況を示す運転状況情報を取得する。ここで、運転状況情報とは、例えば、電源のＯＮ／ＯＦＦ状態又は運転モード等である。なお、運転状況情報は、各機器から取得できるその他の情報を含んでもよい。運転状況取得部２０２は、取得した運転状況情報を、データベース管理部２０３に出力する。
　データベース管理部２０３は、環境音取得部２０１によって取得された環境音情報と、運転状況取得部２０２によって取得された運転状況情報とを使用して、環境音情報データベース２０４を構築及び管理する。環境音情報データベース２０４には、過去に取得された環境音情報と、環境音情報が取得された時の運転状況情報とが関連付けて記憶されている。データベース管理部２０３は、運転状況取得部２０２によって取得された第１の時間における運転状況情報と、環境音取得部２０１によって第１の時間に取得された環境音情報とを関連付けて環境音情報データベース２０４に記憶する。
　ここで、取得された環境音情報は、ＷＡＶ形式のファイルとして登録されている。なお、環境音情報は、必ずしもＷＡＶ形式ファイルでなくてもよい。例えば、環境音情報は、ＭＰＥＧ形式又はＡＩＦＦ形式等の音声圧縮されたデータであってもよい。また、環境音情報は、環境音から算出されたノイズ除去に必要な特徴量であってもよい。ノイズ除去に必要な特徴量とは、例えば、周波数スペクトルなどである。なお、ノイズ除去に必要な特徴量又はノイズ除去の方法については限定しない。
　データベース管理部２０３は、環境音情報データベース２０４に記憶された環境音情報と運転状況情報とを、ノイズ除去部２０６に出力する。
　音声コマンド取得部２０５は、環境音取得部２０１によって環境音情報が取得されたタイミングとは異なるタイミングにユーザからの音声コマンドを取得する。音声コマンドは、機器を動作させるためにユーザが発した音声を示す。また、運転状況取得部２０２は、音声コマンド取得部２０５によって音声コマンドが取得されたタイミングにおいて、ネットワークを介して複数の機器の運転状況情報を取得する。
　ノイズ除去部２０６は、機器制御のための音声コマンドが入力されたタイミングにおいて取得した複数の機器の運転状況情報と、構築された環境音情報データベース２０４の環境音情報とを参照して、音声コマンドからノイズを除去する。すなわち、ノイズ除去部２０６は、音声コマンドが取得されたタイミングにおいて運転状況取得部２０２によって取得された複数の機器の運転状況と一致する運転状況が環境音情報データベース２０４に記憶されている場合に、運転状況に関連付けて環境音情報データベース２０４に記憶されている環境音に基づいて、音声コマンドからノイズを除去する。ここで、ノイズを除去する方法については限定しない。ノイズ除去部２０６は、環境音情報からノイズをキャンセルする音を算出して再生してもよいし、取得した音声コマンドから信号処理によってノイズを除去してもよい。
　なお、環境音取得部２０１は、図１に示す音情報取得部１１３、通信部１１２及び通信部１０２によって実現され、運転状況取得部２０２は、図１に示す通信部１１２及び通信部１０２によって実現され、データベース管理部２０３は、図１に示す制御部１０１によって実現され、環境音情報データベース２０４は、図１に示す環境音情報データベース１０３によって実現され、音声コマンド取得部２０５は、図１に示す音情報取得部１１３、通信部１１２及び通信部１０２によって実現され、ノイズ除去部２０６は、図１に示す制御部１０１によって実現される。
　（機器制御システムの動作）
　図３は、本開示の実施の形態１における機器制御システムのデータベース構築処理を示すフローチャートである。
　図３を用いて、本実施の形態１における機器制御システムによる、データベースに蓄積される環境音の取得方法について説明する。なお、フローチャートの処理は継続的に行われるものとする。
　本実施の形態１における機器制御システムの目的上、データベースに蓄積される環境音には機器を制御するための音声が含まれていないことが望ましい。そこで、音声検知部（不図示）は、音声コマンドの入力が一定時間以上無いことを検知する。
　まず、音声検知部は、音声コマンドの入力が一定時間以上無いことが検知されたか否かを判断する（ステップＳ１）。音声検知部は、音声コマンドの取得が完了してから次に音声コマンドの取得が開始されるまでの時間を計時し、音声コマンドの取得が完了してからの時間が一定時間以上経過したか否かを判断する。音声コマンドの入力が一定時間以上無いと判断された場合（ステップＳ１でＹＥＳ）、ステップＳ２の処理に進む。一方、音声コマンドの入力が一定時間以内にあったと判断された場合（ステップＳ１でＮＯ）、ステップＳ１の処理を継続的に繰り返す。
　音声コマンドの入力が一定時間以上無いと判断された場合、運転状況取得部２０２は、複数の機器の運転状況を取得する（ステップＳ２）。
　次に、環境音取得部２０１は、環境音を取得する（ステップＳ３）。このように、環境音取得部２０１は、音声検知部によって音声コマンドの入力が一定時間以上無いことが検知された場合、複数の機器の周囲の環境音を取得する。なお、運転状況取得部２０２が複数の機器の運転状況を取得する処理と、環境音取得部２０１が環境音を取得する処理とが連続的に行われることにより、ほぼ同時刻に運転状況と環境音とを取得することができる。また、運転状況取得部２０２と環境音取得部２０１とは、同一時刻にそれぞれ運転状況と環境音とを取得してもよい。
　次に、データベース管理部２０３は、運転状況取得部２０２によって取得された複数の機器の運転状況と、環境音取得部２０１によって取得された環境音とを関連付けて環境音情報データベース２０４に記憶する（ステップＳ４）。
　図４は、環境音情報データベースのデータ構造の一例を示す図である。例えば、機器Ａ、機器Ｂ及び機器Ｃがネットワーク上に存在する場合、図４に示すように、機器Ａ及び機器ＢのＯＮ／ＯＦＦ状態情報と機器Ｃの運転モード（送風の強又は弱）とを組み合わせた１つのパターンに対して１つの環境音が関連付けられる。
　例えば、音声コマンドの入力が一定時間以上無いと判断された場合、運転状況取得部２０２は、電源がＯＮ状態である運転状況情報を機器Ａから取得し、電源がＯＮ状態である運転状況情報を機器Ｂから取得し、運転モードが強である運転状況情報を機器Ｃから取得する。また、この際、環境音取得部２０１は、環境音を取得し、取得した環境音をＷＡＶ形式ファイルの環境音情報「ＸＸＸ０１．ｗａｖ」としてデータベース管理部２０３へ出力する。データベース管理部２０３は、運転状況取得部２０２によって取得された各機器Ａ，Ｂ，Ｃの運転状況情報と、環境音取得部２０１によって取得された環境音情報とを関連付けて環境音情報データベース２０４に記憶する。
　なお、本実施の形態１では、音声コマンドの入力が一定時間以上無いことを検知することにより、人の有無を検知しているが、本開示は特にこれに限定されず、人感センサなどのセンサにより、人の有無を検知してもよい。
　図５は、本開示の実施の形態１の第１の変形例における機器制御システムのデータベース構築処理を示すフローチャートである。
　図５を用いて、本実施の形態１の第１の変形例における機器制御システムによる、データベースに蓄積される環境音の取得方法について説明する。なお、フローチャートの処理は継続的に行われるものとする。
　まず、人感センサ（不図示）は、複数の機器の周囲に存在する人を検知する（ステップＳ１１）。ここで、人の有無を検知するセンサは、人感センサに限定されない。
　次に、人感センサは、人が検知されたか否かを判断する。ここで、人が検知されないと判断された場合（ステップＳ１２でＮＯ）、ステップＳ１３の処理に進む。一方、人が検知されたと判断された場合（ステップＳ１２でＹＥＳ）、ステップＳ１１及びステップＳ１２の処理を継続的に繰り返す。
　人が検知されないと判断された場合、運転状況取得部２０２は、複数の機器の運転状況を取得する（ステップＳ１３）。
　次に、環境音取得部２０１は、環境音を取得する（ステップＳ１４）。このように、環境音取得部２０１は、人感センサによって人が検知されない場合、複数の機器の周囲の環境音を取得する。
　次に、環境音取得部２０１は、取得した環境音から、ノイズ除去に必要な環境音情報を算出する（ステップＳ１５）。環境音取得部２０１は、ステップＳ１４において環境音を取得した後、取得した環境音からノイズ除去に必要な特徴量を環境音情報として算出する。
　次に、データベース管理部２０３は、運転状況取得部２０２によって取得された複数の機器の運転状況と、環境音取得部２０１によって取得された環境音情報とを関連付けて環境音情報データベース２０４に記憶する（ステップＳ１６）。
　なお、図５に示す機器制御システムの動作において、ステップＳ１５の処理は省略してもよく、環境音取得部２０１は、ステップＳ１４で取得された環境音を環境音情報としてデータベース管理部２０３へ出力してもよい。
　また、図３及び図５では、運転状況を取得した後、環境音が取得されているが、本開示は特にこれに限定されず、環境音が取得された後、運転状況が取得されてもよい。また、運転状況取得部２０２は、運転状況を定期的に取得し、取得した時刻と運転状況とを対応付けて記憶してもよい。そして、データベース管理部２０３は、環境音取得部２０１によって環境音が取得された時刻に対応する運転状況を運転状況取得部２０２から読み出し、読み出した運転状況と、環境音とを関連付けて環境音情報データベース２０４に記憶してもよい。
　また、本実施の形態１において、環境音情報データベースが既に存在しており、環境音情報データベース上にない運転状況が検知された場合に環境音を取得してもよい。
　図６は、本開示の実施の形態１の第２の変形例における機器制御システムのデータベース構築処理を示すフローチャートである。
　図６を用いて、本実施の形態１の第２の変形例における機器制御システムによる、データベースに蓄積される環境音の取得方法について説明する。なお、フローチャートの処理は継続的に行われるものとする。
　まず、運転状況取得部２０２は、複数の機器の運転状況を取得する（ステップＳ２１）。
　次に、データベース管理部２０３は、運転状況取得部２０２によって取得された複数の機器の運転状況の組合せが、環境音情報データベース２０４にあるか否かを判断する（ステップＳ２２）。ここで、運転状況の組合せが環境音情報データベース２０４内に存在しないと判断された場合（ステップＳ２２でＮＯ）、ステップＳ２３の処理に進む。一方、運転状況の組合せが環境音情報データベース２０４内に存在すると判断された場合（ステップＳ２２でＹＥＳ）、ステップＳ２１及びステップＳ２２の処理を継続的に繰り返す。
　次に、環境音取得部２０１は、環境音を取得する（ステップＳ２３）。環境音取得部２０１は、運転状況取得部２０２によって取得した複数の機器の第１の時間における運転状況と一致する運転状況が環境音情報データベース２０４に記憶されていない場合、複数の機器の周囲の環境音を取得する。
　次に、データベース管理部２０３は、運転状況取得部２０２によって取得された複数の機器の運転状況と、環境音取得部２０１によって取得された環境音とを関連付けて環境音情報データベース２０４に記憶する（ステップＳ２４）。
　なお、環境音を取得するタイミングとしては、図３、図５及び図６のうちのどれか一つのフローチャートの条件を満たせばよく、図３、図５及び図６の全てのフローチャートの条件を満たしてもよい。
　なお、図６において、複数の機器の運転状況を取得している場合であっても、図５の複数の機器の運転状況を取得していない場合と同様に、環境音取得部２０１は、環境音から特徴量を算出してもよい。
　続いて、図７を用いて、本実施の形態１における機器制御システムのノイズ除去処理について説明する。
　図７は、本開示の実施の形態１における機器制御システムのノイズ除去処理を示すフローチャートである。
　まず、音声コマンド取得部２０５は、ユーザの発する音声コマンドの入力を受け付け、音声コマンドが入力されたか否かを判断する（ステップＳ３１）。
　次に、運転状況取得部２０２は、複数の機器の運転状況を取得する（ステップＳ３２）。
　次に、データベース管理部２０３は、運転状況取得部２０２によって取得された複数の機器の運転状況の組合せが、環境音情報データベース２０４にあるか否かを判断する（ステップＳ３３）。ここで、運転状況の組合せが環境音情報データベース２０４内に存在すると判断された場合（ステップＳ３３でＹＥＳ）、ノイズ除去部２０６は、環境音情報データベース２０４に記憶されている、取得された運転状況の組合せに対応する環境音情報を用いて、取得された音声コマンドから環境音（ノイズ）を除去する（ステップＳ３４）。
　一方、運転状況の組合せが環境音情報データベース２０４内に存在しないと判断された場合（ステップＳ３３でＮＯ）、ノイズ除去部２０６は、取得された音声コマンドに対して通常のノイズ除去処理を行い、取得された音声コマンドから環境音（ノイズ）を除去する（ステップＳ３５）。なお、通常のノイズ除去処理としては、例えば、スペクトラム・サブストラクション、ケプストラム平均化処理、又は音源を推定したエコーキャンセルなどがある。
　その後、ノイズ除去部２０６によってノイズが除去された音声コマンドに対して音声認識処理が行われ、音声コマンドに応じた機器の制御が行われる。
　このように、実施の形態１では、取得した複数の機器の運転状況と一致する運転状況がデータベースに記憶されている場合に、運転状況に関連付けてデータベースに記憶されている環境音に基づいて、音声コマンドからノイズが除去されるので、音声コマンドに含まれるノイズ（環境音）を確実に除去することができ、より確実に音声認識を行うことができる。
　なお、本実施の形態１において、環境音情報データベースは、家庭内の全ての機器の運転状況と環境音とを関連付けて記憶してもよい。また、環境音情報データベースは、環境音及び音声コマンドを取得するマイクが配置されている部屋ごとに設けられてもよく、各部屋内に配置された複数の機器の運転状況と環境音とを関連付けて記憶してもよい。
　また、図７に示すノイズ除去処理は、音声コマンドが入力されたマイクが配置されている部屋の環境音情報データベースを利用して行われてもよい。また、ノイズ除去処理が行われた後、音声認識が不可能であると判断された場合、さらに隣接する部屋の環境音情報データベースを利用してノイズ除去処理が行われてもよい。
　（実施の形態２）
　実施の形態１では、音声コマンドからノイズ（環境音）を除去しているが、実施の形態２では、騒音源となっている機器を制御することによりノイズ（環境音）を低減させる。
　図８は、本開示の実施の形態２における機器制御システムの構成を示すブロック図である。
　本実施の形態２における機器制御システムは、環境音取得部２０１と、運転状況取得部２０２と、データベース管理部２０３と、環境音情報データベース２０４と、音声コマンド取得部２０５と、ノイズ除去部２０７と、音声認識判断部２０８と、機器制御部２０９とを備える。なお、実施の形態２において、実施の形態１における機器制御システムと同じ構成については同じ符号を付し、説明を省略する。
　ノイズ除去部２０７は、音声コマンド取得部２０５によって取得された音声コマンドに対して通常のノイズ除去処理を行う。運転状況の組合せが環境音情報データベース２０４内に存在しないと判断された場合、ノイズ除去部２０７は、取得された音声コマンドに対して通常のノイズ除去処理を行い、取得された音声コマンドから環境音（ノイズ）を除去する。
　音声認識判断部２０８は、運転状況取得部２０２によって取得した複数の機器の第２の時間における運転状況と一致する運転状況が環境音情報データベース２０４に記憶されている場合に、運転状況に関連付けて環境音情報データベース２０４に記憶されている環境音から予測される音環境で、音声認識が可能であるか否かを判断する。
　ここで、環境音取得部２０１は、環境音を取得する際に、環境音の音量も取得する。環境音情報データベース２０４は、環境音だけでなく、環境音の音量も記憶している。音声認識判断部２０８は、運転状況取得部２０２によって取得した複数の機器の第２の時間における運転状況と一致する運転状況が環境音情報データベース２０４に記憶されている場合に、運転状況に関連付けて環境音情報データベース２０４に記憶されている環境音の音量が、音声認識が可能な所定の音量以下であるか否かを判断することにより、音声認識が可能であるか否かを判断する。環境音取得部２０１は、運転状況に関連付けて環境音情報データベース２０４に記憶されている環境音の音量が所定の音量以下である場合、音声認識が可能であると判断する。また、環境音取得部２０１は、運転状況に関連付けて環境音情報データベース２０４に記憶されている環境音の音量が所定の音量より大きい場合、音声認識が不可能であると判断する。
　機器制御部２０９は、音声認識判断部２０８によって音声認識が不可能であると判断された場合に、複数の機器のうち、環境音を発している機器を制御する。例えば、機器制御部２０９は、音声認識判断部２０８によって音声認識が不可能であると判断された場合に、複数の機器のうち、環境音が所定の音量以上である機器を制御してもよい。また、例えば、機器制御部２０９は、音声認識判断部２０８によって音声認識が不可能であると判断された場合に、複数の機器のうち、電源がオン状態である機器の電源をオフ状態にしてもよい。また、機器制御部２０９は、音声認識判断部２０８によって音声認識が不可能であると判断された場合に、音量が最も小さい環境音に対応する運転状況の組合せに応じて運転するように、複数の機器を制御してもよい。
　また、環境音情報データベース２０４は、過去に音声認識が成功したか否かに関する情報を、運転状況の組合せに関連付けて記憶してもよく、機器制御部２０９は、音声認識判断部２０８によって音声認識が不可能であると判断された場合に、過去に音声認識が成功した運転状況の組合せに応じて運転するように、複数の機器を制御してもよい。また、環境音情報データベース２０４が、過去に音声認識が成功したか否かに関する情報を、運転状況の組合せに関連付けて記憶している場合、音声認識判断部２０８は、運転状況取得部２０２によって取得された複数の機器の運転状況の組合せに関連付けて記憶されている、過去に音声認識が成功したか否かに関する情報に基づいて、音声認識が可能であるか否かを判断してもよい。
　なお、ノイズ除去部２０７は、図１に示す制御部１０１によって実現され、音声認識判断部２０８は、図１に示す制御部１０１によって実現され、機器制御部２０９は、図１に示す制御部１０１によって実現される。
　また、本開示の実施の形態２における機器制御システムのデータベース構築処理は、実施の形態１の図３、図５及び図６に示すデータベース構築処理と同じであるので、説明を省略する。
　続いて、図９を用いて、本実施の形態２における機器制御システムの機器制御処理について説明する。
　図９は、本開示の実施の形態２における機器制御システムの機器制御処理を示すフローチャートである。
　なお、図９に示すステップＳ４１～ステップＳ４３の処理は、図７に示すステップＳ３１～ステップＳ３３の処理と同じであるので、説明を省略する。
　運転状況の組合せが環境音情報データベース２０４内に存在しないと判断された場合（ステップＳ４３でＮＯ）、ノイズ除去部２０７は、取得された音声コマンドに対して通常のノイズ除去処理を行い、取得された音声コマンドから環境音（ノイズ）を除去する（ステップＳ４４）。
　一方、運転状況の組合せが環境音情報データベース２０４内に存在すると判断された場合（ステップＳ４３でＹＥＳ）、音声認識判断部２０８は、運転状況に関連付けて環境音情報データベース２０４に記憶されている環境音から予測される音環境で、音声認識が可能であるか否かを判断する（ステップＳ４５）。ここで、音声認識が可能であると判断された場合（ステップＳ４５でＹＥＳ）、処理を終了する。
　一方、音声認識が不可能であると判断された場合（ステップＳ４５でＮＯ）、機器制御部２０９は、複数の機器のうち、環境音を発している機器を制御する（ステップＳ４６）。機器制御部２０９は、音声コマンドにより機器を制御するために、環境音情報データベース２０４の情報を基に、音声認識の妨げとなるノイズを発している機器を制御する。機器制御部２０９は、例えば、ある機器Ａの電源がＯＮ状態である際に取得される環境音情報が、音声認識に適さないノイズを含む場合、機器Ａの電源を音声コマンドが入力される間だけ一時的にＯＦＦ状態にする。
　その後、ノイズが低減された音声コマンドに対して音声認識処理が行われ、音声コマンドに応じた機器の制御が行われる。
　なお、本機器制御システムにおいて、サーバ装置１００と表示装置（テレビ、スマートフォン、タブレット型コンピュータ又はＰＣなど）とがネットワークを介して接続されている場合、表示装置に対し、機器制御部２０９によって機器が制御されることを通知してもよい。
　図１０は、音声認識を可能にするために機器が制御される際に表示装置に表示される表示画面の一例を示す図である。
　図１０に示すように、表示画面には、運転中の複数の機器を示す画像と、各機器のノイズ値（音量）とが表示されている。データベース管理部２０３は、環境音取得部２０１によって取得された環境音から、各機器のノイズ値を算出する。なお、各機器のノイズ値は、各機器の運転状況に関連付けて予め記憶されていてもよい。また、表示画面には、音声認識を利用する際にどの機器をどの程度制御するかという情報が表示されている。例えば、図１０に示す表示画面では、エアコンの運転状況が強から弱に変更されることが表示されている。
　このように、実施の形態２では、音声認識が不可能であると判断された場合に、複数の機器のうち、環境音を発している機器が制御されるので、音声認識の妨げとなるノイズ（環境音）を低減することができ、より確実に音声認識を行うことができる。また、音声認識を利用する際に特定の機器が自動的に制御されることが通知されるため、ユーザの不快感を軽減できる。
　（実施の形態３）
　実施の形態２では、騒音源となっている機器を制御することによりノイズ（環境音）を低減させるが、実施の形態３では、騒音源となっている機器が存在することをユーザに提示する。
　図１１は、本開示の実施の形態３における機器制御システムの構成を示すブロック図である。
　本実施の形態３における機器制御システムは、環境音取得部２０１と、運転状況取得部２０２と、データベース管理部２０３と、環境音情報データベース２０４と、音声コマンド取得部２０５と、ノイズ除去部２０７と、音声認識判断部２０８と、提示部２１０とを備える。なお、実施の形態３において、実施の形態１及び実施の形態２における機器制御システムと同じ構成については同じ符号を付し、説明を省略する。
　提示部２１０は、音声認識判断部２０８によって判断された結果をユーザに提示する。提示部２１０は、音声認識判断部２０８によって音声認識が不可能であると判断された場合に、音声認識が不可能であることをユーザに提示する。提示部２１０は、音声認識判断部２０８によって音声認識が不可能であると判断された場合に、音声認識が不可能であることを示す表示画面を表示装置に送信する。表示装置は、受信した表示画面を表示する。なお、表示装置は、例えば、テレビ、スマートフォン、タブレット型コンピュータ又はＰＣなどである。
　なお、提示部２１０は、図１に示す制御部１０１によって実現される。
　また、本開示の実施の形態３における機器制御システムのデータベース構築処理は、実施の形態１の図３、図５及び図６に示すデータベース構築処理と同じであるので、説明を省略する。
　続いて、図１２を用いて、本実施の形態３における機器制御システムの情報提示処理について説明する。
　図１２は、本開示の実施の形態３における機器制御システムの情報提示処理を示すフローチャートである。
　なお、図１２に示すステップＳ５１～ステップＳ５３の処理は、図７に示すステップＳ３１～ステップＳ３３の処理と同じであるので、説明を省略する。また、図１２に示すステップＳ５４～ステップＳ５５の処理は、図９に示すステップＳ４４～ステップＳ４５の処理と同じであるので、説明を省略する。
　音声認識が不可能であると判断された場合（ステップＳ４５でＮＯ）、提示部２１０は、音声認識が不可能であることを示す音声認識可否情報をユーザに提示する（ステップＳ５６）。提示部２１０は、現状が音声コマンドの入力に適しているかどうかをユーザに提示してもよい。提示部２１０は、環境音情報データベース２０４の情報を基に、現状の機器の運転状況から予想される音環境で音声認識が可能であるか否かについての現状をユーザに提示する。なお、提示部２１０は、現状を提示した上で、音声認識可能な音環境となるようにユーザに機器の制御を促してもよい。また、音声認識可否情報は、音声認識が不可能であることを示す情報だけでなく、音声認識が可能であることを示す情報を含んでもよい。
　本機器制御システムにおいて、サーバ装置１００と表示装置（テレビ、スマートフォン、タブレット型コンピュータ又はＰＣなど）とがネットワークを介して接続されている場合、表示装置に対し、現在の環境音の状況を表示する。
　図１３は、音声認識が不可能であることをユーザに提示する際に表示装置に表示される表示画面の一例を示す図である。
　図１３に示すように、表示画面には、運転中の複数の機器を示す画像と、各機器のノイズ値（音量）とが表示されている。データベース管理部２０３は、環境音取得部２０１によって取得された環境音から、各機器のノイズ値を算出する。なお、各機器のノイズ値は、各機器の運転状況に関連付けて予め記憶されていてもよい。この際、図１３に示すように、表示装置は、ノイズ値の大きい機器を他の機器よりも大きく表示してもよい。また、図１３に示すように、表示装置は、現在のノイズ状況が、音声認識にふさわしくないノイズ状況であることを表示してもよい。
　音声認識が不可能であることを示す音声認識不可情報が提示されたユーザは、環境音を低減するべく機器の運転状況を変更する。これにより、ユーザに対して機器の運転状況の変更を促すことができ、音声認識の妨げとなるノイズ（環境音）を低減させることができる。
　以上、本実施の形態３における機器制御システムによれば、ユーザは、現在の機器の運転状況及びノイズの状況を容易に把握できる。また、ユーザは、ノイズの要因となっている機器を確認できる。
　本開示に係る機器制御方法及び機器制御システムは、より確実に音声認識を行うことができ、ユーザからの音声コマンドに基づいて複数の機器を制御する機器制御方法及び機器制御システムとして有用である。
　１００　　サーバ装置
　１０１　　制御部
　１０２　　通信部
　１０３　　環境音情報データベース
　１１０　　機器制御装置
　１１１　　制御部
　１１２　　通信部
　１１３　　音情報取得部
　１１４　　表示部
　１２０　　機器
　２０１　　環境音取得部
　２０２　　運転状況取得部
　２０３　　データベース管理部
　２０４　　環境音情報データベース
　２０５　　音声コマンド取得部
　２０６，２０７　　ノイズ除去部
　２０８　　音声認識判断部
　２０９　　機器制御部
　２１０　　提示部

Claims (10)

  1. 　ユーザからの音声コマンドに基づいて複数の機器を制御する機器制御方法であって、
    　第１の時間に前記複数の機器の周囲の環境音を取得する環境音取得ステップと、
    　ネットワークを介して前記複数の機器の前記第１の時間における運転状況を取得する第１の運転状況取得ステップと、
    　前記第１の運転状況取得ステップにおいて取得した前記第１の時間における前記運転状況と、前記環境音取得ステップにおいて前記第１の時間に取得した前記環境音とを関連付けてデータベースに記憶するデータベース管理ステップと、
    　を含む機器制御方法。
  2. 　前記第１の時間とは異なる第２の時間に前記ユーザからの音声コマンドを取得する音声コマンド取得ステップと、
    　前記ネットワークを介して前記複数の機器の前記第２の時間における運転状況を取得する第２の運転状況取得ステップと、
    　前記第２の運転状況取得ステップにおいて取得した前記複数の機器の前記第２の時間における運転状況と一致する運転状況が前記データベースに記憶されている場合に、前記運転状況に関連付けて前記データベースに記憶されている前記環境音に基づいて、前記音声コマンドからノイズを除去するノイズ除去ステップと、
    　をさらに含む請求項１記載の機器制御方法。
  3. 　前記第１の時間とは異なる第２の時間に前記ユーザからの音声コマンドを取得する音声コマンド取得ステップと、
    　前記ネットワークを介して前記複数の機器の前記第２の時間における運転状況を取得する第２の運転状況取得ステップと、
    　前記第２の運転状況取得ステップにおいて取得した前記複数の機器の前記第２の時間における運転状況と一致する運転状況が前記データベースに記憶されている場合に、前記運転状況に関連付けて前記データベースに記憶されている前記環境音から予測される音環境で、音声認識が可能であるか否かを判断する判断ステップと、
    　前記判断ステップにおいて判断された結果をユーザに提示する提示ステップと、
    　をさらに含む請求項１記載の機器制御方法。
  4. 　前記第１の時間とは異なる第２の時間に前記ユーザからの音声コマンドを取得する音声コマンド取得ステップと、
    　前記ネットワークを介して前記複数の機器の前記第２の時間における運転状況を取得する第２の運転状況取得ステップと、
    　前記第２の運転状況取得ステップにおいて取得した前記複数の機器の前記第２の時間における運転状況と一致する運転状況が前記データベースに記憶されている場合に、前記運転状況に関連付けて前記データベースに記憶されている前記環境音から予測される音環境で、音声認識が可能であるか否かを判断する判断ステップと、
    　前記判断ステップにおいて音声認識が不可能であると判断された場合に、前記複数の機器のうち、前記環境音を発している機器を制御する機器制御ステップと、
    　をさらに含む請求項１記載の機器制御方法。
  5. 　前記データベースは、過去に音声認識が成功したか否かを、前記運転状況に関連付けてさらに記憶しており、
    　前記機器制御ステップは、前記判断ステップにおいて音声認識が不可能であると判断された場合に、前記データベースに記憶されている過去に音声認識に成功した運転状況で運転するように、前記複数の機器を制御する請求項４記載の機器制御方法。
  6. 　前記判断ステップは、前記第２の運転状況取得ステップにおいて取得した前記複数の機器の前記第２の時間における運転状況と一致する運転状況が前記データベースに記憶されている場合に、前記運転状況に関連付けて前記データベースに記憶されている前記環境音の音量が、音声認識が可能な所定の音量以下であるか否かを判断することにより、音声認識が可能であるか否かを判断する請求項３～５のいずれかに記載の機器制御方法。
  7. 　前記音声コマンドの入力が一定時間以上無いことを検知する音声検知ステップをさらに含み、
    　前記環境音取得ステップは、前記音声検知ステップにおいて前記音声コマンドの入力が一定時間以上無いことが検知された場合、前記複数の機器の周囲の環境音を取得する請求項１～６のいずれかに記載の機器制御方法。
  8. 　前記複数の機器の周囲に存在する人を検知する人検知ステップをさらに含み、
    　前記環境音取得ステップは、前記人検知ステップにおいて人が検知されない場合、前記複数の機器の周囲の環境音を取得する請求項１～６のいずれかに記載の機器制御方法。
  9. 　前記環境音取得ステップは、前記第１の運転状況取得ステップにおいて取得した前記複数の機器の前記第１の時間における運転状況と一致する運転状況が前記データベースに記憶されていない場合、前記複数の機器の周囲の環境音を取得する請求項１～６のいずれかに記載の機器制御方法。
  10. 　ユーザからの音声コマンドに基づいて複数の機器を制御する機器制御システムであって、
    　第１の時間に前記複数の機器の周囲の環境音を取得する環境音取得部と、
    　ネットワークを介して前記複数の機器の前記第１の時間における運転状況を取得する運転状況取得部と、
    　前記運転状況取得部によって取得した前記第１の時間における前記運転状況と、前記環境音取得部によって前記第１の時間に取得した前記環境音とを関連付けてデータベースに記憶するデータベース管理部と、
    　を備える機器制御システム。
PCT/JP2014/004200 2013-08-29 2014-08-18 機器制御方法及び機器制御システム WO2015029362A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015533966A JP6466844B2 (ja) 2013-08-29 2014-08-18 機器制御方法及び機器制御システム
US14/741,723 US9418665B2 (en) 2013-08-29 2015-06-17 Method for controlling device and device control system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361871605P 2013-08-29 2013-08-29
US61/871,605 2013-08-29
JP2014-146692 2014-07-17
JP2014146692 2014-07-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/741,723 Continuation US9418665B2 (en) 2013-08-29 2015-06-17 Method for controlling device and device control system

Publications (1)

Publication Number Publication Date
WO2015029362A1 true WO2015029362A1 (ja) 2015-03-05

Family

ID=52585956

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/004200 WO2015029362A1 (ja) 2013-08-29 2014-08-18 機器制御方法及び機器制御システム

Country Status (3)

Country Link
US (1) US9418665B2 (ja)
JP (1) JP6466844B2 (ja)
WO (1) WO2015029362A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017134935A1 (ja) * 2016-02-03 2017-08-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018169442A (ja) * 2017-03-29 2018-11-01 京セラドキュメントソリューションズ株式会社 音声入力システム、音声入力装置および音声入力プログラム
US10448762B2 (en) 2017-09-15 2019-10-22 Kohler Co. Mirror
US10663938B2 (en) 2017-09-15 2020-05-26 Kohler Co. Power operation of intelligent devices
WO2020230784A1 (ja) * 2019-05-13 2020-11-19 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 制御装置、ロボット、制御方法及び制御プログラム
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
WO2021131532A1 (ja) * 2019-12-27 2021-07-01 アイリスオーヤマ株式会社 送風機
US11093554B2 (en) 2017-09-15 2021-08-17 Kohler Co. Feedback for water consuming appliance
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
WO2022249801A1 (ja) 2021-05-28 2022-12-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音声認識装置、音声認識方法、及び音声認識プログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540979B2 (en) * 2014-04-17 2020-01-21 Qualcomm Incorporated User interface for secure access to a device using speaker verification
US10339958B2 (en) * 2015-09-09 2019-07-02 Arris Enterprises Llc In-home legacy device onboarding and privacy enhanced monitoring
US11126525B2 (en) * 2015-09-09 2021-09-21 Arris Enterprises Llc In-home legacy device onboarding and privacy enhanced monitoring
US10529324B1 (en) * 2016-12-27 2020-01-07 Cognistic, LLC Geographical based voice transcription
JP6419254B2 (ja) * 2017-04-24 2018-11-07 ヤフー株式会社 推定装置、推定方法および推定プログラム
JP7011189B2 (ja) * 2017-07-14 2022-02-10 ダイキン工業株式会社 機器制御システム
JP2020064197A (ja) * 2018-10-18 2020-04-23 コニカミノルタ株式会社 画像形成装置、音声認識装置、及びプログラム
KR102570384B1 (ko) 2018-12-27 2023-08-25 삼성전자주식회사 가전기기 및 이의 음성 인식 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57212495A (en) * 1981-06-24 1982-12-27 Nissan Motor Voice load driver for vehicle
JP2000029500A (ja) * 1998-07-08 2000-01-28 Denso Corp 雑音抑圧装置及び当該装置を用いた音声認識システム
JP2005090838A (ja) * 2003-09-17 2005-04-07 Noritz Corp 温水システム
JP2006058479A (ja) * 2004-08-18 2006-03-02 Matsushita Electric Works Ltd 音声認識機能付制御装置
JP2007065122A (ja) * 2005-08-30 2007-03-15 Aisin Seiki Co Ltd 車載用音声認識装置の雑音抑圧装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001075595A (ja) * 1999-09-02 2001-03-23 Honda Motor Co Ltd 車載用音声認識装置
JP4109414B2 (ja) 2000-12-18 2008-07-02 セイコーエプソン株式会社 音声認識を用いた機器制御方法および音声認識を用いた機器制御システムならびに音声認識を用いた機器制御プログラムを記録した記録媒体
US8589161B2 (en) * 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
US8359020B2 (en) * 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57212495A (en) * 1981-06-24 1982-12-27 Nissan Motor Voice load driver for vehicle
JP2000029500A (ja) * 1998-07-08 2000-01-28 Denso Corp 雑音抑圧装置及び当該装置を用いた音声認識システム
JP2005090838A (ja) * 2003-09-17 2005-04-07 Noritz Corp 温水システム
JP2006058479A (ja) * 2004-08-18 2006-03-02 Matsushita Electric Works Ltd 音声認識機能付制御装置
JP2007065122A (ja) * 2005-08-30 2007-03-15 Aisin Seiki Co Ltd 車載用音声認識装置の雑音抑圧装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017134935A1 (ja) * 2016-02-03 2017-08-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018169442A (ja) * 2017-03-29 2018-11-01 京セラドキュメントソリューションズ株式会社 音声入力システム、音声入力装置および音声入力プログラム
US11892811B2 (en) 2017-09-15 2024-02-06 Kohler Co. Geographic analysis of water conditions
US10448762B2 (en) 2017-09-15 2019-10-22 Kohler Co. Mirror
US10663938B2 (en) 2017-09-15 2020-05-26 Kohler Co. Power operation of intelligent devices
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
US11949533B2 (en) 2017-09-15 2024-04-02 Kohler Co. Sink device
US11921794B2 (en) 2017-09-15 2024-03-05 Kohler Co. Feedback for water consuming appliance
US11093554B2 (en) 2017-09-15 2021-08-17 Kohler Co. Feedback for water consuming appliance
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
US11314215B2 (en) 2017-09-15 2022-04-26 Kohler Co. Apparatus controlling bathroom appliance lighting based on user identity
US11314214B2 (en) 2017-09-15 2022-04-26 Kohler Co. Geographic analysis of water conditions
WO2020230784A1 (ja) * 2019-05-13 2020-11-19 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 制御装置、ロボット、制御方法及び制御プログラム
JP2021107699A (ja) * 2019-12-27 2021-07-29 アイリスオーヤマ株式会社 送風機
WO2021131532A1 (ja) * 2019-12-27 2021-07-01 アイリスオーヤマ株式会社 送風機
WO2022249801A1 (ja) 2021-05-28 2022-12-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音声認識装置、音声認識方法、及び音声認識プログラム

Also Published As

Publication number Publication date
US9418665B2 (en) 2016-08-16
JPWO2015029362A1 (ja) 2017-03-02
JP6466844B2 (ja) 2019-02-06
US20150287414A1 (en) 2015-10-08

Similar Documents

Publication Publication Date Title
WO2015029362A1 (ja) 機器制御方法及び機器制御システム
US11462213B2 (en) Information processing apparatus, information processing method, and program
JP5473520B2 (ja) 入力装置及びその制御方法
US20180197533A1 (en) Systems and Methods for Recognizing User Speech
JP7284426B2 (ja) 機器制御システム
JP5192414B2 (ja) 音声情報表示システム
WO2017141530A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US10522139B2 (en) Electronic device and control method thereof
JP6921969B2 (ja) 空気清浄機
WO2018216258A1 (ja) 処理装置、処理方法及びプログラム
US9953267B2 (en) Control method and non-transitory computer readable recording medium
JP2007114537A (ja) 音声案内出力装置
US20220122600A1 (en) Information processing device and information processing method
JP6373709B2 (ja) 対話装置
US20220101631A1 (en) Data processing device, data processing method, and program
JP2010230829A (ja) 音声監視装置、その方法、及び、そのプログラム
WO2013073094A1 (ja) 消費電力推定装置、消費電力推定システム、消費電力推定方法および消費電力推定プログラムを格納した非一時的なコンピュータ可読媒体
WO2020059879A1 (ja) 発話装置、サーバ、制御システム、制御方法、およびプログラム
JP2011039676A (ja) 監視装置及び警報通知方法
EP3745236A1 (en) Information processing device and information processing method
JP7182154B2 (ja) 機器制御システム
JP6648776B2 (ja) 運用管理装置、運用管理システム、運用管理方法、プログラム
WO2017190803A1 (en) Ambient sound monitoring and visualizing system for hearing impaired persons
JP7241195B2 (ja) 設備管理装置、設備管理方法、及びプログラム
US20240111645A1 (en) Utterance test method for utterance device, utterance test server, utterance test system, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14839676

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015533966

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14839676

Country of ref document: EP

Kind code of ref document: A1