WO2019069587A1 - 家電システム - Google Patents

家電システム Download PDF

Info

Publication number
WO2019069587A1
WO2019069587A1 PCT/JP2018/031589 JP2018031589W WO2019069587A1 WO 2019069587 A1 WO2019069587 A1 WO 2019069587A1 JP 2018031589 W JP2018031589 W JP 2018031589W WO 2019069587 A1 WO2019069587 A1 WO 2019069587A1
Authority
WO
WIPO (PCT)
Prior art keywords
control unit
user
home
detection device
home appliance
Prior art date
Application number
PCT/JP2018/031589
Other languages
English (en)
French (fr)
Inventor
裕樹 丸谷
幸雄 町田
弘暁 川口
慶彦 氏田
翼 鷲崎
健吾 松永
Original Assignee
東芝ライフスタイル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東芝ライフスタイル株式会社 filed Critical 東芝ライフスタイル株式会社
Priority to US16/651,092 priority Critical patent/US20200241838A1/en
Priority to CN201880063007.4A priority patent/CN111164677A/zh
Publication of WO2019069587A1 publication Critical patent/WO2019069587A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/285—Generic home appliances, e.g. refrigerators

Definitions

  • the technology disclosed herein relates to a home appliance system.
  • Patent Document 1 discloses an air conditioner provided with voice recognition means and operation control means.
  • the operation control means performs operation control of the air conditioner according to the voice recognition result.
  • a plurality of home appliances exist in addition to the air conditioner.
  • home appliances such as a refrigerator, a washing machine, a self-propelled cleaner, and an air conditioner.
  • the voice recognition of Patent Document 1 when there are a plurality of home appliances, it is not possible to recognize which one of the home appliances to control the operation of.
  • the present specification provides a technology capable of specifying one or more home electric appliances even when the user does not say the name of a specific home electric appliance when there are a plurality of home electric appliances.
  • a home electric appliance system disclosed in the present specification includes a detection device that can communicate with a plurality of home electric appliances and detects an utterance of a user, and a control unit.
  • the control unit identifies one or more of the plurality of home appliances based on the content of the user's utterance detected by the detection device.
  • the home appliance system 1 includes a detection device 10 and a plurality of home appliances 50.
  • the detection device 10 is disposed, for example, in a living room in a home.
  • positioned is not specifically limited, For example, the detection apparatus 10 may be arrange
  • the detection device 10 can wirelessly communicate with a plurality of home appliances 50 disposed in a home.
  • the communication system of the detection device 10 and the home appliance 50 is not particularly limited.
  • the detection device 10 is connected to the external first server 90 via the wireless router 92, the modem 93, and the Internet 100, and can communicate with the external first server 90.
  • the detection device 10 may be able to communicate with a plurality of home appliances 50 via the first server 90.
  • the first server 90 is connected to an external second server 96 via the Internet 100.
  • the first server 90 includes a control unit 91.
  • the detection device 10 includes a microphone 12 and a speaker 13. Further, as shown in FIG. 3, the detection device 10 includes a wireless communication module 14 and a control unit 20.
  • the detection device 10 is a device that detects an utterance of a user of the home appliance system 1.
  • the microphone 12 of the detection device 10 is a device for acquiring the sound around the detection device 10.
  • the microphone 12 acquires the voice.
  • the microphone 12 can acquire, for example, sound within a radius of 5 m from the detection device 10.
  • the voice acquired by the microphone 12 is transmitted to the control unit 20 of the detection device 10.
  • the speaker 13 of the detection device 10 is a device that emits sound toward the periphery of the detection device 10.
  • the speaker 13 reports information to the user of the home appliance system 1 by voice.
  • the speaker 13 notifies the user of the information related to the home appliance 50 by voice to the user around the detection device 10.
  • the user who is around the detection device 10 can recognize the information notified by the sound emitted by the speaker 13.
  • the wireless communication module 14 of the detection device 10 is provided to wirelessly communicate with the plurality of home appliances 50 and the wireless router 92. Information is transmitted and received through the wireless communication module 14.
  • the control unit 20 of the detection device 10 includes an audio reception unit 21, an audio output unit 22, a storage unit 23, and a communication unit 24.
  • the voice receiving unit 21 in the control unit 20 receives from the microphone 12 the signal of the voice acquired by the microphone 12. Further, the audio output unit 22 outputs to the speaker 13 an audio signal for emitting toward the periphery of the detection device 10.
  • the communication unit 24 also transmits and receives information via the wireless communication module 14.
  • the storage unit 23 also stores analysis voice data for analyzing the voice received by the voice reception unit 21 from the microphone 12. Details of control executed by the control unit 20 of the detection device 10 will be described later.
  • the plurality of home appliances 50 in the home appliance system 1 are connected to the external first server 90 via the wireless router 92, the modem 93, and the Internet 100, and communicate with the external first server 90. It is possible.
  • Each home appliance 50 includes a communication unit (not shown).
  • the plurality of home appliances 50 in the home appliance system 1 are, for example, a refrigerator 50a, a washing machine 50b, a self-propelled cleaner 50c, and an air conditioner 50d.
  • Each home appliance 50 (50a, 50b, 50c, 50d) includes each control unit 60 (60a, 60b, 60c, 60d).
  • the type of the home appliance 50 is not particularly limited, and may be, for example, a microwave oven, a rice cooker, a television, a Blu-ray disc player, a DVD player, or the like.
  • the utterance of the user of the home appliance system 1 will be described.
  • the user of the home appliance system 1 makes various utterances.
  • the content of the user's speech may be associated with one or more home appliances 50 in the home appliance system 1. That is, as shown in FIG. 4, the keyword contained in the user's speech may be associated with one or more home appliances 50.
  • the user may speak "What is in the refrigerator?", "Please dry.”, “Clean up.”, “Room is hot.”, “Beer cold.”
  • the content of the utterance is related to the refrigerator 50a.
  • the content of the utterance is related to the washing machine 50b.
  • a keyword included in each utterance content of the user is associated with each home appliance 50.
  • the above-described home appliance system 1 executes various processes based on the contents of such user's utterance. This is explained below.
  • the correspondence between the utterance content, the keyword, and the home appliance 50 illustrated in FIG. 4 is an example, and is not particularly limited.
  • step S101 the voice reception unit 21 of the detection device 10 receives a voice uttered by the user of the home appliance system 1.
  • the microphone 12 of the detection device 10 acquires the voice and transmits it to the control unit 20.
  • the voice receiving unit 21 of the control unit 20 receives the voice ("What is in the refrigerator?", "Beer cold with beer”).
  • the control unit 20 analyzes the voice received by the voice receiving unit 21 using the analysis voice data stored in the storage unit 23.
  • the control unit 20 analyzes the voice and extracts keywords contained in the voice. For example, the control unit 20 analyzes the voice of "What is in the refrigerator?" Received by the voice receiving unit 21, and extracts the keyword “refrigerator” included in the voice as shown in FIG. Do.
  • the control unit 20 analyzes the voice of “Beer cold” received by the voice receiving unit 21 and extracts the keywords “beer” and “cold” included in the voice.
  • the keyword "refrigerator” is a keyword of the device name system. Also, the keyword “beer” is a keyword of related language system, and the keyword “chill” is a keyword of control content system.
  • the control unit 20 specifies the home appliance 50 related to the keyword based on the keyword extracted by the voice analysis. For example, among the plurality of home appliances 50 in the home appliance system 1, the control unit 20 specifies the home appliance 50 that is related to the extracted keyword "refrigerator", that is, the "refrigerator 50a". In addition, the control unit 20 may specify the "fridge 50a" associated with the extracted keyword "beer” and "cool” based on the extracted keyword.
  • step S104 the control unit 20 determines the control content for the home appliance 50 (for example, the refrigerator 50a) specified in step S103 described above.
  • the control unit 20 determines the control content related to the keyword based on the keyword extracted by speech analysis. For example, the control unit 20 determines the control content for cooling the inside of the refrigerator by lowering the temperature in the refrigerator of the refrigerator 50a based on the extracted keyword "cool".
  • control part 20 performs processing of Step S105, when acquiring household appliance related information.
  • the home appliance related information is information related to the home appliance 50 (for example, the refrigerator 50a) specified by the control unit 20 in step S103 described above.
  • the home appliance related information includes, for example, information on objects in the refrigerator 50a and information on the temperature in the refrigerator.
  • step S105 the control unit 20 of the detection device 10 transmits an information acquisition request to the home appliance 50 (for example, the refrigerator 50a).
  • the control unit 60 of the home appliance 50 receives the information acquisition request.
  • step S106 the control unit 60 of the home appliance 50 transmits home appliance related information to the detection device 10 in response to the received information acquisition request.
  • the control unit 20 of the detection device 10 receives the home appliance related information.
  • control part 20 of detection device 10 performs processing of Step S107, when controlling operation of household appliance 50 (for example, refrigerator 50a) specified at above-mentioned step S103.
  • Control part 20 controls operation of household appliance 50 (for example, refrigerator 50a) based on control contents determined at the above-mentioned step S104.
  • step S107 the control unit 20 of the detection device 10 transmits control information to the home appliance 50 (for example, the refrigerator 50a).
  • the control unit 60 of the home appliance 50 receives the control information.
  • the control information is information related to the control content of the home appliance 50 (for example, the refrigerator 50a).
  • the control information includes, for example, information for lowering the temperature in the refrigerator of the refrigerator 50a to cool the inside of the refrigerator.
  • step S108 the control unit 60 of the home appliance 50 transmits control response information to the detection device 10 in response to the received control information.
  • the control response information is received by the control unit 20 of the detection device 10.
  • the control unit 60 of the home appliance 50 controls the operation based on the received control information. For example, the control unit 60 performs control to cool the inside of the refrigerator by lowering the temperature inside the refrigerator 50a.
  • the home appliance system 1 includes the detection device 10 that can communicate with a plurality of home appliances 50 and detects a user's speech, and the control unit 20 in the detection device 10.
  • the control unit 20 specifies one of the plurality of home appliances 50 (for example, the refrigerator 50 a) based on the content of the user's utterance detected by the detection device 10. More specifically, the control unit 20 selects one home electric appliance 50 associated with the keyword based on one or more keywords (for example, “refrigerator”, “beer”, “chill”) included in the user's speech. (For example, the refrigerator 50a) is specified.
  • the control unit 20 in the detection device 10 specifies the home appliance 50, the control unit 20 can execute information processing in the local environment, and the processing speed is increased.
  • control unit 20 of the detection device 10 identifies the refrigerator 50a
  • other household appliances 50 a washing machine 50b, a self-propelled cleaner 50c, an air conditioner 50d, etc.
  • the control part 20 acquires the information relevant to the identified household appliance 50 (for example, refrigerator 50a) from the household appliance 50 (for example, refrigerator 50a). Therefore, home appliance related information acquired for the specified home appliance 50 (for example, the refrigerator 50a) can be effectively used.
  • the identified household appliance 50 for example, refrigerator 50a
  • the household appliance 50 for example, refrigerator 50a
  • the control part 20 controls operation
  • movement of the identified household appliance 50 for example, refrigerator 50a
  • the control unit 20 performs control to cool the inside of the refrigerator by lowering the temperature inside the refrigerator 50a based on the contents of the utterance. Therefore, the user's request can be met.
  • two or more household appliances 50 specified based on the content of the user's speech may exist.
  • the same type of home appliance 50 for example, the air conditioner 50d
  • the air conditioner 50d is disposed in each of them.
  • the first air conditioner 50d1 is disposed in the living 80a on the first floor
  • the second air conditioner 50d2 is disposed in the bedroom 80b on the second floor
  • the third air conditioner 50d3 is disposed in the children's room 80c on the second floor Do.
  • the control unit 20 of the detection device 10 specifies the plurality of air conditioners 50d based on the keyword "air conditioner” included in the user's utterance. Further, the control unit 20 specifies the second air conditioner 50d2 disposed in the bedroom 80b based on the keyword "bedroom” included in the user's utterance.
  • the control unit 20 of the detection device 10 controls the second air conditioner 50d2 disposed in the bedroom 80b of the second floor based on the keywords "second floor” and "air conditioner” included in the user's utterance, and the second floor
  • the third air conditioner 50d3 disposed in the children's room 80c is identified.
  • the control unit 20 of the detection device 10 when there are a plurality of home appliances 50 (for example, the air conditioner 50d) specified based on the content of the user's utterance, the control unit 20 of the detection device 10
  • the plurality of home appliances 50 (for example, the air conditioner 50d) specified based on the keyword included in the utterance of the one or more home appliances 50 related to the keyword (for example, the second air conditioner 50d2 of the bedroom 80b)
  • the second air conditioner 50d2 and the third air conditioner 50d3) on the second floor are specified.
  • the keywords “bedroom” and “2nd floor” included in the user's utterance in the above example are from the plurality of home appliances 50 of the same type to one or more home appliances 50 (for example, the second air conditioner 50d2 of the bedroom 80b) Or it is an example of the classification information for specifying the 2nd air-conditioner 50d2 of the second floor and the 3rd air-conditioner 50d3). According to this configuration, even when there are a plurality of home appliances 50 of the same type, one or more home appliances 50 can be specified based on the sorting information.
  • the control unit 20 may specify one or more home appliances 50 based on a combination of a plurality of classification information.
  • the home appliance 50 related to the keyword may be duplicated.
  • the process according to the third embodiment is performed.
  • the voice receiving unit 21 of the detection device 10 receives the voice uttered by the user (“the coldness is bad”).
  • the control unit 20 of the detection device 10 analyzes the voice of “the cold is bad” received by the voice receiving unit 21 and extracts the keyword “cold” included in the voice.
  • the control unit 20 specifies the home appliance 50 associated with the keyword based on the keyword "cold" extracted by the voice analysis.
  • step S111 the control unit 20 notifies the user of confirmation information by the speaker 13 of the detection device 10.
  • the confirmation information is information indicating that there are a plurality of electric home appliance 50 candidates specified based on the keyword extracted by the control unit 20.
  • the control unit 20 directs the user around the detection device 10 to the speaker 13 "What's the cold?" "The food is cold?", "The room is cold Emits a voice such as "?” These voices are an example of confirmation information.
  • step S112 subsequent to step S111, the microphone 12 of the detection device 10 acquires the voice and transmits the voice to the control unit 20.
  • the voice receiving unit 21 of the control unit 20 receives the voice (“the beer is badly cold”).
  • step S113 the control unit 20 analyzes the voice received by the voice receiving unit 21.
  • the control unit 20 analyzes the voice and extracts keywords contained in the voice. For example, the control unit 20 analyzes the voice of “the beer is badly cold” received by the voice receiving unit 21 and extracts the keyword “beer” included in the voice.
  • step S114 the control unit 20 specifies the home appliance 50 related to the keyword, that is, the "refrigerator 50a” based on the keyword “beer” extracted by voice analysis.
  • the control unit 20 performs the bedroom 80 b based on the keyword “bedroom” included in the utterance.
  • the processes from step S104 to step S108 have been described in the first embodiment, and thus detailed description will be omitted.
  • the confirmation information indicating this is used as a speaker
  • the user is notified by 13 (an example of a notification unit).
  • 13 an example of a notification unit.
  • the confirmation information is notified by the speaker 13
  • the user can select a specific home electric appliance 50 from a plurality of candidates.
  • the home appliance 50 can be specified based on the content of the user's utterance for the confirmation information.
  • the control unit 20 in the detection device 10 specifies the home appliance 50 (for example, the refrigerator 50a) based on the content of the user's speech, but the present invention is not limited to this configuration.
  • Control part 91 in server 90 may specify household appliance 50 (for example, refrigerator 50a) based on the contents of the user's utterance.
  • the process of step S121 is performed subsequent to the process of step S101 described above.
  • the control unit 20 of the detection device 10 sends, to the first server 90, the information of the voice (for example, "What is in the refrigerator ?," Beer cold ") received by the voice receiving unit 21 in step S101. Send.
  • the control unit 91 of the first server 90 receives the voice information.
  • step S122 the control unit 91 of the first server 90 determines whether or not analysis voice data for analyzing the voice received in step S121 exists in the first server 90. If the analysis voice data is present in the first server 90, the control unit 91 determines YES in step S122, and the process proceeds to step S125. On the other hand, when the analysis voice data does not exist in the first server 90, the control unit 91 determines NO in step S122 and executes the process of step S123.
  • step S123 the control unit 91 of the first server 90 transmits an information acquisition request to the external second server 96.
  • the control unit (not shown) of the second server 96 receives the information acquisition request.
  • step S124 the control unit of the second server 96 transmits the analysis voice data to the first server 90 in response to the received information acquisition request.
  • the second server 96 has voice data for analysis.
  • the controller 91 of the first server 90 receives the analysis voice data.
  • step S125 the control unit 91 analyzes the voice received in step S121 described above using the analysis voice data received in step S124 described above.
  • the control unit 91 analyzes the voice and extracts keywords included in the voice. For example, the control unit 91 analyzes the voice of "What is in the refrigerator?" And extracts the keyword “refrigerator” included in the voice. Further, the control unit 91 analyzes the voice of “Beer cold.” And extracts the keywords “beer” and “cold” included in the voice.
  • step S126 the control unit 91 of the first server 90 specifies the home appliance 50 related to the keyword based on the keyword extracted by the voice analysis. For example, among the plurality of home appliances 50 in the home appliance system 1, the control unit 91 specifies the home appliance 50 related to the extracted keyword "refrigerator", that is, the "refrigerator 50a". In addition, the control unit 91 may specify the "fridge 50a" related to the extracted keyword "beer” and "cool” based on the extracted keyword. Subsequently, at step S127, the control unit 91 transmits the home appliance information of the home appliance 50 (fridge 50a) specified at step S126 to the detection device 10. The control unit 20 of the detection device 10 receives the home appliance information.
  • step S128 the control unit 91 of the first server 90 determines the control content for the home appliance 50 (for example, the refrigerator 50a) specified in step S126 described above.
  • the control unit 91 determines the control content related to the keyword based on the keyword extracted by the voice analysis. For example, the control unit 91 determines the control content for cooling the inside of the refrigerator by lowering the temperature inside the refrigerator 50a based on the extracted keyword "cool”.
  • step S129 the control unit 91 transmits information of the control content determined in step S128 to the detection device 10.
  • the control unit 20 of the detection device 10 receives the control content information.
  • steps S105 to S108 are executed.
  • the processes from step S105 to step S108 have been described in the first embodiment, and thus detailed description will be omitted.
  • the control unit 91 in the first server 90 specifies the home appliance 50 (for example, the refrigerator 50a) based on the content of the user's utterance. According to this configuration, since data of an information amount larger than that of the detection device 10 is stored in the first server 90, the home appliance 50 can be identified based on the large information amount. According to this configuration, the accuracy of speech analysis is enhanced.
  • the control unit 20 in the detection device 10 or the control unit 91 in the first server 90 specifies the home appliance 50 (for example, the refrigerator 50a) based on the content of the user's speech. It is not limited and each control part 60 in each household appliance 50 may specify each household appliance 50 (for example, refrigerator 50a, air-conditioner 50d, etc.) based on the contents of the user's speech.
  • the process of step S131 is executed following the process of step S101 described above.
  • step S131 the control unit 20 of the detection device 10 transmits the information of the voice (for example, "What is in the refrigerator ?,” Beer cold ") received by the voice receiving unit 21 in step S101 to the home appliance 50 Do.
  • voice information is the refrigerator 50a, for example.
  • the control unit 60 of the home appliance 50 (for example, the refrigerator 50a) receives the voice information.
  • step S132 the control unit 60 of the home appliance 50 analyzes the voice received in step S131.
  • a storage unit (not shown) of the home appliance 50, analysis voice data for analyzing voice is stored.
  • the control unit 60 analyzes the voice using the analysis voice data stored in the storage unit, and extracts the keyword included in the voice. For example, the control unit 60 analyzes the voice of "What is in the refrigerator?" And extracts the keyword "refrigerator” included in the voice. Further, the control unit 60 analyzes the voice of “Beer cold.” And extracts the keywords “beer” and “cold” included in the voice.
  • step S133 the control unit 60 of the home appliance 50 determines, based on the keyword extracted by voice analysis, whether or not the home appliance 50 itself is the home appliance 50 related to the keyword. For example, when the keyword extracted by the control unit 60 is "refrigerator", the home appliance 50 related to the keyword is the refrigerator 50a. Since the control part 60 corresponds with the household appliances 50 (fridge 50a) relevant to a keyword, when the own household appliances 50 are the refrigerator 50a, it is judged as YES by step S133. If YES in step S133, the control unit 60 proceeds to step S134. On the other hand, when the home appliance 50 is not a home appliance 50 related to a keyword (for example, a refrigerator) (for example, when the home appliance 50 is an air conditioner 50d), the control unit 60 determines NO in step S133. End the process.
  • a home appliance 50 related to a keyword for example, a refrigerator
  • the control unit 60 determines NO in step S133. End the process.
  • step S134 the control unit 60 of the home appliance 50 specifies that the home appliance 50 related to the extracted keyword (refrigerator) is its own home appliance 50 (refrigerator 50a). Subsequently, in step S135, the control unit 60 transmits the home appliance information of the home appliance 50 (the refrigerator 50a) identified in step S134 to the detection device 10. The control unit 20 of the detection device 10 receives the home appliance information.
  • step S136 the control unit 60 of the home appliance 50 determines the control content for the home appliance 50 (for example, the refrigerator 50a) specified in step S134 described above.
  • the control unit 60 determines the control content related to the keyword based on the keyword extracted by the voice analysis. For example, the control unit 60 determines the control content to cool the inside of the refrigerator by lowering the temperature inside the refrigerator 50a based on the extracted keyword "cool".
  • step S137 the control unit 60 transmits information on the control content determined in step S136 to the detection device 10.
  • the control unit 20 of the detection device 10 receives the control content information.
  • steps S105 to S108 are executed.
  • the processes from step S105 to step S108 have been described in the first embodiment, and thus detailed description will be omitted.
  • each control unit 60 in each home appliance 50 (for example, the refrigerator 50a, the washing machine 50b, the self-propelled cleaner 50c, the air conditioner 50d, etc.)
  • Each home appliance 50 is identified based on the content. According to this configuration, since each control unit 60 in each home appliance 50 executes a specific process, each home appliance 50 can be specified individually.
  • the control unit of the home appliance system 1 identifies one or more home appliances 50 based on the content of the user's speech
  • the home appliance 50 is identified by machine learning such as deep learning. It is also good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Selective Calling Equipment (AREA)

Abstract

家電システムは、複数の家電機器と通信可能であってユーザの発話を検知する検知装置と、制御部を備えている。前記制御部が、前記検知装置によって検知されるユーザの発話の内容に基づいて複数の前記家電機器のうちの１または複数の前記家電機器を特定する。

Description

家電システム
　本明細書に開示する技術は、家電システムに関する。
　特許文献１には、音声認識手段と運転制御手段を備えている空気調和機が開示されている。この空気調和機では、音声認識手段が認識した音声が制御指令である場合に、その音声認識結果に従って運転制御手段が空気調和機の運転制御を行っている。
日本国特許第５０２０２２２号公報
　一般的な家庭内には、空気調和機の他にも複数の家電機器が存在している。例えば、冷蔵庫、洗濯機、自走式掃除機、エアコン等の家電機器が存在している。また、複数の家電機器が存在する場合に、それら複数の家電機器の運転を制御したい場合がある。特許文献１の音声認識では、複数の家電機器が存在する場合に、それらのうちどの家電機器の運転を制御するのかを認識することができない。そこで本明細書は、複数の家電機器が存在する場合に、特定の家電機器の名称をユーザが言わない場合であっても、１または複数の家電機器を特定することができる技術を提供する。
　本明細書に開示する家電システムは、複数の家電機器と通信可能であってユーザの発話を検知する検知装置と、制御部を備えている。前記制御部が、前記検知装置によって検知されるユーザの発話の内容に基づいて複数の前記家電機器のうちの１または複数の前記家電機器を特定する。
第１実施例に係る家電システムの構成を模式的に示す図である。 第１実施例に係る検知装置の構成を模式的に示す図である。 第１実施例に係る検知装置の構成を示すブロック図である。 ユーザの発話内容に含まれているキーワードと家電機器の対応関係の一例を示すテーブルである。 第１実施例に係る家電システムで実行される処理を示すシーケンス図である。 第２実施例に係る家電システムの構成を模式的に示す図である。 第３実施例に係る家電システムで実行される処理を示すシーケンス図である。 第４実施例に係る家電システムで実行される処理を示すシーケンス図である。 第５実施例に係る家電システムで実行される処理を示すシーケンス図である。
［第１実施例］
　実施例に係る家電システム１について図面を参照して説明する。図１に示すように、第１実施例に係る家電システム１は、検知装置１０と、複数の家電機器５０を備えている。
　検知装置１０は、例えば、家庭内のリビングに配置されている。検知装置１０が配置される位置は特に限定されず、例えば家庭内のキッチン、ダイニング、寝室、子供部屋等に検知装置１０が配置されてもよい。検知装置１０は、家庭内に配置されている複数の家電機器５０と無線通信可能である。検知装置１０と家電機器５０の通信方式は特に限定されない。また、検知装置１０は、無線ルータ９２とモデム９３とインターネット１００を介して外部の第１サーバ９０に接続されており、外部の第１サーバ９０と通信可能である。検知装置１０は、第１サーバ９０を介して複数の家電機器５０と通信可能であってもよい。第１サーバ９０は、インターネット１００を介して外部の第２サーバ９６に接続されている。第１サーバ９０は制御部９１を備えている。
　図２に示すように、検知装置１０は、マイク１２とスピーカー１３を備えている。また、図３に示すように、検知装置１０は、無線通信モジュール１４と制御部２０を備えている。検知装置１０は、家電システム１のユーザの発話を検知する装置である。
　検知装置１０のマイク１２は、検知装置１０の周囲の音声を取得する装置である。検知装置１０の周囲で家電システム１のユーザが発話すると、その音声をマイク１２が取得する。マイク１２は、例えば、検知装置１０から半径５ｍの範囲内の音声を取得することができる。マイク１２が取得した音声は検知装置１０の制御部２０に送信される。
　検知装置１０のスピーカー１３は、検知装置１０の周囲に向けて音声を発する装置である。スピーカー１３は、音声によって家電システム１のユーザに情報を報知する。例えば、スピーカー１３は、家電機器５０に関連する情報を検知装置１０の周囲にいるユーザに向けて音声で報知する。検知装置１０の周囲にいるユーザは、スピーカー１３が発した音声によって報知された情報を認識することができる。
　検知装置１０の無線通信モジュール１４は、複数の家電機器５０および無線ルータ９２と無線通信するために設けられている。無線通信モジュール１４を通じて情報の送受信が行われる。
　検知装置１０の制御部２０は、音声受信部２１と、音声出力部２２と、記憶部２３と、通信部２４を備えている。制御部２０における音声受信部２１は、マイク１２が取得した音声の信号をマイク１２から受信する。また、音声出力部２２は、検知装置１０の周囲に向けて発するための音声の信号をスピーカー１３に出力する。また、通信部２４は、無線通信モジュール１４を介して情報の送受信を行う。また、記憶部２３には、音声受信部２１がマイク１２から受信した音声を分析するための分析用音声データが記憶されている。検知装置１０の制御部２０が実行する制御の詳細については後述する。
　図１に示すように、家電システム１における複数の家電機器５０は、無線ルータ９２とモデム９３とインターネット１００を介して外部の第１サーバ９０に接続されており、外部の第１サーバ９０と通信可能である。各家電機器５０は、図示しない通信部を備えている。家電システム１における複数の家電機器５０は、例えば冷蔵庫５０ａ、洗濯機５０ｂ、自走式掃除機５０ｃ、エアコン５０ｄである。各家電機器５０（５０ａ、５０ｂ、５０ｃ、５０ｄ）は、各制御部６０（６０ａ、６０ｂ、６０ｃ、６０ｄ）を備えている。家電機器５０の種類は特に限定されず、例えば電子レンジ、炊飯器、テレビ、ブルーレイディスクプレーヤー、ＤＶＤプレーヤー等であってもよい。
　次に、家電システム１のユーザの発話について説明する。家庭内では、家電システム１のユーザが様々な発話を行う。そのとき、ユーザの発話の内容が、家電システム１における１または複数の家電機器５０に関連していることがある。すなわち、図４に示すように、ユーザの発話に含まれているキーワードが１または複数の家電機器５０に関連していることがある。例えば、ユーザが、「冷蔵庫に何入ってる？」、「乾燥までお願い。」、「掃除して。」、「部屋が暑い。」、「ビール冷やして。」等の発話を行うことがある。ユーザが「冷蔵庫に何入ってる？」、「ビール冷やして。」等と発話した場合は、その発話の内容は、冷蔵庫５０ａに関連している。また、ユーザが「乾燥までお願い。」等と発話した場合は、その発話の内容は、洗濯機５０ｂに関連している。ユーザの各発話内容に含まれているキーワードが、各家電機器５０に関連している。上記の家電システム１では、このようなユーザの発話の内容に基づいて各種の処理を実行する。これについて以下に説明する。なお、図４に示す発話内容とキーワードと家電機器５０の対応関係は一例であり、特に限定されるものではない。
　次に、家電システム１で実行される処理について説明する。図５に示すように、家電システム１では、検知装置１０の電源がオンになるとまずステップＳ１０１の処理が実行される。ステップＳ１０１では、検知装置１０の音声受信部２１が、家電システム１のユーザの発話音声を受信する。家電システム１では、ユーザが何かを発話すると、検知装置１０のマイク１２がその音声を取得して制御部２０に送信する。例えば、家電システム１のユーザが「冷蔵庫に何入ってる？」、「ビール冷やして。」と発話したとすると、検知装置１０のマイク１２がその音声を取得して制御部２０に送信する。そして、制御部２０の音声受信部２１がその音声（「冷蔵庫に何入ってる？」、「ビール冷やして。」）を受信する。
　続いてステップＳ１０２では、制御部２０が、音声受信部２１が受信した音声を、記憶部２３に記憶されている分析用音声データを用いて分析する。制御部２０は、音声を分析してその音声に含まれているキーワードを抽出する。例えば、制御部２０は、音声受信部２１が受信した「冷蔵庫に何入ってる？」の音声を分析して、図４に示すように、その音声に含まれている「冷蔵庫」というキーワードを抽出する。また、制御部２０は、音声受信部２１が受信した「ビール冷やして。」の音声を分析して、その音声に含まれている「ビール」と「冷やし」というキーワードを抽出する。なお、「冷蔵庫」というキーワードは、機器名称系のキーワードである。また、「ビール」というキーワードは、関連語系のキーワードであり、「冷やし」というキーワードは、制御内容系のキーワードである。
　図５に示すように、続いてステップＳ１０３では、制御部２０が、音声分析によって抽出したキーワードに基づいて、そのキーワードに関連する家電機器５０を特定する。例えば、制御部２０は、家電システム１における複数の家電機器５０のうち、抽出したキーワード「冷蔵庫」に関連する家電機器５０すなわち「冷蔵庫５０ａ」を特定する。また、制御部２０は、抽出したキーワード「ビール」、「冷やし」に基づいて、そのキーワードに関連する「冷蔵庫５０ａ」を特定してもよい。
　続いてステップＳ１０４では、制御部２０が、上記のステップＳ１０３で特定した家電機器５０（例えば冷蔵庫５０ａ）に対する制御内容を決定する。制御部２０は、音声分析によって抽出したキーワードに基づいて、そのキーワードに関連する制御内容を決定する。例えば、制御部２０は、抽出したキーワード「冷やし」に基づいて、冷蔵庫５０ａの庫内の温度を下げて庫内を冷やす制御内容を決定する。
　続いて、制御部２０は、家電機器関連情報を取得する場合は、ステップＳ１０５の処理を実行する。家電機器関連情報は、上記のステップＳ１０３で制御部２０が特定した家電機器５０（例えば冷蔵庫５０ａ）に関連する情報である。家電機器関連情報には、例えば、冷蔵庫５０ａの庫内にある物の情報や庫内の温度の情報が含まれている。
　ステップＳ１０５では、検知装置１０の制御部２０が、情報取得要求を家電機器５０（例えば冷蔵庫５０ａ）に送信する。その情報取得要求を家電機器５０の制御部６０が受信する。続いてステップＳ１０６では、家電機器５０の制御部６０が、受信した情報取得要求に応答して、家電機器関連情報を検知装置１０に送信する。その家電機器関連情報を検知装置１０の制御部２０が受信する。
　続いて、検知装置１０の制御部２０は、上記のステップＳ１０３で特定した家電機器５０（例えば冷蔵庫５０ａ）の動作を制御する場合は、ステップＳ１０７の処理を実行する。制御部２０は、上記のステップＳ１０４で決定した制御内容に基づいて、家電機器５０（例えば冷蔵庫５０ａ）の動作を制御する。
　ステップＳ１０７では、検知装置１０の制御部２０が、制御情報を家電機器５０（例えば冷蔵庫５０ａ）に送信する。その制御情報を家電機器５０の制御部６０が受信する。制御情報は、家電機器５０（例えば冷蔵庫５０ａ）の制御内容に関連する情報である。制御情報には、例えば、冷蔵庫５０ａの庫内の温度を下げて庫内を冷やすための情報が含まれている。続いてステップＳ１０８では、家電機器５０の制御部６０が、受信した制御情報に応答して、制御応答情報を検知装置１０に送信する。その制御応答情報を検知装置１０の制御部２０が受信する。また、家電機器５０の制御部６０は、受信した制御情報に基づいて動作を制御する。例えば、制御部６０は、冷蔵庫５０ａの庫内の温度を下げて庫内を冷やす制御を実行する。
　以上、第１実施例に係る家電システム１について説明した。上記の説明から明らかなように、家電システム１は、複数の家電機器５０と通信可能であってユーザの発話を検知する検知装置１０と、検知装置１０における制御部２０を備えている。制御部２０が、検知装置１０によって検知されるユーザの発話の内容に基づいて複数の家電機器５０のうちの１つの家電機器５０（例えば冷蔵庫５０ａ）を特定する。より詳細には、制御部２０が、ユーザの発話に含まれている１または複数のキーワード（例えば「冷蔵庫」、「ビール」、「冷やし」）に基づいて、キーワードに関連する１つの家電機器５０（例えば冷蔵庫５０ａ）を特定する。
　この構成によれば、例えば、ユーザが「ビール冷やして。」と発話した場合に、ユーザが特定の家電機器５０（例えば冷蔵庫５０ａ）の名称を言わなくても、その発話（「ビール冷やして。」）の内容から家電機器５０（冷蔵庫５０ａ）を特定することができる。なお、ユーザが特定の家電機器５０（例えば冷蔵庫５０ａ）の名称を言う場合であっても、その家電機器５０（冷蔵庫５０ａ）を特定することができる。また、検知装置１０における制御部２０が家電機器５０を特定するので、制御部２０がローカル環境で情報処理を実行することができ、処理速度が速くなる。なお、上記の説明では、検知装置１０の制御部２０が冷蔵庫５０ａを特定する場合について説明したが、他の家電機器５０（洗濯機５０ｂ、自走式掃除機５０ｃ、エアコン５０ｄ等）を特定する場合でも上記と同様の処理が実行される。
　また、上記の家電システム１では、制御部２０が、特定した家電機器５０（例えば冷蔵庫５０ａ）に関連する情報をその家電機器５０（例えば冷蔵庫５０ａ）から取得する。そのため、特定した家電機器５０（例えば冷蔵庫５０ａ）について取得した家電機器関連情報を有効に利用することができる。
　また、上記の家電システム１では、制御部２０が、特定した家電機器５０（例えば冷蔵庫５０ａ）の動作をユーザの発話の内容に基づいて制御する。そのため、家電機器５０の動作を適切に制御することができる。例えば、ユーザが「ビール冷やして。」と発話した場合に、制御部２０が、その発話の内容に基づいて、冷蔵庫５０ａの庫内の温度を下げて庫内を冷やす制御をする。したがって、ユーザの要求に応えることができる。
　以上、一実施例について説明したが、具体的な態様は上記実施例に限定されるものではない。以下の説明において、上述の説明における構成と同様の構成については、同一の符号を付して説明を省略する。
［第２実施例］
　上記の家電システム１では、ユーザの発話の内容に基づいて特定される家電機器５０が複数存在する場合がある。例えば、家電システム１が設置される家庭内に同じ種類の家電機器５０が複数存在する場合がある。より詳細には、図６に示すように、家庭内に複数の部屋（例えば１階のリビング８０ａ、２階の寝室８０ｂ、２階の子供部屋８０ｃ等）が存在しており、複数の部屋のそれぞれに同じ種類の家電機器５０（例えばエアコン５０ｄ）が配置されている場合がある。例えば１階のリビング８０ａに第１エアコン５０ｄ１が配置されており、２階の寝室８０ｂに第２エアコン５０ｄ２が配置されており、２階の子供部屋８０ｃに第３エアコン５０ｄ３が配置されているとする。
　この場合に、家電システム１のユーザが例えば「寝室のエアコン消して。」と発話したとする。そうすると、検知装置１０の制御部２０が、ユーザの発話に含まれているキーワード「エアコン」に基づいて、複数のエアコン５０ｄを特定する。また、制御部２０が、ユーザの発話に含まれているキーワード「寝室」に基づいて、寝室８０ｂに配置されている第２エアコン５０ｄ２を特定する。また、ユーザが例えば「２階のエアコン消して。」と発話したとする。そうすると、検知装置１０の制御部２０が、ユーザの発話に含まれているキーワード「２階」と「エアコン」に基づいて、２階の寝室８０ｂに配置されている第２エアコン５０ｄ２と、２階の子供部屋８０ｃに配置されている第３エアコン５０ｄ３を特定する。
　以上のように第２実施例に係る家電システム１では、ユーザの発話の内容に基づいて特定される家電機器５０（例えばエアコン５０ｄ）が複数ある場合に、検知装置１０の制御部２０が、ユーザの発話に含まれているキーワードに基づいて、特定された複数の家電機器５０（例えばエアコン５０ｄ）の中から、キーワードに関連する１または複数の家電機器５０（例えば、寝室８０ｂの第２エアコン５０ｄ２または２階の第２エアコン５０ｄ２と第３エアコン５０ｄ３）を特定する。
　上記の例におけるユーザの発話に含まれている「寝室」と「２階」のキーワードは、同じ種類の複数の家電機器５０から１または複数の家電機器５０（例えば、寝室８０ｂの第２エアコン５０ｄ２または２階の第２エアコン５０ｄ２と第３エアコン５０ｄ３）を特定するための分別情報の一例である。この構成によれば、同じ種類の複数の家電機器５０が存在する場合であっても、分別情報に基づいて１または複数の家電機器５０を特定することができる。なお、制御部２０が複数の分別情報の組み合わせに基づいて１または複数の家電機器５０を特定してもよい。
［第３実施例］
　上記の家電システム１では、キーワードに関連する家電機器５０が重複する場合がある。この場合は、第３実施例に係る処理が実行される。例えば、家電システム１のユーザが「冷えが悪い。」と発話したとする。そうすると、上記のステップＳ１０１では、検知装置１０の音声受信部２１が、ユーザが発話した音声（「冷えが悪い。」）を受信する。また、ステップＳ１０２では、検知装置１０の制御部２０が、音声受信部２１が受信した「冷えが悪い。」の音声を分析して、その音声に含まれている「冷え」というキーワードを抽出する。また、ステップＳ１０３では、制御部２０が、音声分析によって抽出したキーワード「冷え」に基づいて、そのキーワードに関連する家電機器５０を特定する。制御部２０が抽出したキーワード「冷え」に関連する家電機器５０としては、図４に示すように、「冷蔵庫５０ａ」と「エアコン５０ｄ」がある。すなわち、キーワード「冷え」に基づいて特定される家電機器５０の候補が複数存在する（この場合は冷蔵庫５０ａとエアコン５０ｄが存在する。）。この場合は、次のステップＳ１１１の処理が実行される。
　図７に示すように、ステップＳ１１１では、制御部２０が、検知装置１０のスピーカー１３によって確認情報をユーザに報知する。確認情報は、制御部２０が抽出したキーワードに基づいて特定される家電機器５０の候補が複数あることを示す情報である。制御部２０は、例えば、検知装置１０の周囲にいるユーザに向かってスピーカー１３から「何の冷えが悪いですか？」、「食品の冷えが悪いですか？」、「部屋の冷えが悪いですか？」等の音声を発する。これらの音声は確認情報の一例である。
　家電システム１のユーザが、スピーカー１３から報知された確認情報に対して、「ビールの冷えが悪い。」と発話したとする。そうすると、ステップＳ１１１に続くステップＳ１１２では、検知装置１０のマイク１２がその音声を取得して制御部２０に送信する。制御部２０の音声受信部２１がその音声（「ビールの冷えが悪い。」）を受信する。
　続いてステップＳ１１３では、制御部２０が、音声受信部２１が受信した音声を分析する。制御部２０は、音声を分析してその音声に含まれているキーワードを抽出する。例えば、制御部２０は、音声受信部２１が受信した「ビールの冷えが悪い。」の音声を分析して、その音声に含まれている「ビール」というキーワードを抽出する。
　続いてステップＳ１１４では、制御部２０が、音声分析によって抽出したキーワード「ビール」に基づいて、そのキーワードに関連する家電機器５０すなわち「冷蔵庫５０ａ」を特定する。なお、家電システム１のユーザが確認情報に対して例えば「寝室の冷えが悪い。」と発話した場合は、制御部２０が、その発話に含まれているキーワード「寝室」に基づいて、寝室８０ｂに配置されている第２エアコン５０ｄ２を特定する。その後、ステップＳ１０４からステップＳ１０８の処理が実行される。ステップＳ１０４からステップＳ１０８の処理については、第１実施例で説明したので詳細な説明を省略する。
　以上のように第３実施例に係る家電システム１では、制御部２０が、ユーザの発話の内容に基づいて特定される家電機器５０の候補が複数ある場合に、そのことを示す確認情報をスピーカー１３（報知部の一例）によってユーザに報知する。この構成によれば、例えばユーザが「冷えが悪い。」と発話した場合に、ユーザが特定の家電機器５０（例えば冷蔵庫またはエアコン）の名称を言わなくても、その発話（「冷えが悪い。」）の内容から家電機器５０の候補（冷蔵庫およびエアコン）を特定することができる。また、スピーカー１３によって確認情報が報知されるので、複数の候補の中からユーザが特定の家電機器５０を選択することができる。また、確認情報に対するユーザの発話の内容に基づいて家電機器５０を特定することができる。
［第４実施例］
　上記の実施例では、検知装置１０における制御部２０が、ユーザの発話の内容に基づいて家電機器５０（例えば冷蔵庫５０ａ）を特定していたが、この構成に限定されるものではなく、第１サーバ９０における制御部９１が、ユーザの発話の内容に基づいて家電機器５０（例えば冷蔵庫５０ａ）を特定してもよい。第４実施例に係る家電システム１では、図８に示すように、上記のステップＳ１０１の処理に続いてステップＳ１２１の処理が実行される。ステップＳ１２１では、検知装置１０の制御部２０が、ステップＳ１０１で音声受信部２１が受信した音声（例えば「冷蔵庫に何入ってる？」、「ビール冷やして。」）の情報を第１サーバ９０に送信する。その音声情報を第１サーバ９０の制御部９１が受信する。
　続いてステップＳ１２２では、第１サーバ９０の制御部９１が、ステップＳ１２１で受信した音声を分析するための分析用音声データが第１サーバ９０に存在するか否かを判断する。分析用音声データが第１サーバ９０に存在する場合は、ステップＳ１２２で制御部９１がＹＥＳと判断してステップＳ１２５に進む。一方、分析用音声データが第１サーバ９０に存在しない場合は、ステップＳ１２２で制御部９１がＮＯと判断してステップＳ１２３の処理を実行する。
　ステップＳ１２３では、第１サーバ９０の制御部９１が、情報取得要求を外部の第２サーバ９６に送信する。その情報取得要求を第２サーバ９６の制御部（図示省略）が受信する。続いてステップＳ１２４では、第２サーバ９６の制御部が、受信した情報取得要求に応答して、分析用音声データを第１サーバ９０に送信する。第２サーバ９６には分析用音声データが存在する。その分析用音声データを第１サーバ９０の制御部９１が受信する。
　続いてステップＳ１２５では、制御部９１が、上記のステップＳ１２１で受信した音声を、上記のステップＳ１２４で受信した分析用音声データを用いて分析する。制御部９１は、音声を分析してその音声に含まれているキーワードを抽出する。例えば、制御部９１は、「冷蔵庫に何入ってる？」の音声を分析して、その音声に含まれている「冷蔵庫」というキーワードを抽出する。また、制御部９１は、「ビール冷やして。」の音声を分析して、その音声に含まれている「ビール」と「冷やし」というキーワードを抽出する。
　続いてステップＳ１２６では、第１サーバ９０の制御部９１が、音声分析によって抽出したキーワードに基づいて、そのキーワードに関連する家電機器５０を特定する。例えば、制御部９１は、家電システム１における複数の家電機器５０のうち、抽出したキーワード「冷蔵庫」に関連する家電機器５０すなわち「冷蔵庫５０ａ」を特定する。また、制御部９１は、抽出したキーワード「ビール」、「冷やし」に基づいて、そのキーワードに関連する「冷蔵庫５０ａ」を特定してもよい。続いてステップＳ１２７では、制御部９１が、ステップＳ１２６で特定した家電機器５０（冷蔵庫５０ａ）の家電機器情報を検知装置１０に送信する。その家電機器情報を検知装置１０の制御部２０が受信する。
　続いてステップＳ１２８では、第１サーバ９０の制御部９１が、上記のステップＳ１２６で特定した家電機器５０（例えば冷蔵庫５０ａ）に対する制御内容を決定する。制御部９１は、音声分析によって抽出したキーワードに基づいて、そのキーワードに関連する制御内容を決定する。例えば、制御部９１は、抽出したキーワード「冷やし」に基づいて、冷蔵庫５０ａの庫内の温度を下げて庫内を冷やす制御内容を決定する。続いてステップＳ１２９では、制御部９１が、ステップＳ１２８で決定した制御内容の情報を検知装置１０に送信する。その制御内容情報を検知装置１０の制御部２０が受信する。
　その後、検知装置１０の制御部２０が上記のステップＳ１２７とステップＳ１２９で受信した家電機器情報と制御内容情報に基づいて、ステップＳ１０５からステップＳ１０８の処理が実行される。ステップＳ１０５からステップＳ１０８の処理については、第１実施例で説明したので詳細な説明を省略する。
　以上のように第４実施例に係る家電システム１では、第１サーバ９０における制御部９１が、ユーザの発話の内容に基づいて家電機器５０（例えば冷蔵庫５０ａ）を特定する。この構成によれば、第１サーバ９０には検知装置１０よりも大きな情報量のデータが記憶されているので、大きな情報量に基づいて家電機器５０を特定することができる。この構成によれば音声分析の精度が高くなる。
［第５実施例］
　上記の実施例では、検知装置１０における制御部２０または第１サーバ９０における制御部９１が、ユーザの発話の内容に基づいて家電機器５０（例えば冷蔵庫５０ａ）を特定していたが、この構成に限定されるものではなく、各家電機器５０における各制御部６０が、ユーザの発話の内容に基づいて各家電機器５０（例えば冷蔵庫５０ａ、エアコン５０ｄ等）を特定してもよい。第５実施例に係る家電システム１では、図９に示すように、上記のステップＳ１０１の処理に続いてステップＳ１３１の処理が実行される。ステップＳ１３１では、検知装置１０の制御部２０が、ステップＳ１０１で音声受信部２１が受信した音声（例えば「冷蔵庫に何入ってる？」、「ビール冷やして。」）の情報を家電機器５０に送信する。音声情報の送信先の家電機器５０は、例えば冷蔵庫５０ａである。その音声情報を家電機器５０（例えば冷蔵庫５０ａ）の制御部６０が受信する。
　続いてステップＳ１３２では、家電機器５０の制御部６０が、ステップＳ１３１で受信した音声を分析する。家電機器５０の記憶部（図示省略）には音声を分析するための分析用音声データが記憶されている。制御部６０は、記憶部に記憶されている分析用音声データを用いて音声を分析し、その音声に含まれているキーワードを抽出する。例えば、制御部６０は、「冷蔵庫に何入ってる？」の音声を分析して、その音声に含まれている「冷蔵庫」というキーワードを抽出する。また、制御部６０は、「ビール冷やして。」の音声を分析して、その音声に含まれている「ビール」と「冷やし」というキーワードを抽出する。
　続いてステップＳ１３３では、家電機器５０の制御部６０が、音声分析によって抽出したキーワードに基づいて、自身の家電機器５０がそのキーワードに関連する家電機器５０であるか否かを判断する。例えば、制御部６０が抽出したキーワードが「冷蔵庫」である場合は、そのキーワードに関連する家電機器５０は冷蔵庫５０ａである。制御部６０は、自身の家電機器５０が冷蔵庫５０ａである場合は、キーワードに関連する家電機器５０（冷蔵庫５０ａ）と一致するので、ステップＳ１３３でＹＥＳと判断する。制御部６０は、ステップＳ１３３でＹＥＳの場合はステップＳ１３４に進む。一方、制御部６０は、自身の家電機器５０がキーワード（例えば冷蔵庫）に関連する家電機器５０でない場合（例えば自身の家電機器５０がエアコン５０ｄである場合）は、ステップＳ１３３でＮＯと判断して処理を終了する。
　続いてステップＳ１３４では、家電機器５０の制御部６０が、抽出したキーワード（冷蔵庫）に関連する家電機器５０が自身の家電機器５０（冷蔵庫５０ａ）であることを特定する。続いてステップＳ１３５では、制御部６０が、ステップＳ１３４で特定した家電機器５０（冷蔵庫５０ａ）の家電機器情報を検知装置１０に送信する。その家電機器情報を検知装置１０の制御部２０が受信する。
　続いてステップＳ１３６では、家電機器５０の制御部６０が、上記のステップＳ１３４で特定した家電機器５０（例えば冷蔵庫５０ａ）に対する制御内容を決定する。制御部６０は、音声分析によって抽出したキーワードに基づいて、そのキーワードに関連する制御内容を決定する。例えば、制御部６０は、抽出したキーワード「冷やし」に基づいて、冷蔵庫５０ａの庫内の温度を下げて庫内を冷やす制御内容を決定する。続いてステップＳ１３７では、制御部６０が、ステップＳ１３６で決定した制御内容の情報を検知装置１０に送信する。その制御内容情報を検知装置１０の制御部２０が受信する。
　その後、検知装置１０の制御部６０が上記のステップＳ１３５とステップＳ１３７で受信した家電機器情報と制御内容情報に基づいて、ステップＳ１０５からステップＳ１０８の処理が実行される。ステップＳ１０５からステップＳ１０８の処理については、第１実施例で説明したので詳細な説明を省略する。
　また、上記では家電機器５０が冷蔵庫５０ａである場合について説明したが、その他の家電機器５０（例えば洗濯機５０ｂ、自走式掃除機５０ｃ、エアコン５０ｄ等）についても同様の処理が実行される。以上のように第５実施例に係る家電システム１では、各家電機器５０（例えば冷蔵庫５０ａ、洗濯機５０ｂ、自走式掃除機５０ｃ、エアコン５０ｄ等）における各制御部６０が、ユーザの発話の内容に基づいて各家電機器５０を特定する。この構成によれば、各家電機器５０における各制御部６０が特定処理を実行するので、各家電機器５０を個別に特定することができる。
　以上、各実施例について説明したが、具体的な態様は上記実施例に限定されるものではない。例えば、他の実施例では、家電システム１の制御部がユーザの発話の内容に基づいて１または複数の家電機器５０を特定する際に、ディープラーニング等の機械学習によって家電機器５０を特定してもよい。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１　　　　：家電システム
１０　　　：検知装置
１２　　　：マイク
１３　　　：スピーカー
１４　　　：無線通信モジュール
２０　　　：制御部
２１　　　：音声受信部
２２　　　：音声出力部
２３　　　：記憶部
２４　　　：通信部
５０　　　：家電機器
５０ａ　　：冷蔵庫
５０ｂ　　：洗濯機
５０ｃ　　：自走式掃除機
５０ｄ　　：エアコン
６０　　　：制御部
８０ａ　　：リビング
８０ｂ　　：寝室
８０ｃ　　：子供部屋
９０　　　：第１サーバ
９１　　　：制御部
９２　　　：無線ルータ
９３　　　：モデム
９６　　　：第２サーバ
１００　　：インターネット
 

Claims (9)

  1. 　複数の家電機器と通信可能であってユーザの発話を検知する検知装置と、
    　制御部を備えており、
    　前記制御部が、前記検知装置によって検知されるユーザの発話の内容に基づいて複数の前記家電機器のうちの１または複数の前記家電機器を特定する、家電システム。
  2. 　前記制御部が、ユーザの発話に含まれている１または複数のキーワードに基づいて、キーワードに関連する１または複数の前記家電機器を特定する、請求項１に記載の家電システム。
  3. 　前記制御部が、特定した１または複数の前記家電機器に関連する情報をその家電機器から取得する、請求項１又は２に記載の家電システム。
  4. 　前記制御部が、特定した１または複数の前記家電機器の動作をユーザの発話の内容に基づいて制御する、請求項１から３のいずれかに記載の家電システム。
  5. 　前記制御部が、ユーザの発話の内容に基づいて特定される前記家電機器が複数ある場合に、ユーザの発話に含まれている１または複数の分別情報に基づいて、特定された複数の前記家電機器の中から、分別情報に関連する１または複数の前記家電機器を特定する、請求項１から４のいずれかに記載の家電システム。
  6. 　前記検知装置が報知部を備えており、
    　前記制御部が、ユーザの発話の内容に基づいて特定される前記家電機器の候補が複数ある場合に、そのことを示す確認情報を前記報知部によってユーザに報知する、請求項１から５のいずれかに記載の家電システム。
  7. 　前記検知装置が前記制御部を備えており、
    　前記検知装置における前記制御部が、ユーザの発話の内容に基づいて１または複数の前記家電機器を特定する、請求項１から６のいずれかに記載の家電システム。
  8. 　前記検知装置と通信可能なサーバが前記制御部を備えており、
    　前記サーバにおける前記制御部が、ユーザの発話の内容に基づいて１または複数の前記家電機器を特定する、請求項１から６のいずれかに記載の家電システム。
  9. 　前記検知装置と通信可能な複数の前記家電機器のそれぞれが制御部を備えており、
    　各前記家電機器における各前記制御部が、ユーザの発話の内容に基づいて各前記家電機器を特定する、請求項１から６のいずれかに記載の家電システム。
     
PCT/JP2018/031589 2017-10-03 2018-08-27 家電システム WO2019069587A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/651,092 US20200241838A1 (en) 2017-10-03 2018-08-27 Home appliance system
CN201880063007.4A CN111164677A (zh) 2017-10-03 2018-08-27 家电系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-193539 2017-10-03
JP2017193539A JP2019068319A (ja) 2017-10-03 2017-10-03 家電システム

Publications (1)

Publication Number Publication Date
WO2019069587A1 true WO2019069587A1 (ja) 2019-04-11

Family

ID=65995159

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/031589 WO2019069587A1 (ja) 2017-10-03 2018-08-27 家電システム

Country Status (4)

Country Link
US (1) US20200241838A1 (ja)
JP (1) JP2019068319A (ja)
CN (1) CN111164677A (ja)
WO (1) WO2019069587A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114343483B (zh) * 2020-10-12 2023-08-18 百度在线网络技术（北京）有限公司 可移动对象的控制方法、装置、设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002247666A (ja) * 2001-02-20 2002-08-30 Seiko Epson Corp 機器制御方法および機器制御システム
JP2016014967A (ja) * 2014-07-01 2016-01-28 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報管理方法
JP2016027688A (ja) * 2014-07-01 2016-02-18 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器制御方法および電気機器
JP2016066930A (ja) * 2014-09-25 2016-04-28 シャープ株式会社 サーバ、サーバの制御方法、サーバの制御プログラム、制御システム、制御機器、制御機器の制御プログラム、および機器
JP2016076799A (ja) * 2014-10-03 2016-05-12 シャープ株式会社 家電管理システム、家電、リモコン装置、ロボット

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8271287B1 (en) * 2000-01-14 2012-09-18 Alcatel Lucent Voice command remote control system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002247666A (ja) * 2001-02-20 2002-08-30 Seiko Epson Corp 機器制御方法および機器制御システム
JP2016014967A (ja) * 2014-07-01 2016-01-28 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報管理方法
JP2016027688A (ja) * 2014-07-01 2016-02-18 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器制御方法および電気機器
JP2016066930A (ja) * 2014-09-25 2016-04-28 シャープ株式会社 サーバ、サーバの制御方法、サーバの制御プログラム、制御システム、制御機器、制御機器の制御プログラム、および機器
JP2016076799A (ja) * 2014-10-03 2016-05-12 シャープ株式会社 家電管理システム、家電、リモコン装置、ロボット

Also Published As

Publication number Publication date
JP2019068319A (ja) 2019-04-25
CN111164677A (zh) 2020-05-15
US20200241838A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
US10515641B2 (en) Device control method, device management system, and voice input apparatus
US10755706B2 (en) Voice-based user interface with dynamically switchable endpoints
JP7104357B2 (ja) 機器制御システム
KR102109381B1 (ko) 전기기기 및 그 제어 방법
EP3900395A1 (en) Optimization of network microphone devices using noise classification
US20160111091A1 (en) System and method for operating devices using voice commands
JP3838029B2 (ja) 音声認識を用いた機器制御方法および音声認識を用いた機器制御システム
JP6573474B2 (ja) 音声認識システム
US11869503B2 (en) Offline voice control
WO2019069588A1 (ja) 制御システム
WO2019069587A1 (ja) 家電システム
KR101965880B1 (ko) 음성 인식 방법
JP7335979B2 (ja) 音声認識を用いて装置を制御する方法、及びこれを具現する装置
WO2022268136A1 (zh) 一种进行语音控制的终端设备及服务器
CN111183478A (zh) 家电系统
JP7036561B2 (ja) 家電システム
WO2019069592A1 (ja) 動作音比較装置
US11830500B2 (en) System and method for digital assistant management
WO2021065558A1 (ja) 情報処理装置及び情報処理方法、並びに、電気機器及び電気機器の処理方法
JP2022080014A (ja) 電気機器および電気機器システム
JP2023173406A (ja) リモコン装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18864248

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18864248

Country of ref document: EP

Kind code of ref document: A1