JP7060811B2 - 機器制御システム - Google Patents

機器制御システム Download PDF

Info

Publication number
JP7060811B2
JP7060811B2 JP2019529797A JP2019529797A JP7060811B2 JP 7060811 B2 JP7060811 B2 JP 7060811B2 JP 2019529797 A JP2019529797 A JP 2019529797A JP 2019529797 A JP2019529797 A JP 2019529797A JP 7060811 B2 JP7060811 B2 JP 7060811B2
Authority
JP
Japan
Prior art keywords
unit
voice
control
user
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019529797A
Other languages
English (en)
Other versions
JPWO2019013316A1 (ja
Inventor
昭夫 田坂
忠史 廣瀬
嘉浩 北浦
篤志 松原
宏祐 坪井
志明 鄭
直子 栗山
聖一 阪井
直樹 松村
久典 大島
ナビーン グントゥル
敏行 前田
哲志 津田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Original Assignee
Daikin Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daikin Industries Ltd filed Critical Daikin Industries Ltd
Publication of JPWO2019013316A1 publication Critical patent/JPWO2019013316A1/ja
Priority to JP2021083255A priority Critical patent/JP7104357B2/ja
Priority to JP2022050938A priority patent/JP7348558B2/ja
Priority to JP2022050941A priority patent/JP7364948B2/ja
Priority to JP2022050940A priority patent/JP2022084865A/ja
Application granted granted Critical
Publication of JP7060811B2 publication Critical patent/JP7060811B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/50Control or safety arrangements characterised by user interfaces or communication
    • F24F11/56Remote control
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/30Control or safety arrangements for purposes related to the operation of the system, e.g. for safety or monitoring
    • F24F11/46Improving electric energy efficiency or saving
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/50Control or safety arrangements characterised by user interfaces or communication
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/62Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/34Graphical or visual programming
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/50Control or safety arrangements characterised by user interfaces or communication
    • F24F11/56Remote control
    • F24F11/58Remote control using Internet communication
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24FAIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00Control or safety arrangements
    • F24F11/62Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
    • F24F11/63Electronic processing
    • F24F11/64Electronic processing using pre-stored data

Description

本発明は、機器制御システムに関する。
ユーザを取り巻く環境を快適にする様々な機器が開発されている。それらの機器の中にはユーザの音声を認識するものもある。
特許文献1(特開2006-308848号公報)には、ユーザの発した音声に基づいて機器を制御する技術が開示されている。
特許文献2(特許第2552744号公報)には、浴室の環境をユーザごとに設定できるシステムが開示されている。
特許文献3(特開2006-320621号公報)には、ストレスを軽減するにおいを放出する空調機が開示されている。
特許文献4(特開2001-324202号公報)には、音声入出力手段を備える空調機が開示されている。
特許文献5(国際公開2012/176690号公報)が開示する構成は、「省エネ自動制御」に関するユーザの許容度を推定し、消費電力の低減と快適性の両立を図っている。
特許文献6(特開2009-290967号公報)には、住宅の消費電力抑制を促すシステムが開示されている。
特許文献7(特開2010-181064号公報)には、音声操作可能な空調機が開示されている。
音声入力により複数の機器を制御する場合、個別の機器を都度制御することが煩雑となることがある。さらに、ユーザがある場所において快適だと感じる環境を別の場所に再現することは困難である。さらに、従来のシステムでは、怒りの感情を有する人を落ち着かせることができないことがある。さらに、環境についての快適さについて、同一ユーザの感じ方が異なることがある。さらに、消費電力の低減を許容するか否かについての意志をユーザに入力させることは、ユーザビリティを損なう。さらに、従来のシステムでは、複数の機器の順次的な動作についての情報は活用されない。さらに、従来のシステムでは、ユーザが複数の音声操作可能な機器を所有する場合をあまり想定していない。 第1の課題は、音声入力で機器を制御する制御システムにおいて、ユーザの利便性を向上するための設定支援装置及びプログラム提供することである。
第2の課題は、ユーザの好みの環境を、異なる場所で容易に再現させることである。
第3の課題は、発話者を冷静にすることが可能な空気調和システムを提供することである。
第4の課題は、室内環境調節に関するユーザの希望をより忠実に実現することである。
第5の課題は、消費電力の削減に対する空調機等のユーザにとっての許容度をユーザの操作によらず推定し、快適性を維持することである。
第6の課題は、住宅に設置された複数の機器の順次的な動作についての情報を活用することによって、ユーザに快適さを提供することである。
第7の課題は、複数の音声操作可能な機器に関する音声認識処理を簡略な操作で停止させることが可能な機器制御システム、その機器制御システムにより制御される機器、及び機器の制御方法を提供することである。
〔第1構成〕
第1観点に係る設定支援装置は、ユーザの発する音声の入力を受け付ける音声入力受付部と、音声を解析する音声入力解析部と、音声入力解析部による解析結果に基づいて制御機器を制御する制御部と、所定のキーワードに対応する音声の入力と制御機器の所定の制御とを関連付けて特定制御として記憶する特定制御記憶部と、を備える制御システムに用いられ、特定制御の設定を支援するための装置である。ここで、設定支援装置は、キーワード入力受付部と、制御命令選択部と、特定制御登録部と、を備える。ここで、キーワード入力受付部は、キーワードに対応する情報の入力を受け付ける。制御命令選択部は、機器に対する所定の制御命令を編集画面上に表示し、制御命令の選択を受け付ける。特定制御登録部は、キーワード入力受付部により入力されたキーワードと、制御命令選択部により選択された制御命令とを関連付けて特定制御記憶部に登録する。
第1観点に係る設定支援装置では、音声入力に対応するキーワードと、機器に対する制御命令とを編集画面上で関連付けることができるので、音声入力で機器を制御する制御システムにおいて、ユーザは制御命令を容易に設定することができる。結果として、音声入力で機器を制御する制御システムにおいて、ユーザの利便性を向上することができる。
第2観点に係る設定支援装置は、第1観点に係る設定支援装置において、制御命令選択部が、編集画面上に、複数の前記制御命令をプルダウン形式で表示する。
第2観点に係る設定支援装置では、制御命令選択部が、編集画面上に、複数の前記制御命令をプルダウン形式で表示するので、ユーザは直感的に操作して制御命令を設定できる。
第3観点に係る設定支援装置は、第1観点又は第2観点の設定支援装置において、特定制御登録部は、一のキーワードに対して、制御命令を複数関連付ける。
第3観点に係る設定支援装置では、特定制御登録部が、一のキーワードに対して、制御命令を複数関連付けるので、ユーザは直感的に操作して制御命令を設定できる。
第4観点に係る設定支援装置は、第1観点から第3観点のいずれかの設定支援装置において、キーワード入力受付部が、キーワードの入力が可能なキーワード画像を編集画面上に表示する。また、制御命令選択部が、編集画面上で、制御命令に対応する制御命令画像を表示する。また、特定制御登録部は、編集画面上で、キーワード画像及び制御命令画像を指定及び移動して関連付けることで、キーワード及び制御命令を関連付ける。
第4観点に係る設定支援装置では、上記構成を具備しているので、ユーザは直感的に操作して制御命令を設定できる。
第5観点に係る設定支援装置は、第1観点から第4観点のいずれかの設定支援装置において、特定制御登録部が、特定制御を、ユーザを識別するユーザ情報に関連付けて特定制御記憶部に登録する。
第5観点に係る設定支援装置では、特定制御登録部が、特定制御とユーザ情報とを関連付けて登録するので、ユーザ毎の嗜好に合わせた特定制御を設定できる。
第6観点に係る設定支援装置は、第1観点から第5観点のいずれかの設定支援装置において、特定制御登録部が、特定制御を、ユーザがキーワードを読み上げたときの声紋に関連付けて特定制御記憶部に登録する。
第6観点に係る設定支援装置では、特定制御登録部が、特定制御と、ユーザがキーワードを読み上げたときの声紋とを関連付けて特定動作記憶部に登録するので、声紋の登録されたユーザのみが制御可能な特定制御を設定できる。
第7観点に係るプログラムは、ユーザの発する音声の入力を受け付ける音声入力検知部と、前記音声を解析する音声入力解析部と、音声入力解析部による解析結果に基づいて制御機器を制御する制御部と、所定のキーワードに対応する音声の入力と前記制御機器の所定の制御とを関連付けて特定制御として記憶する特定制御記憶部と、を備える制御システムに用いられ、特定制御の設定を支援するための設定支援装置を実現するためのプログラムである。具体的に、第7観点に係るプログラムは、コンピュータを、キーワード入力受付部と、制御命令選択部と、特定制御登録部として機能させる。ここで、キーワード入力受付部は、キーワードに対応する情報の入力を受け付ける。制御命令選択部は、制御機器に対する所定の制御命令を編集画面上に表示し、制御命令の選択を受け付ける。特定制御登録部は、キーワード入力受付部により入力されたキーワードと、制御命令選択部により選択された制御命令とを関連付けて特定制御記憶部に登録する。
第7観点に係るプログラムでは、コンピュータに用いて、音声入力に対応するキーワードと、制御機器に対する制御命令とを編集画面上で関連付けることができるので、音声入力で制御機器を制御する制御システムにおいて、ユーザは制御命令を容易に設定することができる。結果として、音声入力で機器を制御する制御システムにおいて、ユーザの利便性を向上することができる。
〔第2構成〕
第8観点に係る環境調節システムは、対象空間に設置された対象環境調節機器を用いて環境を調節する。環境調節システムは、機器情報取得部と、記憶部と、演算部と、制御部と、を備える。機器情報取得部は、対象環境調節機器の情報を取得する。記憶部は、実現すべき環境状態を記憶する。演算部は、環境状態を実現するための対象環境調節機器の制御パラメータを算出する。制御部は、制御パラメータに基づいて対象環境調節機器を制御する。
この構成によれば、記憶部が記憶する環境状態は、制御パラメータに基づく制御によって対象空間の環境として再現される。したがって、ユーザの好みの環境を再現することができる。
第9観点に係る環境調節システムは、第8観点に係る環境調節システムにおいて、環境状態が、対象空間とは別の基準空間に設置された基準環境調節機器または基準環境センサから、機器情報取得部が取得した情報に基づいて、演算部によって算出される。
この構成によれば、基準空間の環境に基づいて環境状態が作られ、その環境状態が対象空間で再現される。したがって、基準空間の環境を対象空間で再現できる。
第10観点に係る環境調節システムは、第9観点に係る環境調節システムにおいて、ユーザからの入力を受け付ける入力部と、前記入力から指令を抽出する指令抽出部と、をさらに備える。環境状態の再現を行う旨の前記指令を指令抽出部が抽出した場合に、制御部は、環境状態を実現するために算出された制御パラメータに基づいて、対象環境調節機器を制御する。
この構成によれば、環境状態の再現を行う旨の指令を受け取ると、環境状態に応じて制御部が対象環境調節機器を制御する。したがって、ユーザが発した指令によってユーザの好みの環境が再現される。
第11観点に係る環境調節システムは、第10観点に係る環境調節システムにおいて、入力に基づいてユーザの認証をする認証部、をさらに備える。認証部がユーザを権限保持者として認証した場合に、制御部は対象環境調節機器を制御できる。
この構成によれば、ユーザは権限保持者として認証された場合に環境調節機器を制御できる。したがって、無権限者が環境調節機器を制御できないので、セキュリティが確保されやすい。
第12観点に係る環境調節システムは、第9観点から第11観点のいずれか1つに係る環境調節システムにおいて、対象環境調節機器および基準環境調節機器は、いずれも空調機を含む。
この構成によれば、基準空間および対象空間の環境調節機器は、いずれも空調機を含む。したがって、ユーザの快適さに影響を与える空気調和が対象空間において再現される。
第13観点に係る環境調節システムは、第9観点から第12観点のいずれか1つに係る環境調節システムにおいて、記憶部は、環境状態を、対象空間に設置された対象環境調節機器または対象環境センサから、機器情報取得部が取得した情報に基づいて、演算部によって算出された値に更新できるよう構成されている。
この構成によれば、記憶部が記憶する環境状態は、対象空間の環境を用いて更新できる。したがって、対象空間の環境をユーザが気に入った場合、その環境に関する設定を保存することができる。
第14観点に係る環境調節システムは、第8観点から第13観点のいずれか1つに係る環境調節システムにおいて、環境状態が、温度を含む。
この構成によれば、環境状態は温度を含む。したがって、対象空間にユーザの好みの温度が再現される。
第15観点に係る環境調節システムは、第8観点から第14観点のいずれか1つに係る環境調節システムにおいて、環境状態が、風量を含む。
この構成によれば、環境状態は風量を含む。したがって、対象空間にユーザの好みの風量が再現される。
第16観点に係る環境調節システムは、第8観点から第15観点のいずれか1つに係る環境調節システムにおいて、環境状態は、湿度を含む。
この構成によれば、環境状態は湿度を含む。したがって、対象空間にユーザの好みの湿度が再現される。
第17観点に係る環境調節システムは、第8観点から第16観点のいずれか1つに係る環境調節システムにおいて、環境状態が、照度を含む。対象環境調節機器は、照明器具を含む。
この構成によれば、環境状態は照度を含む。したがって、対象空間にユーザの好みの照度が再現される。
第18観点に係る環境調節システムは、第8観点から第17観点のいずれか1つに係る環境調節システムにおいて、環境状態が、匂いを含む。対象環境調節機器は、芳香発生器具を含む。
この構成によれば、環境状態は匂いを含む。したがって、対象空間にユーザの好みの匂いが再現される。
〔第3構成〕
第19観点に係る空気調和システムは、調和空気送出部と、音声検知部と、音声入力解析部と、判定部と、制御部と、を備える。調和空気送出部は、対象空間に対して調和空気を送出する。音声検知部は、対象空間内に存在する発話者の発する音声を検知する。音声解析部は、音声の入力を解析して言語情報に変換する。判定部は、音声入力解析部により解析された言語情報に、所定の怒気用語が含まれているか否かを判定する。制御部は、判定部により怒気用語が含まれていると判定された場合、調和空気の状態を制御する。
第19観点に係る空気調和システムでは、音声入力解析部により解析された言語情報に、所定の怒気用語が含まれている場合、調和空気の状態を制御するので、発話者を冷静にすることが可能である。
第20観点に係る空気調和システムは、第19観点に係る空気調和システムにおいて、制御部が、怒気用語が含まれていると判定された場合、怒気用語と発話者の発した音声の音量とに基づいて、調和空気の状態を制御する。
第20観点に係る空気調和システムでは、怒気用語だけではなく、発話者の発した音声の音量も考慮して、調和空気の状態を制御するので、さらに的確に発話者の怒気に応じて制御できる。
第21観点に係る空気調和システムは、第20観点に係る空気調和システムにおいて、怒気用語及び音量と、怒気分類とを関連付けて記憶する怒気分類記憶部をさらに備える。このような記構成により、怒気分類に応じた制御が可能な空気調和システムを実現できる。
第22観点に係る空気調和システムは、第19観点から第21観点のいずれかの空気調和システムにおいて、発話者の位置を特定する位置特定部をさらに備える。そして、制御部は、怒気用語が含まれていると判定された場合、発話者の位置に応じて調和空気の状態を制御する。
第22観点に係る空気調和システムでは、発話者の位置に応じて、調和空気を的確に制御できる。例えば、怒気分類によって、細かい制御が可能な空気調和システムを提供できる。
第23観点に係る空気調和システムは、第19観点から第22観点のいずれかの空気調和システムにおいて、怒気用語が含まれていると判定された場合、怒気を軽減するための文章を音声出力する音声出力部をさら備える。
第23観点に係る空気調和システムでは、調和空気の制御とともに、怒気を軽減するための文章が音声出力されるので、発話者を冷静にする効果を高めることができる。
第24観点に係る空気調和システムは、第19観点から第23観点のいずれかの空気調和システムにおいて、空気調和装置と、空気調和装置にネットワーク経由で通信可能な情報処理装置とを備えるものである。そして、空気調和装置が、前記調和空気送出部、前記音声検知部及び前記制御部を有する。また、情報処理装置が、前記音声入力解析部及び前記判定部を有する。
第24観点に係る空気調和システムでは、上記構成により、ネットワーク上の情報処理装置を利用してシステム構築ができる。具体的には、ネットワーク上に構築されたニューラルネットワーク等を実現する情報処理装置を用いることで音声解析を高精度に実行できる。結果として、音声入力の解析精度を高めることができ、システムの信頼性を高めることができる。
〔第4構成〕
第25観点に係る室内環境調節システムは、記憶部と、検知部と、室内環境調節機と、出力部と、入力部と、を備える。記憶部は、室内環境の設定値を記憶する。検知部は、室内環境の状態値を検知する。室内環境調節機は、設定値に応じて室内環境を調節する。出力部は、記検知部によって検知された状態値が設定値に達した場合に、状態値を承諾するか否かをユーザに問いかけるメッセージを発する。入力部は、メッセージに対するユーザの回答を取得する。
この構成によれば、設定温度を実現した環境を承諾するか、あるいはさらに室内温度を変更させるかについて、ユーザは入力部を通じて室内環境調節システムに自身の希望をフィードバックすることができる。したがって、室内環境の調節に対するユーザの満足度が向上する。
第26観点に係る室内環境調節システムは、第25観点に係る室内環境調節システムにおいて、制御部、をさらに備える。制御部は、最新の状態値についてユーザから承諾を受けるまで、設定値を変更し、検知部によって検知された状態値が設定値に達するように室内環境調節機を制御し、検知部によって検知された状態値を承諾するか否かをユーザに問いかけるメッセージを出力部から発させる、ことを繰り返す。
この構成によれば、ユーザからの承諾を得るまで、室内環境調節システムは室内環境の調節とユーザへの質問とを繰り返す。したがって、室内環境の調節に対するユーザの満足度がさらに向上する。
第27観点に係る室内環境調節システムは、第25観点または第26観点に係る室内環境調節システムにおいて、室内環境調節機が空調機である。設定値は設定温度である。状態値は室内温度である。
この構成によれば、室内環境調節機は空調機である。したがって、室内温度に関するユーザの満足度が向上する。
第28観点に係る室内環境調節システムは、第25観点または第26観点に係る室内環境調節システムにおいて、室内環境調節機が加湿器である。設定値は設定湿度である。状態値は室内湿度である。
この構成によれば、室内環境調節機は加湿器である。したがって、室内湿度に関するユーザの満足度が向上する。
第29観点に係る室内環境調節システムは、第25観点または第26観点に係る室内環境調節システムにおいて、室内環境調節機が照明器具である。設定値は設定照度である。状態値は室内照度である。
この構成によれば、室内環境調節機は照明器具である。したがって、室内照度に関するユーザの満足度が向上する。
第30観点に係る室内環境調節システムは、第25観点から第29観点のいずれか1つ係る室内環境調節システムにおいて、入力部が、ユーザの声から音声データを取得する音声入力部である。室内環境調節システムは、音声データからテキストを抽出するテキスト抽出部と、テキストを解釈してユーザの指令を抽出する解釈部と、をさらに備える。
この構成によれば、入力部はユーザの声を受け付ける。したがって、ユーザは声により室内環境調節システムへの指令を発することができるので、操作が簡単である。
第31観点に係る室内環境調節システムは、第30観点に係る室内環境調節システムにおいて、テキスト抽出部および解釈部の少なくとも一方は、ネットワークを介して室内環境調節機と接続している。
この構成によれば、テキスト抽出部および解釈部の少なくとも一方は、室内環境調節機から離れた場所に設置される。したがって、室内環境調節機が高い処理能力を負担する必要がない。
第32観点に係る室内環境調節システムは、第30観点または第31観点に係る室内環境調節システムにおいて、音声データから声紋を抽出し、声紋に基づいて複数のユーザを識別するユーザ識別部、をさらに備える。記憶部は、各々のユーザと、各々のユーザについての設定値記録とを対応付けて記憶する。室内環境調節システムは、ユーザ識別部によって特定されたユーザに対応する設定値記録を設定値として扱う。
この構成によれば、ユーザ識別部が声紋からユーザを識別する。したがって、各ユーザにとって最適の設定値を室内環境に反映することができる。
第33観点に係る室内環境調節システムは、第32観点に係る室内環境調節システムにおいて、ユーザ識別部によって識別されたユーザからの承諾に基づいて、記憶部に記憶されている設定値記録が更新される。
この構成によれば、複数のユーザはそれぞれ、自身にとって最適な設定値を更新することができる。したがって、各ユーザの満足度がより向上する。
〔第5構成〕
第34観点に係る空調管理システムは、空調機と、音声入力部と、状態抽出部と、判定部と、制御部と、を備える。音声入力部は、ユーザの発する音声を取得する。状態抽出部は、音声からユーザの状態を抽出する。判定部は、ユーザの状態に基づいてエネルギーセーブ運転を行うか否かを判定する。制御部は、判定部の決定に従ってエネルギーセーブ運転を行う。
この構成によれば、判定部がエネルギーセーブ運転を行うか否かを自動的に決定する。したがって、ユーザの決定の負担が軽減される。
第35観点に係る空調管理システムは、空調機と、画像入力部と、状態抽出部と、判定部と、制御部と、を備える。画像入力部は、ユーザの画像または動画を取得する。状態抽出部は、画像または動画からユーザの状態を抽出する。判定部は、ユーザの状態に基づいてエネルギーセーブ運転を行うか否かを判定する。制御部は、判定部の決定に従ってエネルギーセーブ運転を行う。
この構成によれば、判定部がエネルギーセーブ運転を行うか否かを自動的に決定する。したがって、ユーザの決定の負担が軽減される。
第36観点に係る空調管理システムは、第34観点に係る空調管理システムにおいて、状態は音声から導出した前記ユーザの感情である。判定部は、感情が肯定的である場合には、エネルギーセーブ運転を行い、感情が否定的である場合には、前記エネルギーセーブ運転を行わない、ことを決定する。
この構成によれば、否定的な感情を抱くユーザがいるときは、エネルギーセーブ運転が行われない。したがって、否定的な感情を抱くユーザに配慮した運転がなされる。
第37観点に係る空調管理システムは、第35観点に係る空調管理システムにおいて、状態は画像または動画から導出した前記ユーザの感情である。判定部は、感情が肯定的である場合には、エネルギーセーブ運転を行い、感情が否定的である場合には、前記エネルギーセーブ運転を行わない、ことを決定する。
この構成によれば、否定的な感情を抱くユーザがいるときは、エネルギーセーブ運転が行われない。したがって、否定的な感情を抱くユーザに配慮した運転がなされる。
第38観点に係る空調管理システムは、第34観点から第37観点に係る空調管理システムにおいて、エネルギーセーブ運転は、前記空調機の能力を低下させることを含む。
この構成によれば、エネルギーセーブ運転時には空調機の能力が低下する。したがって、空調機の消費電力が低減される。
第39観点に係る空調管理システムは、第34観点から第37観点に係る空調管理システムにおいて、エネルギーセーブ運転は、電力会社からの抑制要請に対し、承諾の応答をすることを含む。
この構成によれば、エネルギーセーブ運転は電力会社からの抑制要求への承諾応答を含む。したがって、承諾または拒否がユーザの状態に基づいて自動的に決定されるので、ユーザの負担が軽減される。
〔第6構成〕
第40観点に係るホームシステムは、入力部と、時計部と、記録部と、制御部と、パターン抽出部と、を備える。入力部は、ユーザの指令を受け取る。時計部は、時刻を得る。記録部は、時刻および指令を関連付けたログを記録する。制御部は、指令にしたがって複数の機器を制御する。パターン抽出部は、ログの分析により、複数の機器に対して所定時間差以内に発された複数の指令を含む、順次的指令パターンを抽出する。
この構成によれば、特徴的な順次的指令パターンが得られる。したがって、ユーザが快適だと感じる蓋然性の高い制御のパターンをホームシステムは把握できる。
第41観点に係るホームシステムは、第40観点に係るホームシステムにおいて、抽出された順次的指令パターンに基づいて、ユーザが発しそうな指令の予測をする予測部、をさらに備える。
この構成によれば、予測部が、順次的指令パターンに基づいて、次にユーザが行いそうな機器の制御を予測する。したがって、ユーザが快適だと感じる蓋然性の高い次の制御をホームシステムは把握できる。
第42観点に係るホームシステムは、第41観点に係るホームシステムにおいて、メッセージを出力する出力部、をさらに備える。予測に基づいて、ユーザが発しそうな指令をユーザに通知するメッセージを、制御部が出力部に発させる。
この構成によれば、メッセージ出力部が、次にユーザが行うことを好みそうな機器の制御をそのユーザに通知する。したがって、ユーザが自身の快適さをもたらす機器操作を失念することが抑制される。
第43観点に係るホームシステムは、第41観点に係るホームシステムにおいて、予測に基づいて、ユーザが発しそうな指令を、制御部が複数の機器の少なくとも1つに実行させる。
この構成によれば、メッセージ出力部が、次にユーザが行うことを好みそうな機器の制御をそのユーザに通知する。したがって、ユーザが自身の快適さをもたらす機器操作を失念することが抑制される。
第44観点に係るホームシステムは、第40観点から第43観点のいずれか1つに係るホームシステムにおいて、入力部が、ユーザの声から音声データを取得する音声入力部である。ホームシステムは、音声データからテキストを抽出するテキスト抽出部と、テキストを解釈してユーザの指令を抽出する解釈部と、をさらに備える。
この構成によれば、ユーザは声により指令を発することができる。したがって、ユーザにとってホームシステムの操作が容易である。
第45観点に係るホームシステムは、第40観点から第44観点のいずれか1つに係るホームシステムにおいて、複数の機器が空調機を含む。
この構成によれば、ホームシステムは空調機を制御する。したがって、ユーザが快適だと感じる温度等をホームシステムが実現できる。
〔第7構成〕
第46観点に係る機器制御システムは、第1機器と、第2機器と、を制御する。第1機器は、第1音声入力部を有し、第1音声入力部が受け付けた音声の音声データを送信する。第2機器は、第2音声入力部を有し、第2音声入力部が受け付けた音声の音声データを送信する。機器制御システムは、第1音声データ受付部と、第2音声データ受付部と、第1音声解析部と、第2音声解析部と、検知部と、停止決定部と、を備える。第1音声データ受付部は、第1機器が送信する音声データを受け付ける。第2音声データ受付部は、第2機器が送信する音声データを受け付ける。第1音声解析部は、第1音声データ受付部が受け付けた音声データを解析する。第2音声解析部は、第2音声データ受付部が受け付けた音声データを解析する。検知部は、第1音声入力部が音声を受け付け、受け付けた音声の音声データを送信し、送信した音声データを第1音声データ受付部が受け付け、受け付けた音声データを第1音声解析部に解析させる、音声認識処理に関係する機能の少なくとも一部の第1機能の停止の指示を、第1機器が受けたことを検知する。停止決定部は、検知部が、第1機器が第1機能の停止の指示を受けたことを検知すると、第2機器について、第2音声入力部が音声を受け付け、受け付けた音声の音声データを送信し、送信した音声データを第2音声データ受付部が受け付け、受け付けた音声データを第2音声解析部に解析させる、音声認識処理に関係する機能の少なくとも一部の第2機能を停止することを決定する。
本機器制御システムでは、第1機器が音声認識処理に関係する機能の少なくとも一部の第1機能の停止の指示を受けた場合に、第2機器の音声認識処理に関係する機能の少なくとも一部の第2機能が停止される。言い換えれば、本機器制御システムでは、ユーザが第1機器の音声認識処理を停止することで、第2機器の音声認識処理も停止される。そのため、本機器制御システムを利用することで、複数の機器の音声認識処理の実行をそれぞれ停止する手間が省け、複数の機器の音声認識処理を簡略な操作で停止させることができる。
第47観点に係る機器制御システムは、第46観点に係る機器制御システムにおいて、第2機能が、第2音声入力部の音声の受付機能、又は、第2機器の音声データの送信機能である。
ここでは、第2機器から音声データが送信されなくなるため、音声データが送信されることに伴う、プライバシーに関する問題や、音声データの傍受といった問題の発生が防止されやすい。
第48観点に係る機器制御システムは、第47観点に係る機器制御システムにおいて、停止要求部を更に備える。停止要求部は、停止決定部の決定に応じて、第2機能の停止を要求する信号を第2機器に対して送信する。
ここでは、第2機器における第2機能の停止が、第2機器に対して直接的に指示されるため、第2機器についての音声認識処理の停止の信頼性が高い。
第49観点に係る機器制御システムは、第46観点に係る機器制御システムにおいて、第2機能が、第2機器が送信する音声データを第2音声データ受付部が受け付ける機能、第2機器が送信する音声データを第2音声解析部が解析する機能、又は、第2機器が送信した音声データを蓄積する機能である。
ここでは、機器制御システム側の処理だけで第2機器についての音声認識処理を停止することができる。
第50観点に係る機器制御システムは、第46観点から第49観点のいずれか1つに係る機器制御システムにおいて、第2機能が、第1機能と同種の機能である。
ここでは、第1機器についての音声認識処理に関係する機能を停止した場合に、第2機器についての音声認識処理に関し同種の機能を停止できる。そのため、音声認識処理に関し、第1機器と第2機器とを共にユーザの望む状態に移行させることができる。
第51観点に係る機器制御システムは、第46観点から第50観点のいずれか1つに係る機器制御システムにおいて、第2機器が、第2機能が停止されていることを報知する報知部を更に有する。また、好ましくは、機器制御システムは、停止情報送信部を更に備える。停止情報送信部は、停止決定部が第2機能の停止を決定した時に、報知部が第2機能の停止を報知するよう、第2機器に対し機能停止情報を送信する。
ここでは、ユーザが、第1機器について音声認識処理を停止させた時に、第2機器についても音声認識処理が停止されたことを確認することができる。
第52観点に係る機器制御システムは、第46観点から第51観点のいずれか1つに係る機器制御システムにおいて、第1機器と関連する機器を判断する判断部、を更に備える。停止決定部は、第1機器が第1機能の停止の指示を受けたことを検知部が検知し、かつ、判断部が第1機器と関連すると判断する機器に第2機器が含まれている場合に、第2機器について第2機能を停止することを決定する。
ここでは、第1機器についての音声認識処理と同時に、第1機器と関連する第2機器についての音声認識処理についても停止することができる。逆に言えば、第1機器と第2機器とが関連しないと判断される場合には、第1機器についての音声認識処理が停止されても、第2機器についての音声認識処理については有効なままとすることができる。
第53観点に係る機器制御システムは、第46観点から第52観点のいずれか1つに係る機器制御システムにおいて、第1機器が受け付ける第1機能の停止の指示には、物理スイッチに対する指示、リモートコントローラによる指示、又は、第1音声入力部に対する音声による指示、のいずれかを含む。
第54観点に係る機器制御システムは、第46観点から第53観点のいずれか1つに係る機器制御システムにおいて、検知部が、第1機器が第1機能の開始の指示を受けたことを更に検知する。好ましくは、機器制御システムは、開始決定部を更に備える。開始決定部は、検知部が、第1機器が第1機能の開始の指示を受けたことを検知すると、第2機器が第2機能を開始することを決定する。
ここでは、第1機器が、その音声認識処理に関係する第1機能の開始(再開)の指示を受け付けた場合には、第2機器についての音声認識処理に関係する第2機能も開始(再開)される。言い換えれば、本機器制御システムでは、ユーザが第1機器についての音声認識処理を有効にすることで、第2機器についての音声認識処理も有効にすることができる。そのため、本機器制御システムを利用することで、複数の機器のそれぞれについて音声認識処理の実行を有効にする手間が省け、複数の機器についての音声認識処理を簡略な操作で開始させることができる。
第55観点に係る機器は、音声操作可能な機器である。機器は、音声入力部と、音声データ送信部と、指示受付部と、停止情報受付部と、を備える。音声入力部は、音声を受け付ける。音声データ送信部は、音声入力部が受け付けた音声を、音声データとして、音声解析部を有する機器制御システムに送信する。指示受付部は、音声入力部が音声を受け付け、音声データ送信部が音声データを送信し、送信した音声データを機器制御システムの音声解析部に解析させる、音声認識処理に関係する機能の少なくとも一部の停止の指示を受け付ける。停止情報受付部は、機器制御システムから送信される、音声操作可能な他の機器の音声認識処理に関係する機能の少なくとも一部の停止に応じた、当該機器の音声認識処理に関係する機能の少なくとも一部の停止の決定に関する機能停止情報を受け付ける。
本機器では、ユーザの指示により当該機器について音声認識処理を停止可能であるとともに、他の機器についての音声認識処理の停止に合わせ、当該機器についての音声認識処理を停止することができる。そのため、本機器を用いることで、複数の機器についての音声認識処理の実行をそれぞれ停止する手間が省け、複数の機器についての音声認識処理を簡略な操作で停止させることができる。
第56観点に係る機器は、第55観点に係る機器において、指示受付部が、物理スイッチである。
本機器では、物理スイッチにより音声認識処理に関係する機能が停止されるため、音声認識処理の停止の信頼性が高い。
第57観点に係る制御方法は、第1機器と、第2機器と、の制御方法である。第1機器は、第1音声入力部と、第1音声データ送信部と、を有する。第1音声データ送信部は、第1音声入力部が受け付けた音声の第1音声データを、機器制御システムに送信する。機器制御システムは、第1音声データを受け付ける第1音声データ受付部、及び第1音声データ受付部が受け付けた第1音声データを解析する第1音声解析部、を有する。第2機器は、第2音声入力部と、第2音声データ送信部と、を有する。第2音声データ送信部は、第2音声入力部が受け付けた音声の第2音声データを、機器制御システムに送信する。機器制御システムは、第2音声データを受け付ける第2音声データ受付部、及び第2音声データ受付部が受け付けた第2音声データを解析する第2音声解析部を更に有する。制御方法は、検知ステップと、決定ステップと、を備える。検知ステップでは、第1音声入力部が第1音声を受け付け、第1音声データ送信部が第1音声データを送信し、送信した第1音声データを第1音声データ受付部が受け付け、受け付けた第1音声データを第1音声解析部に解析させる、音声認識処理に関係する機能の少なくとも一部の第1機能の停止の指示を、第1機器が受けたことが検知される。決定ステップでは、第1機器が第1機能の停止の指示を受けたことが検知された場合に、第2機器について、第2音声入力部が第2音声を受け付け、第2音声データ送信部が第2音声データを送信し、送信した第2音声データを第2音声データ受付部が受け付け、受け付けた第2音声データを第2音声解析部に解析させる、音声認識処理に関係する機能の少なくとも一部の第2機能を停止することが決定される。
本制御方法では、第1機器が、その音声認識処理に関係する機能の少なくとも一部の第1機能の停止の指示を受け付けたと検知された場合には、第2機器についての音声認識処理に関係する機能の少なくとも一部の第2機能も停止することが決定される。そのため、本制御方法を利用することで、複数の機器の音声認識処理の実行をそれぞれ停止する手間が省け、複数の機器の音声認識処理を簡略な操作で停止させることができる。
〔第1構成〕
第1構成の第1実施形態に係る機器制御システム1001の構成を示す模式図である。 同実施形態に係る機器制御システム1001の構成を示す模式図である。 同実施形態に係るサーバ1100の構成を示す模式図である。 同実施形態に係る機器制御システム1001の動作を説明するためのシーケンス図である。 同実施形態に係る機器制御システム1001の動作を説明するためのシーケンス図である。 同実施形態に係る機器制御システム1001の構成を示す模式図である。 同実施形態に係る設定支援装置1400の構成を示す模式図である。 同実施形態に係る設定支援装置1400の動作を説明するためのフローチャートである。 同実施形態に係る設定支援装置1400における画面遷移の概念を示す模式図である。 同実施形態に係る設定支援装置1400における画面遷移の概念を示す模式図である。 同実施形態に係る設定支援装置1400における画面遷移の概念を示す模式図である。 同実施形態に係る設定支援装置1400における画面遷移の概念を示す模式図である。 同実施形態に係る設定支援装置1400における画面遷移の概念を示す模式図である。 同実施形態に係る設定支援装置1400における画面遷移の概念を示す模式図である。 同実施形態に係る設定支援装置1400における画面遷移の概念を示す模式図である。 同実施形態に係る設定支援装置1400における画面遷移の概念を示す模式図である。 同実施形態に係る設定支援装置の変形例を説明するための模式図である。
〔第2構成〕
第2構成の一実施形態に係る環境調節システム2090の概略図である。 環境調節システム2090の構成のブロック図である。 基準環境調節機器2062の詳細ブロック図である。 環境調節システム2090の機能面によるブロック図である。 記憶部2017に保存される環境状態の一例である。 環境状態が再現される対象空間TSを示す図である。 第1変形例に係る環境調節システム2090Aの概略図である。 第2変形例に係る環境調節システム2090Bの概略図である。
〔第3構成〕
第3構成の一実施形態に係る空気調和システム3001の概念を示す模式図である。 同実施形態に係る情報処理ユニット3020P及びサーバ100の構成を示す模式図である。 同実施形態に係る怒気分類DB3104Dの構成を示す模式図である。 同実施形態に係る空気調和システム3001の動作を説明するためのシーケンス図である。 同実施形態に係る空気調和システム3001の動作を説明するためのシーケンス図である。 変形例Aに係る情報処理ユニット3020Pの構成を示す模式図である。 変形例Bに係る情報処理ユニット3020Pの構成を示す模式図である。 変形例Dに係る空気調和システム3001の概念を示す模式図である。 変形例Eに係る空気調和システム3001の概念を示す模式図である。
〔第4構成〕
第4構成の一実施形態に係る室内環境調節システム4090の概略図である。 室内環境調節システム4090の構成のブロック図である。 空調機4062の詳細ブロック図である。 室内環境調節システム4090の機能面によるブロック図である。 微調整ルーチンを示すフローチャートである。 第1変形例に係る室内環境調節システム4090Aの概略図である。 第2変形例に係る室内環境調節システム4090Bの概略図である。
〔第5構成〕
第5構成に係る空調管理システム5090の模式図である。 第5構成に係る空調管理システム5090の構成を示すブロック図である。 第5構成に係る空調管理システム5090の機能面によるブロック図である。
〔第6構成〕
第6構成の一実施形態に係るホームシステム6090の概略図である。 ホームシステム6090の構成のブロック図である。 ホームシステム6090の機能面によるブロック図である。 ログの一例を示す表である。 本発明の第1変形例に係るホームシステム6090Aの概略図である。 本発明の第2変形例に係るホームシステム6090Bの機能ブロック図である。
〔第7構成〕
第7構成の一実施形態に係る機器制御システム及び機器制御システムにより制御される機器の概略ブロック図である。 第1機器の音声入力部に対して音声が入力された場合の第1機器及び機器制御システムの動作について説明するためのシーケンス図である。 第2機器の音声入力部に対して音声が入力された場合の第2機器及び機器制御システムの動作について説明するためのシーケンス図である。 第1機器が、音声認識処理の第1機能の一例である、音声入力部による音声受付機能、の停止の指示を受けた場合の、機器及び機器制御システムの動作について説明するシーケンス図である。 第1機器が、音声認識処理の第1機能の一例である、第1機器の音声データ送信部が送信する音声データの音声データ受付部による受付機能、の停止の指示を受けた場合の、機器及び機器制御システムの動作について説明するシーケンス図である。 第1機器が、音声認識処理の第1機能の一例である、音声入力部による音声受付機能、の開始(再開)の指示を受けた場合の、機器及び機器制御システムの動作について説明するシーケンス図である。 第1機器が、音声認識処理の第1機能の一例である、第1機器の音声データ送信部が送信する音声データの音声データ受付部による受付機能、の開始(再開)の指示を受けた場合の、機器及び機器制御システムの動作について説明するシーケンス図である。
〔第1構成〕
(1)機器制御システム1001の概要
(1-1)機器制御システム1001の構成
図1,2は本発明の一実施形態に係る機器制御システム1001の構成を示す模式図である。
機器制御システム1001は、音声入力装置1060と、赤外線出力装置1070と、サーバ1100とを備える。機器制御システム1001では、ユーザ1005が音声入力装置1060に制御指示の入力を実行することで、所定の制御機器を制御することができる。ここでは、制御機器として、「第1タイプの機器1010」と「第2タイプの機器1020」とが存在する。また、これらの制御機器は、部屋Rの中に配置されているものとする。
なお、図1,2では、音声入力装置1060、赤外線出力装置1070、サーバ1100は一台ずつ示しているが、各装置の個数はこれに限定されるものではない。サーバ1100は任意の個数の装置と接続し、これらの装置を管理することができるものである。
第1タイプの機器1010は、赤外線の出力信号により制御可能なものである。例えば、第1タイプの機器1010としては、扇風機1010a、照明機器1010b、テレビ1010c、エアコン1010dなどが挙げられる。補足すると、赤外線の出力信号のパターンは制御機器毎に予め設定されており、これを用いることで制御機器1010を制御することができる。ここでは、赤外線の出力信号のパターンと制御内容との対応関係が、後述する赤外線パターンDB1104Aに記憶されている。なお、以下の説明では、任意の第1タイプの機器を示す場合に符号1010を用い、個別の第1タイプの機器を示す場合には英小文字の添え字を付す。
第2タイプの機器1020は、ネットワークNW経由でサーバ1100が直接制御できるものである。第2タイプの機器1020も、第1タイプの機器1010と同様に、扇風機1020a、照明機器1020b、テレビ1020c、エアコン1020dなどが挙げられる。なお、以下の説明では、任意の第2タイプの機器を示す場合に符号1020を用い、個別の第2タイプの機器を示す場合には英小文字の添え字を付す。
音声入力装置1060は、所定の制御機器1010,1020に対する制御指示の入力を受け付けるものである。ここでは、音声入力装置1060は、マイクを有しており、このマイクを介してユーザ1005からの制御機器1010,1020に対する制御指示を音声入力で受け付ける。そして、音声入力装置1060は受け付けた音声入力に対応する音声情報をサーバ1100に送信する。なお、音声入力装置1060はユーザ1005が発する音声を検知した場合には、その音声情報をそのままサーバ1100に送信する。
赤外線出力装置1070は、制御機器(第1タイプの機器)1010に赤外線を出力するものである。また、赤外線出力装置1070は姿勢制御機構1070Aを有しており、後述する相対位置情報をサーバ1100から受信した場合に、その相対位置情報に基づいて赤外線出力装置1070の姿勢を制御する。なお、赤外線出力装置1070は、所定空間(部屋R)内に位置が固定される固定式機器1020Fの内部に取り付けることが可能なものである。固定式機器1020Fは、例えば空調機、照明器具、テレビなどであり、部屋Rの天井又は壁に取り付けられて固定されるものである。若しくは、固定式機器1020Fは、部屋Rの天井又は壁に埋め込まれて固定されるものでもよい。
サーバ1100は、図3に示すように、入力部1101、出力部1102、通信部1103、記憶部1104、処理部1105を有しており、インターネットなどのネットワークNWを介して、音声入力装置1060及び赤外線出力装置1070に接続している。
ここで、入力部1101は、任意の入力装置により実現され、サーバ1100に各種情報を入力するものである。出力部1102は、任意の出力装置により実現され、サーバ1100からの各種情報を出力するものである。通信部1103は、外部のネットワークNWと接続し、情報通信を可能にするものである。
記憶部1104は、ROM,RAM等により実現され、サーバ1100に入力される情報、及び、サーバ1100で計算される情報等を記憶するものである。そして記憶部1104は、「赤外線パターンデータベース(DB)1104A」「相対位置データベース(DB)1104B」「特定制御データベース(DB)1104T」を記憶する。
赤外線パターンDB1104Aは、赤外線の出力信号のパターンと所定の制御内容との対応関係を制御機器(第1タイプの機器1010)毎に記憶するものである。
相対位置DB1104Bは、赤外線出力装置1070と所定空間(部屋R)内の制御機器(第1タイプの機器1010)との相対的な位置関係を示す「相対位置情報」を記憶するものである。なお、赤外線出力装置1070が固定式機器1020Fに固定される場合、相対位置情報として、赤外線出力装置1070の位置と第1タイプの機器1010の位置との相対的な位置関係を示す情報に代えて、固定式機器1020Fの位置と第1タイプの機器1010の位置との相対的な位置関係を示す情報を用いることも可能である。
特定制御DB1104Tは、所定のキーワードに対応する音声の入力と、制御機器の所定の制御とが関連付けられた「特定制御」を記憶するものである。特定制御は、後述する設定支援装置1400により設定される。
処理部1105は、CPU等により実現され、サーバ1100における情報処理を実行するものである。ここでは、処理部1105が、記憶部1104に記憶されたプログラムを実行することで、「音声入力解析部1110」「制御内容特定部1120」「第1制御部1130」「第2制御部1135」として機能する。
音声入力解析部1110は、音声入力装置1060から受信する入力の内容を解析する。具体的には、音声入力装置1060は、ニューラルネットワーク等を用いて、音声情報から、その音声に対応する意味を分析しテキスト情報に変換する。
制御内容特定部1120は、音声入力解析部1110による解析結果から、制御機器及び制御指示を示す制御内容を特定する。例えば、制御内容特定部1120は、音声入力装置1060が音声入力を受け付けた場合、音声入力解析部1110により変換されたテキスト情報に、制御機器及び制御指示に対応する言語情報が含まれているか否かを判定して制御内容を特定する。
ここで、制御内容特定部1120は、制御機器が第1タイプの機器1010であると特定した場合、その制御機器に対応する制御内容を第1制御部1130に送出する。一方、制御内容特定部1120は、制御機器が第2タイプの機器1020であると特定した場合、その制御機器に対応する制御内容を第2制御部1135に送出する。
第1制御部1130は、制御内容特定部1120により第1タイプの機器1010に関する制御内容が特定された場合、その制御内容に対応する赤外線パターンを赤外線出力装置1070に送信する。詳しくは、第1制御部1130は、制御内容特定部1120により特定された制御内容及び赤外線パターンDB1104Aに記憶された情報に基づいて、赤外線出力装置1070に赤外線の出力命令を送信する。これにより、第1タイプの機器1010が赤外線出力装置1070を介して制御される。また、第1制御部1130は、赤外線の出力命令とともに、赤外線出力装置1070及び対象となる第1タイプの機器1010の相対位置情報を赤外線出力装置1070に送信する。相対位置情報は相対位置DB1104Bから抽出される。
第2制御部1135は、制御内容特定部1120により第2タイプの機器1020に関する制御内容が特定された場合、その制御内容に基づいて第2タイプの機器1020をネットワークNW経由で制御する。
(1-2)機器制御システム1001の動作
図4A,4Bは本実施形態に係る機器制御システム1001の動作を説明するためのシーケンス図である。
まず、ユーザ1005により音声入力装置1060が用いられて、制御機器1010,1020に対する音声入力が行われる(S1)。そして、音声入力装置1060が、受け付けた音声入力に対応する入力情報をサーバ1100に送信する(S2)。
続いて、サーバ1100が、入力情報を受信し(S3)、音声入力の内容を解析する(S4)。次に、サーバ1100は、制御機器1010,1020と、その制御機器1010,1020に対する制御指示とを示す制御内容を特定する(S5)。
ここで、サーバ1100は、制御内容が第1タイプの機器1010に関するものであると特定した場合(S6-Yes)、制御内容に基づいて赤外線パターンDB1104Aから赤外線パターンの情報を抽出する(S7)。さらに、サーバ1100は、相対位置DB1104Bから、第1タイプの機器1010と赤外線出力装置70(または固定式機器1020F)との相対位置情報を抽出する(S8)。そして、サーバ1100は、赤外線の出力命令とともに、赤外線パターンの情報及び相対位置情報を赤外線出力装置1070に送信する(S9)。
続いて、赤外線出力装置1070が、赤外線の出力命令とともに、赤外線パターンの情報及び相対位置情報を受信すると(S10)、相対位置情報に基づいて、対応する制御機器1010に向けて姿勢を変更する(S11)。そして、赤外線出力装置1070が、受信した赤外線パターンの情報に基づいて制御機器(第1タイプの機器)1010に向けて赤外線を出力する(S12)。
一方、上記ステップS6と並行して、サーバ1100は、制御内容が第2タイプの機器1020に関するものであると特定した場合(S13-Yes)、制御内容に基づいて制御機器(第2タイプの機器)1020をネットワークNW経由で制御する(S14)。
上記ステップS6,S13において、サーバ1100は、制御内容が第1タイプの機器1010及び第2タイプの機器1020に関するものであると特定できない場合には、処理を終了する(S6-No,S13-No)。
なお、上記ステップS6~9の処理と、ステップS13,14の処理とは順不同であり、いずれを先に処理してもよいものである。
(1-3)特徴
以上説明したように、本実施形態に係る機器制御システム1001は、音声入力装置1060と、赤外線出力装置1070と、サーバ1100とを備える。ここで、音声入力装置1060は、ユーザ1005から制御機器1010,1020に対する制御指示を音声入力により受け付ける。赤外線出力装置1070は、制御機器1010,1020に赤外線を出力する。サーバ1100は、音声入力解析部1110、制御内容特定部1120、第1制御部1130、第2制御部1135を有する。音声入力解析部1110は、音声入力装置1060から受信する入力の内容を解析する。制御内容特定部1120は、音声入力解析部1110による解析結果から、制御機器及び制御指示を示す制御内容を特定する。第1制御部1130は、制御内容特定部1120により第1タイプの機器1010に関する制御内容が特定された場合、その制御内容に対応する赤外線パターンを赤外線出力装置1070に送信する。第2制御部1135は、制御内容特定部1120により第2タイプの機器1020に関する制御内容が特定された場合、その制御内容に基づいて第2タイプの機器1020をネットワークNW経由で制御する。
したがって、本実施形態に係る機器制御システム1001では、赤外線パターンの出力により制御可能な第1タイプの機器1010、及び、ネットワークNW経由で制御可能な第2タイプの機器1020を制御することができる。
さらに、本実施形態に係る機器制御システム1001Sでは、ネットワークNW上のサーバ1100が、音声入力を解析の解析結果から赤外線出力装置1070Sに赤外線の出力命令を送信することができる。ここで、音声入力により機器を制御しようとする場合、情報処理量が膨大となることがある。このような場合であっても、機器制御システム1001Sでは、ネットワークNW上に構築されたニューラルネットワーク等を実現するサーバ1100を用いることで、音声解析を高精度に実行することができる。これにより、音声入力であっても制御機器1010及び制御指示を細かく特定することができる。結果として、任意の機器を容易に制御し得る機器制御システム1001を提供できる。
なお、本実施形態に係る機器制御システム1001では、ネットワークNW上のサーバ1100が、赤外線パターンDB1104Aを有しており、赤外線の出力信号のパターンと所定の制御内容との対応関係を制御機器毎に記憶している。これにより、赤外線の出力信号のパターンの変更・更新・追加等を一括で設定することができる。ただし、本実施形態に係る機器制御システム1001において、赤外線パターンDB1104Aの情報は、サーバ1100ではなく、各赤外線出力装置1070の記憶部が保有する記憶であってもよい。
(2)設定支援装置の詳細
(2-1)設定支援装置の構成
図5に示すように、設定支援装置1400は、上述した機器制御システム1001にネットワークNWを介して接続し、制御機器1010,1020の制御を容易にするための設定を支援する装置である。具体的には、設定支援装置1400は、所定のキーワードKに対応する音声の入力と、制御機器の所定の制御とを関連付けて「特定制御」として設定することを支援するための装置である。なお、この設定支援装置1400は、コンピュータに、後述する「設定支援プログラム」がインストールされることで実現される。
ここで、設定支援装置1400は、図6に示すように、入力部1401、出力部1402、通信部1403、記憶部1404、処理部1405を有しており、インターネットなどのネットワークNWを介して、サーバ1100と接続している。入力部1401は、キーボード、マイク等により実現され、設定支援装置1400に各種情報を入力するものである。出力部1402は、ディスプレイ等により実現され、設定支援装置1400からの各種情報を出力するものである。通信部1403は、外部のネットワークNWと接続し、情報通信を可能にするものである。記憶部1404は、ROM,RAM等により実現され、設定支援装置1400に入力される情報、及び、設定支援装置1400で計算される情報等を記憶するものである。処理部1405は、CPU等により実現され、設定支援装置1400における情報処理を実行するものである。ここでは、処理部1405が、記憶部1404に記憶された「設定支援プログラムP」を実行することで、「キーワード入力受付部1410」「制御命令選択部1420」「特定制御登録部1430」として機能する。
キーワード入力受付部1410は、所定のキーワードKに対応する音声の入力を受け付ける。具体的には、キーワード入力受付部1410は、キーワードKの入力が可能なキーワード画像GKを編集画面G上に表示し、キーボード等によりキーワードKの文字情報を受け付ける(後述の図8等参照)。また、キーワード入力受付部1410は、マイク等により、キーワードKに対応する音声入力を受け付けるものでもよい。
制御命令選択部1420は、制御機器1010,1020に対する所定の制御命令Oを編集画面G上に表示し、制御命令Oの選択を受け付ける(後述の図10等参照)。具体的には、制御命令選択部1420は、編集画面G上で、制御命令Oに対応する制御命令画像GOを表示する。例えば、制御命令選択部1420は、編集画面G上に、複数の制御命令O1,O2,・・・をプルダウン形式で表示する制御命令画像GOを表示する。そして、プルダウン形式で表示された複数の制御命令O1,O2,・・・から任意の制御命令Oが指定された場合に、指定された制御命令Oの選択を受け付ける。
特定制御登録部1430は、キーワード入力受付部1410により入力されたキーワードKと、制御命令選択部1420により選択された制御命令Oとを関連付けて「特定制御」として、サーバ1100の特定制御DB1104Tに登録する。具体的には、特定制御登録部1430は、編集画面G上で、キーワード画像GK及び制御命令画像GOを指定及び移動して関連付けることで、キーワードK及び制御命令Oを関連付ける。また、特定制御登録部1430は、一のキーワードKに対して、一の制御命令O1を関連付けるだけではなく、複数の制御命令O1,O2,・・・を関連付けることができる。なお、特定制御登録部1430は、特定制御を、ユーザ5を識別するユーザ情報に関連付けて特定制御DB1104Tに登録することができる。また、特定制御登録部1430は、特定制御を、キーワードを読み上げたときのユーザ5の声紋に関連付けて特定制御DB1104Tに登録することもできる。
(2-2)設定支援装置1400の動作
図7は本実施形態に係る設定支援装置1400の動作を説明するためのフローチャートである。図8~15は同実施形態に係る設定支援装置1400における画面遷移の概念を示す模式図である。
まず、ユーザ1005により設定支援装置1400が用いられて、制御機器1010,1020に対するキーワードKの登録が行われる(T1)。具体的には、ユーザ1005が入力部1401を介して表示命令を入力することで、編集画面G上に、図8に示すようなキーワード画像GKが表示される。そして、キーワード画像GKの空白部にキーワードKの入力が可能となる。ここでは、一例として、図9に示すように「お風呂を沸かす」という言葉がキーワードKとして入力される。
次に、ユーザ5が入力部1401を用いて、編集画面G上に表示された制御命令画像GO1を選択する。ここでは、編集画面Gに複数の制御命令O1,O2,・・・がプルダウン形式で表示される。そして、図10に示すように、ユーザ1005が編集画面G上に表示されるポインタPを操作することで複数の制御命令O1,O2,・・・の中から任意の制御命令Oを選択する(T2)。図10においてはO1(ここでは「お湯はり」に対応)が選択されたものとする。これにより、図11に示すように、選択された制御命令に対応する制御命令画像GO1が表示される。
続いて、図12に示すように、ユーザ1005によるポインタPの操作により、制御命令画像GO1がキーワード画像GKの近傍まで移動させられる。これにより、キーワード画像GKと選択された制御命令画像GO1との仮の関連付けが行われる(T4)。具体的には、図13に示すように、キーワード画像GKと制御命令画像GO1が近づくと両者を接続する線Lが表示されて、仮の関連付けが行われていることが示される。同様にして、キーワード画像GKと他の制御命令画像GO2との仮の関連付けが行われる(T5-No,T6)。これにより、図14に示すような画面に遷移する。
その後、図15に示すように、ユーザ5が編集画面G上で登録ボタン画像GT等を押下することで、キーワード画像GKに対応するキーワードKと、制御命令画像GO1,GO2に対応する複数の制御命令O1,O2,・・・とが「特定制御」として関連付けられる(T5-Yes)。そして、この特定制御の情報が、サーバ1100の特定制御DB1104Tに登録される(T7)。
(2-3)特徴
(2-3-1)
以上説明したように、本実施形態に係る設定支援装置1400は、ユーザの発する音声の入力を受け付ける音声入力装置1060と、音声を解析する音声入力解析部1110と、音声入力解析部1110による解析結果に基づいて制御機器1010,1020を制御する制御部1130,1135と、所定のキーワードKに対応する音声の入力と制御機器1010,1020の所定の制御とを関連付けて特定制御として記憶する特定制御DB1104Tと、を備える機器制御システム1001における、特定制御の設定を支援するための装置である。
ここで、設定支援装置1400は、キーワード入力受付部1410と、制御命令選択部1420と、特定制御登録部1430と、を備える。キーワード入力受付部1410は、キーワードに対応する情報の入力を受け付ける。制御命令選択部1420は、制御機器1010,1020に対する所定の制御命令を編集画面G上に表示し、制御命令の選択を受け付ける。特定制御登録部1430は、キーワード入力受付部1410により入力されたキーワードKと、制御命令選択部1420により選択された制御命令とを関連付けて特定制御DB1104Tに登録する。
したがって、本実施形態に係る設定支援装置1400では、音声入力に対応するキーワードKと、制御機器1010,1020に対する制御命令とを編集画面G上で関連付けることができるので、音声入力で制御機器1010,1020を制御する機器制御システム1001において、ユーザ1005は制御命令を容易に設定することができる。結果として、音声入力で制御機器1010,1020を制御する機器制御システム1001において、ユーザ1005の利便性を向上することができる。
(2-3-2)
また、本実施形態に係る設定支援装置1400は、特定制御登録部1430が、一のキーワードKに対して、制御命令O1,O2,・・・を複数関連付けることができるものである。これにより、複数の動作からなる一連の制御を一のキーワードKの音声入力で実行できるようになる。
(2-3-3)
また、本実施形態に係る設定支援装置1400は、制御命令選択部1420が、編集画面G上に、複数の制御命令をプルダウン形式で表示できるものである。これにより、ユーザ5が直感的な操作で制御命令を設定できる設定支援装置1400を提供できる。
さらに、本実施形態に係る設定支援装置1400は、キーワード入力受付部1410が、キーワードの入力が可能なキーワード画像GKを編集画面G上に表示する。また、制御命令選択部1420が、編集画面G上で、制御命令に対応する制御命令画像GOを表示する。また、特定制御登録部1430は、編集画面G上で、キーワード画像GK及び制御命令画像GOを指定及び移動して関連付けることで、キーワードK及び制御命令を関連付ける。これにより、ユーザ1005が直感的な操作で制御命令を設定できる設定支援装置1400を提供できる。
(2-3-4)
また、本実施形態に係る設定支援装置1400は、特定制御登録部1430が、特定制御をユーザ情報に関連付けて登録する。これにより、ユーザ毎の嗜好に合わせた制御命令を設定することができる。
さらに、本実施形態に係る設定支援装置1400は、特定制御登録部1430が、キーワードKと、キーワードKを読み上げたときの声紋とを関連付けて登録する。これにより、声紋の登録されたユーザ1005のみが制御可能な制御命令を設定できる。
(2-4)変形例
(2-4-1)
上記説明において、設定支援装置1400が、「キーワード入力受付部1410」「制御命令選択部1420」「特定制御登録部1430」として機能するとしたが、これらの機能はサーバ1100から適時に提供されるものでもよい。すなわち、図16に概念を示すように、設定支援装置1400は、いわゆるシンクライアントであってもよい。この場合、設定支援装置1400は、所定のキーワードと所定の制御とを関連付けて「特定制御」として登録する処理を行なう度に、ネットワークNW経由で設定支援機能提供装置1200Bのサーバにアクセスし、設定支援機能提供装置1200Bが提供する「キーワード入力受付部」「制御命令選択部」「特定制御登録部」の機能を利用する。なお、設定支援機能提供装置1200Bはサーバ1100と同一の装置により構成されるものでもよいし、両者が協働するように構成されるものでもよい。
このような構成により、ユーザ5は音声入力装置1060(マイク)等を用いることで関連付け処理を開始し(V1)、編集画面G上でキーワード登録が可能となる(V2)。設定支援装置1400では、ユーザ1005により編集画面G上での関連付けの設定が行なわれると(V3)、その設定内容を登録して処理を終了する(V4)。
(2-4-2)
なお、本実施形態に係るサーバ1100は、時刻毎に決まっている所定の制御機器1010,1020の制御を「スケジュール情報」として登録しておくことができる。この場合は、その時刻になると、制御機器1010,1020において、スケジュール情報に対応する制御が実行されることになる。例えば、所定の時刻になると、スケジュール情報に基づいて音声が読み上げられ、音声入力装置1060に音声入力される。または、音声入力に代えて、当該音声入力に対応するテキスト情報等が音声入力装置1060に入力されて制御機器1010,1020が制御される。
<付記>
なお、本発明は、上記各実施形態そのままに限定されるものではない。本発明は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、本発明は、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できるものである。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよいものである。さらに、異なる実施形態に構成要素を適宜組み合わせてもよいものである。
〔第2構成〕
(1)全体構成
図17は、一実施形態に係る機器制御システムを示す。本実施形態の機器制御システムは、環境調節システム2090として構成されている。環境調節システム2090は、建物2060に設置されたルータ2061、基準環境調節機器2062、音声入出力装置2063、および基準環境センサ2069と、サーバ2040とを含む。基準環境調節機器2062、音声入出力装置2063、基準環境センサ2069、およびサーバ2040は、ネットワーク2050によって接続されている。
(1-1)基準環境調節機器2062
基準環境調節機器2062は、環境を通じて人間の五感刺激を変化させる機器である。基準環境調節機器2062には、例えば空調機、扇風機、加湿器、電動窓、照明器具、カーテン器具、電動アロマポットなどが含まれる。図17に示される基準環境調節機器2062は空調機として構成されている。基準環境調節機器2062は、基準空間RSに設置されている。
基準環境調節機器2062は、スイッチングハブを有するルータ2061を介してネットワーク2050に接続している。ルータ2061と基準環境調節機器2062の間のリンクは、有線通信および無線通信のいずれによって実現されてもよい。
(1-2)音声入出力装置63
音声入出力装置2063は、基準環境調節機器2062と同じく基準空間RSに設置されている。音声入出力装置2063は、ルータ2061を介してネットワーク2050に接続している。音声入出力装置2063には音声入力部2064と音声出力部2065が設けられている。ルータ2061と音声入出力装置2063の間のリンクは、有線通信および無線通信のいずれによって実現されてもよい。
なお、基準環境調節機器2062への入力手段として、音声入出力装置2063に加えて、有線リモコン、赤外線リモコン、無線リモコンなどが併用されていてもよい。
(1-3)基準環境センサ2069
基準環境センサ2069は、基準空間RSの環境に関する物理量を測定する。測定される物理量は例えば、温度または湿度などである。基準環境センサ2069は、ルータ2061を介してネットワーク2050に接続している。ルータ2061と基準環境センサ2069の間のリンクは、有線通信および無線通信のいずれによって実現されてもよい。
基準環境センサ2069は必須の部品ではないので、建物2060に必ずしも設置しなくともよい。
(1-4)ネットワーク2050
ネットワーク2050は、例えばPSTN(公衆交換電話網)等を用いて構築されたインターネットである。
(1-5)サーバ2040
サーバ2040は建物2060から遠隔地に設置されており、ネットワーク2050に接続している。サーバ2040は、基準環境調節機器2062のユーザが発する音声に応答して基準環境調節機器2062を制御する。サーバ2040は、単一のコンピュータとして構成されていてもよいし、それぞれ異なる機能を有する複数のコンピュータ2040a、2040bから構成されていてもよい。例えば、あるコンピュータ2040aは音声の解析および指令の抽出を担当し、別のコンピュータ2040bは基準環境調節機器2062の制御と異常検出を担当してもよい。この場合、複数のコンピュータ2040a、2040bは、互いに離れた場所に設置されて異なる企業に所有または管理されていてもよい。
(2)詳細構成
図18は環境調節システム2090の構成のブロック図である。
(2-1)基準環境調節機器2062
空調機として構成された基準環境調節機器2062は、入出力インターフェイス部2621と、プロセッサ2622と、冷媒回路2623を有する。入出力インターフェイス部2621はルータ2061を介してネットワーク2050と接続されており、他の機器と情報を交換する。冷媒回路2623はセンサとアクチュエータを含み、部屋の空気を調和する。プロセッサ2622は基準環境調節機器2062のアクチュエータを制御し、センサの出力を読み取るとともに、入出力インターフェイス部2621と情報を交換する。
図19は、基準環境調節機器2062の詳細なブロック図である。基準環境調節機器2062は、室外機2070および室内機2080を含む。入出力インターフェイス部2621は、室内機2080に搭載されている。プロセッサ2622は、室外機2070に搭載された室外機制御部2079、および室内機2080に搭載された室内機制御部2089を含んでいる。冷媒回路2623は、室外機2070に搭載された、圧縮機2071、四路切換弁2072、室外熱交換器2073、室外膨張弁2075、ガス閉鎖弁2077、液閉鎖弁2078、および、室内機2080に搭載された室内熱交換器2081を含んでいる。室外機制御部2079は、圧縮機2071、四路切換弁2072、ファン2074、室外膨張弁2075を制御するとともに、室外機2070に搭載された図示しない各種センサの検出値を読み取る。室内機制御部2089は、ファン2082を制御するとともに、室温を検知する室温センサ2083を含む室内機2080に搭載された各種センサの検出値を読み取る。
(2-2)音声入出力装置2063
図18に戻り、音声入出力装置2063は、入出力インターフェイス部2631と、音声入力部2064と、音声出力部2065を有する。入出力インターフェイス部2621はルータ2061を介してネットワーク2050と接続されており、他の機器と情報を交換する。
音声入力部2064は、マイク2641、増幅器2642、AD変換器2643を有する。マイク2641はアナログ音声信号を取得する。増幅器2642は取得されたアナログ音声信号を増幅する。AD変換器2643は増幅されたアナログ音声信号をAD変換して、得られた音声データSDを入出力インターフェイス2631部へ送る。
音声出力部2065は、DA変換器2653、増幅器2652、スピーカ2651を有する。DA変換器2653は、入出力インターフェイス部2631から受け取った出力データODをDA変換して、得られたアナログ出力信号を増幅器2652へ送る。増幅器2652はアナログ出力信号を増幅する。スピーカ2651は、増幅されたアナログ出力信号に応じた音声を発する。
(2-3)基準環境センサ2069
図18には詳細に示されていないが、基準環境センサ2069は測定した環境に関する物理量をAD変換して、デジタルデータとしてルータ2061へ送信する。
(2-4)サーバ2040
サーバ2040はコンピュータ2040a、2040bを有する。サーバ2040に含まれるコンピュータの数はいくつであってもよい。ここでは、コンピュータ2040aの構成についてのみ説明する。コンピュータ2040aは、入出力インターフェイス部2041と、プロセッサ2042と、メモリ2043を有する。入出力インターフェイス部2041は、ネットワーク2050に接続されている。プロセッサ2042は、各種処理を実施する。処理の中には、入出力インターフェイス部2041を介した情報の送受信、および各種算術演算などが含まれる。メモリ2043は、プロセッサ2042の書き込み動作等により、情報を記憶する。
(3)機能ブロック
図20は、環境調節システム2090の機能面によるブロック図である。環境調節システム2090は、音声入力部2064および音声出力部2065等の他に、複数の機能ブロック、すなわち、テキスト変換部2011、音声認識辞書2012、解釈部2013、制御部2014、機器情報取得部2016、記憶部2017、演算部2018、認証部2019を有する。
機能ブロック2011~2019は、サーバ2040のコンピュータ2040a、2040bのメモリ2043に記憶され、プロセッサ2042に実行されるプログラムなどのソフトウェアとして構成されていてもよい。あるいは、機能ブロック2011~2019は、それ自体が集積回路やハードドライブなどのハードウェアとして構成されていてもよい。機能ブロック2011~2019の物理的な搭載位置は、コンピュータ2040a、2040bであってもよいし、音声入出力装置2063、基準環境調節機器2062、またはその他の場所であってもよい。
(4)基本動作
(4-1)音声操作
基準空間RSは、例えばユーザの自宅である。ユーザは、音声入出力装置2063の音声入力部2064を介して、自分の好みの環境を実現する。例えば、ユーザは「温度をもう少し下げて」「風量をもっと強くして」「湿度を下げて」などの指令を声で音声入力部2064に言う。
ユーザの音声は図18のAD変換器2643でデジタル信号の音声データSDに変換される。音声データSDは、例えばネットワーク2050を経由してサーバ2040へ届く。図20のテキスト変換部2011は、音声認識辞書2012を参照しながら、音声データSDをテキストに変換する。解釈部2013はテキストを解釈し、ユーザの意図した指令CMを抽出する。すなわち、テキスト変換部2011と解釈部2013は、音声から指令を抽出する指令抽出部として機能する。
制御部2014は、出力データODを音声出力部2065へ送信し、例えば「温度を少し下げます」などの音声メッセージをスピーカ2651に発させる。制御部2014は、空調器として構成された基準環境調節機器2062に制御信号を送信し、現在の制御パラメータ、すなわち設定温度の値を所定の量だけ下げるように基準環境調節機器2062を制御する。
空調機以外の基準環境調節機器2062も同様に制御できる。例えば、環境調節システム2090に対応した照明器具として構成された基準環境調節機器2062が基準空間RSに設置されている場合、ユーザが「もっと明るくして」と音声で音声入力部2064に対して命じると、制御部2014は照明器具の照度を大きくする。
(4-2)ユーザ認証
環境調節システム2090は、権限を保持するユーザだけが基準環境調節機器2062を制御できるように、ユーザ認証機能を有する。ユーザ認証の方法は様々なものを採用できる。
例えば、基準環境調節機器2062の動作を命じる音声から生成された音声データSDを認証部2019が受け取り、声紋解析によってユーザを特定することにより、制御部2014が特定のユーザの指令のみを実行してもよい。
あるいは、環境調節システム2090が基準環境調節機器2062の動作を命じられた後、パスワードを唱えるように求めるメッセージを制御部2014が音声出力部2065に発させてもよい。正しいパスワードが唱えられたことが解釈部2013によって検出された場合に、制御部2014はユーザが望んだ基準環境調節機器2062の制御を行うことができる。
(5)環境再現動作
(5-1)基準空間RSでの環境保存
基準空間RSの住人であるユーザは、自宅の環境が快適であると感じたときに、その環境状態を環境調節システム2090に保存させることができる。まず、ユーザは「現在の室内環境をお気に入りに保存して」と音声入力部2064に命じる。
ユーザの指令に応答して、機器情報取得部2016が、基準環境調節機器2062の機器情報および制御パラメータを取得する。制御パラメータは、「設定温度 26℃」のように普遍的に理解されるものと、「微風モード」のようにその機種特有の定義に従うものを含んでいる。さらに、機器情報取得部2016は、基準環境センサ2069の検出値を取得する。
次いで、取得された制御パラメータから、演算部18が環境状態を算出する。図21は環境状態の一例を示す。環境状態の各項目は、原則として、普遍的に用いられる物理単位によって表現される。演算部2018は、機種特有の制御パラメータを、機器情報を参考にして、物理単位で表現される量に変換する。
環境状態は、認証されたユーザと対応付けて、記憶部2017に保存される。
(5-2)対象空間TSでの環境再現
図22は、対象空間TSを示す。対象空間TSは、例えばホテルの部屋など、基準空間RS以外の、複数の対象環境調節機器2091~2097が設置されている場所である。対象環境調節機器2091~2097は、基準空間RSに設置されている基準環境調節機器2062と同様に、ネットワーク2050を介してサーバ2040と接続している。認証されたユーザは、音声入出力装置2063を介して対象環境調節機器2091~2097の動作に関する指令を出すことができる。対象環境調節機器2091~2097は、例えば、空調機2091、扇風機2092、加湿器2093、電動窓2094、照明器具2095、カーテン器具2096、電動アロマポット2097である。電動アロマポット2097に代えて、その他の芳香発生器具が用いられてもよい。なお、複数の対象環境調節機器2091~2097への入力手段として、音声入出力装置2063に加えて、有線リモコン、赤外線リモコン、無線リモコンなどが併用されていてもよい。
さらに、対象空間TSには、対象環境センサ2099が設置されてもよい。対象環境センサ2099は、対象空間TSの環境に関する物理量を測定する。測定される物理量は例えば、温度または湿度などである。対象環境センサ2099もまた、ネットワーク2050を介してサーバ2040と接続している。
ユーザは、対象空間TSにおいて基準空間RSの環境に近い環境を再現するよう、環境調節システム2090に命じることができる。まず、ユーザは「私のお気に入りの環境を再現して」と音声入力部に命じる。ユーザの指令に応答して、機器情報取得部2016が、対象空間TSに設置された対象環境調節機器2091~2097の機器情報を取得する。次いで、制御部2014が保存されている環境状態を呼び出す。次いで、制御部2014は、対象空間TSにある対象環境調節機器2091~2097を用いて、呼び出した環境状態に最も近くなる制御パラメータを算出するように演算部2018に要請する。
例えば、環境状態に含まれる風量を実現するために、空調機2091と扇風機2092が利用可能である。したがって、演算部2018は、空調機2091、扇風機2092、電動窓2094の開閉による送風の適切なバランスを算出する。環境状態に湿度の項目が含まれているにもかかわらず、対象空間TSに設置されている空調機2091が湿度制御機能を有していない場合には、演算部2018は加湿器2093の制御パラメータを適切に定めることによって環境状態の湿度項目の実現を図る。照度の項目については、演算部2018は照明器具2095とカーテン器具2096の制御パラメータにより実現を図る。匂いの項目については、演算部2018は電動アロマポット2097が利用可能か否かを確認する。
最後に、制御部2014は、演算部2018が算出した制御パラメータに基づいて対象環境調節機器2091~2097を制御する。この過程で、制御部2014は、対象環境センサ2099の検出値を用いてフィードバック制御を行ってもよい。これにより、基準空間RSの環境に近い環境が対象空間TSにおいて再現される。
(5-3)対象空間TSでの環境保存
ユーザは、対象空間TSの環境が快適であると感じた場合には、その環境状態を環境調節システム2090の記憶部2017に保存させることができる。そのやり方は、基準空間RSの環境を保存する場合と同様である。
(6)特徴
(6-1)
記憶部2017が記憶する環境状態は、制御パラメータに基づく制御によって対象空間TSの環境として再現される。したがって、ユーザの好みの環境を再現することができる。
(6-2)
基準空間RSの環境に基づいて環境状態が作られ、その環境状態が対象空間TSで再現される。したがって、基準空間RSの環境を対象空間TSで再現できる。
(6-3)
環境状態の再現を行う旨の指令を受け取ると、環境状態に応じて制御部2014が対象環境調節機器2091~2097を制御する。したがって、ユーザが発した指令によってユーザの好みの環境が再現される。
(6-4)
ユーザは権限保持者として認証された場合に環境調節機器を制御できる。したがって、無権限者が環境調節機器を制御できないので、セキュリティが確保されやすい。
(6-5)
基準空間RSおよび対象空間TSの環境調節機器は、いずれも空調機を含む。したがって、ユーザの快適さに影響を与える空気調和が対象空間TSにおいて再現される。
(6-6)
記憶部17が記憶する環境状態は、対象空間TSの環境を用いて更新できる。したがって、対象空間TSの環境をユーザが気に入った場合、その環境に関する設定を保存することができる。
(6-7)
この構成によれば、環境状態は温度、風量、湿度、照度、匂いを含むことができる。したがって、対象空間TSにユーザの好みのこれらの環境が再現される。
(7)変形例
(7-1)第1変形例
図23は、上記実施形態の第1変形例に係る環境調節システム2090Aを示す。環境調節システム2090Aは音声入出力装置2063を有しておらず、音声入力部2064および音声出力部2065が基準環境調節機器2062に設置されている点において、上記実施形態と異なっている。
この構成によれば、音声入出力装置2063が存在しないので、環境調節システム2090が必要とする設置空間が小さい。
(7-2)第2変形例
図24は、上記実施形態の第2変形例に係る環境調節システム2090Bを示す。環境調節システム2090Bにおいては、ユーザからの指令の受け付けおよびユーザへのメッセージ発信には、音声入出力装置2063の代わりに、携帯端末2067を用いる。携帯端末2067は、例えば専用アプリケーションを実装したスマートフォンである。基準環境調節機器2062には、携帯端末2067との通信のためのアンテナ2066が設けられている。アンテナ2066は、基準環境調節機器2062に内蔵されていてもよい。あるいは、アンテナ2066、外付けアダプタとして構成され、配線で基準環境調節機器2062に接続されていてもよい。
この構成によれば、基準空間RSおよび対象空間TSなどの場所ごとに音声入出力装置2063などのユーザインターフェイス端末を設置しなくともよいので、環境調節システム2090Bのコストダウンが可能である。
(7-3)第3変形例
基準環境調節機器62および対象環境調節機器2091~2097への入力手段は、音声入出力装置2063または携帯端末2067に限られず、あらゆる態様を採用することが可能である。例えば、入力手段として、有線リモコン、赤外線リモコン、無線リモコン、画像認識の可能なカメラ、持ち運び可能なBLEビーコンタグまたはRFIDタグ、容量センサなどの各種センサなどを採用することもできる。
〔第3構成〕
(1)空気調和システム3001の構成
図25は一実施形態に係る機器制御システムの概念を示す模式図である。本実施形態の機器制御システムは、空気調和システム3001として構成されている。
空気調和システム3001は、空調機3020(空気調和装置)と、空調機3020にネットワークNW経由で通信可能なサーバ3100とを備える。なお、図25では、説明の便宜上、一台の空調機3020がサーバ3100に接続している態様を示しているが、サーバ3100は任意の数の空調機3020と接続可能なものである。また、以下の説明では、任意のユーザを示す場合に符号3005を用い、個別のユーザを示す場合には英小文字の添え字を付す。
(1-1)空調機3020
空調機3020は、圧縮機、熱交換器、膨張弁、ファン、ルーバ等の内部機構を用いて、対象空間内に、所定の状態の調和空気を生成して吹き出すものである。このような空調機3020の内部機構は、内蔵された情報処理ユニット3020Pにより制御される。
なお、「調和空気の状態」とは、調和空気の温度、風量、風向のいずれか又は任意の組み合わせの状態を意味する。また、空調機3020は部屋Rに配置されるものとする。
情報処理ユニット3020Pは、図26に示すように、入力部3021、出力部3022、通信部3023、記憶部3024、処理部3025を有しており、インターネットなどのネットワークNWを介して、外部のサーバ3100と接続している。
入力部3021は、情報処理ユニット3020Pに各種情報を入力するものである。例えば、入力部3021は一般的なリモコンにより構成することができ、このようなリモコンを介してユーザ3005は種々の命令を空調機3020に入力することが可能となる。また、入力部3021は各種センサを有していてもよく、センサによる検出値は入力情報として処理部3025に送出される。ここでは、入力部3021はマイクを含むものであり、このようなマイクを介してユーザ3005の発する音声が空調機3020に入力される。なお、入力された音声は後述する処理部3025により解析され、音声の周波数及び音量を含む音声情報が取得される。
出力部3022は、スピーカ等により実現され、情報処理ユニット3020Pからの各種情報を出力するものである。通信部3023は、外部のネットワークNWと接続し、情報通信を可能にするものである。記憶部3024は、RAM及びROM等により実現され、情報処理ユニット3020Pに入力される情報、及び、情報処理ユニット3020Pで計算される情報等を記憶するものである。
処理部3025は、CPU等により実現され、情報処理ユニット3020Pにおける情報処理を実行するものである。ここでは、処理部3025が、記憶部3024に記憶されたプログラムを実行することで、「調和空気送出部3025A」「音声検知部3025B」「特定制御部3025C」として機能する。
調和空気送出部3025Aは、所定の状態の調和空気を生成し所定の方向に吹き出すために、空調機3020の内部機構を制御する。具体的には、調和空気送出部3025Aは、入力部3021(リモコン等)を介して入力されたユーザ3005の命令に応じて、空調機3010の内部機構を制御する。
音声検知部3025Bは、入力部3021(マイク)を介して、空調機3020が配置される空間(部屋R)に存在するユーザ3005を発する音声を検知する。また、音声検知部3025Bは、ユーザ3005の音声の周波数及び音量を含む音声情報を取得する。音声検知部3025Bは、音声情報を取得すると、その音声情報を通信部3023を介してサーバ3100に送信する。
特定制御部3025Cは、空調機3020が特定状態になったときに、その特定状態に対応する制御条件で空調機20の内部機構を制御する。これにより、調和空気の状態が変更又は維持される。ここでは、空調機3020の周辺環境に「怒っている人がいる」という特定状態に対して、「怒気モード」の制御条件が予め設定されている。そして、特定制御部3025Cは、後述するサーバ100から「怒気モード」に対応する制御命令を受信した場合、「怒気モード」の制御条件で空調機3020の内部機構を制御する。
(1-2)サーバ3100
サーバ3100は、図26に示すように、入力部3101、出力部3102、通信部3103、記憶部3104、処理部3105を有しており、インターネットなどのネットワークNWを介して、空調機3020に内蔵された情報処理ユニット3020Pと接続している。
ここで、入力部3101は、サーバ3100に各種情報を入力するものである。出力部3102は、サーバ3100からの各種情報を出力するものである。通信部3103は、外部のネットワークNWと接続し、情報通信を可能にするものである。
記憶部3104は、ROM,RAM等により実現され、サーバ3100に入力される情報、及び、サーバ3100で計算される情報等を記憶するものである。ここでは、記憶部3104は、「怒気分類DB104D」を記憶する。
怒気分類DB3104Dは、図27に示すように、怒気用語W及び音量と、怒気分類とを関連付けて記憶するものである。例えば、怒気分類DB3104Dは、「ふざけるな」という怒気用語Wに対し、音量が「大」きい場合には、「激しい喧嘩」という怒気分類(怒気分類1)を関連付けて記憶している。また、怒気分類DB3104Dは、「激しい喧嘩」という怒気分類(怒気分類1)に対応させて、所定の制御内容の制御命令を記憶している。具体的には、怒気分類DB3104Dは、「激しい喧嘩」という怒気分類に対して、「温度を下げる」という制御aと、「湿度を下げる」という制御bと、「風量をアップする」という制御cとを実行させる制御命令を記憶している。また、例えば、怒気分類DB3104Dは、「馬鹿」という怒気用語Wに対し、音量が「小」さい場合には、「軽い喧嘩」という怒気分類(怒気分類3)を関連付けて記憶している。また、怒気分類DB3104Dは、「軽い喧嘩」という怒気分類(怒気分類3)に対して、「風量をアップする」という制御cを実行させる制御命令を記憶している。
処理部3105は、CPU等により実現され、サーバ3100における情報処理を実行するものである。ここでは、処理部3105が、記憶部3104に記憶されたプログラムを実行することで、「音声入力解析部3110」「状態判定部(判定部)3125」として機能する。
音声入力解析部3110は、音声入力を解析してテキスト情報(言語情報)に変換する。ここでは、空調機3020から音声入力に対応する音声情報を受信した場合、その音声情報から、音声の意味を分析しテキスト情報に変換する。この変換されたテキスト情報は状態判定部3125に送出される。なお、音声入力解析部3110は、ニューラルネットワーク等により実現される。
状態判定部3125は、空調機3020が特定の状態であるか否かを判定する。ここでは、状態判定部3125は、特定状態として、空調機3020の周辺環境に「怒っている人」がいる状態か否かを判定する。具体的には、状態判定部3125は、怒気分類DB3104Dに記憶された情報と、音声入力解析部3110により解析されたテキスト情報とを照合し、当該テキスト情報に所定の「怒気用語W」が含まれているか否かを判定する。状態判定部3125は、怒気用語Wが含まれていると判定した場合、空調機3020の周辺環境に「怒っている人」がいる状態だと判定し、空調機3020を「怒気モード」に設定する。そして、状態判定部3125は、怒気モードに対応する制御命令を怒気分類DB3104Dから抽出して、抽出した制御命令を空調機3020の情報処理ユニット3020Pに送信する。
(2)空気調和システム3001の動作
図28A,4Bは本実施形態に係る空気調和システム3001の動作を説明するためのシーケンス図である。
空調機3020が配置された部屋R内で、複数のユーザ3005a、3005bが会話を始めた場合、空調機3020は、マイク等を介してユーザ3005a,3005bの会話の音声を検知する(S1)。そして、空調機3020は、ユーザ3005a,3005bの会話の音声情報をサーバ3100に適時送信する(S2)。
サーバ3100では、空調機3020から音声情報を受信すると、その音声情報をテキスト情報に変換する(S3,S4)。ここで、ユーザ3005aとユーザ3005bとが口論となった場合、その会話には怒気用語Wが含まれることがある。サーバ3100では、解析したテキスト情報と、怒気分類DB3104Dに記憶された情報とを都度照合し、そのテキスト情報に怒気用語Wが含まれているか否かを随時判定する(S5)。
そして、サーバ3100は、ユーザ3005a,3005bの会話に怒気用語Wが含まれていると判定した場合、空調機3020を「怒気モード」に設定する。具体的には、サーバ3100は、会話に含まれていた怒気用語Wと、その会話がなされたときの音量とに基づいて、怒気分類を決定する(S5-Yes,S6)。そして、サーバ3100は、決定した怒気分類に基づく制御命令を空調機3020に送信する(S7)。
次に、空調機3020は、サーバ3100から制御命令を受信し、調和空気の制御状態を怒気モードに変更する(S8,S9)。それから、空調機3020では、所定の時間が経過するまで怒気モードで調和空気を制御する(S10)。
そして、上記ステップS2~S10の処理が、ユーザ3005a,3005bの会話による音声が検知されなくなるまで継続される(S11-Yes,S2)。一方、ユーザ3005a,3005bの会話による音声が検知されなくなった場合は、怒気モードによる制御を解除して、調和空気の制御状態を、音声が検知される前の状態に戻す(S11-No,S12)。
(3)特徴
(3-1)
以上説明したように、本実施形態に係る空気調和システム3001は、調和空気送出部3025Aと、音声検知部3025Bと、音声入力解析部3110と、状態判定部(判定部)3125と、特定制御部(制御部)3025Cと、を備える。調和空気送出部3025Aは、対象空間(部屋R)に調和空気を送出する。音声検知部3025Bは、対象空間内(部屋R)に存在するユーザ(発話者)3005a,3005bの発する音声に対応する音声情報を取得する。音声入力解析部3110は、音声の入力を解析して言語情報に変換する。状態判定部3125は、音声入力解析部3110により解析された言語情報に、所定の怒気用語Wが含まれているか否かを判定する。特定制御部3025Cは、状態判定部3125により怒気用語Wが含まれていると判定された場合、調和空気の状態を制御する。
したがって、本実施形態に係る空気調和システム3001では、音声入力解析部3110により解析された言語情報に、所定の怒気用語Wが含まれている場合、調和空気の状態を制御するので、ユーザ3005a,3005bを冷静にすることが可能である。
補足すると、音声から言語情報を解析した上で怒気を判定するので、ユーザ3005a,3005bの怒気を高精度に判定できる。その上で、調和空気の状態を変化させることで、怒気を孕んだ言葉を発したユーザ(例えば、夫婦喧嘩をしている人達)に対して、気を逸らせるきっかけを与えることができる。結果として、発話者を冷静にすることが可能な空気調和システムを提供できる。
(3-2)
また、本実施形態に係る空気調和システム3001は、空調機3020と、空調機3020にネットワークNW経由で通信可能なサーバ3100とを備える。そして、空調機3020が、調和空気送出部3025A、音声検知部3025B及び特定制御部3025Cを有する。また、サーバ3100が、音声入力解析部3110及び状態判定部3125を有する。
要するに、本実施形態に係る空気調和システム3001では、ネットワークNW上のサーバ3100を利用してシステム構築される。このように、ネットワークNW上で情報処理を実行可能な構成にすることで、ニューラルネットワーク等の構築を容易にすることができる。結果として、音声入力の解析精度を高めることができ、システムの信頼性を高めることができる。
(3-3)
また、本実施形態に係る空気調和システム3001では、特定制御部3025Cが、状態判定部3125により怒気用語Wが含まれていると判定された場合、怒気用語Wとユーザ3005a,3005b(発話者)の発した音声の音量とに基づくように、調和空気の状態を制御する。補足すると、本実施形態に係る空気調和システム3001では、状態判定部3125は、音声情報に怒気用語Wが含まれていると判定した場合、空調機3020を怒気モードに設定する。そして、状態判定部は、怒気用語Wとユーザ3005a,3005bの発した音声の音量とに基づいて、怒気分類DB3104Dから怒気分類に対応する制御命令を抽出して、その制御命令を空調機3020に送信する。そして、空調機3020の特定制御部3025Cが制御命令を受信し、制御命令に基づいて、調和空気の状態を制御する。
よって、本実施形態に係る空気調和システム3001では、怒気用語Wだけではなく、ユーザ3005a,3005bの発した音声の音量も考慮して、調和空気の状態を制御するので、さらに的確に発話者の怒気に応じた制御が可能な空気調和システム3001を提供できる。
(3-4)
また、本実施形態に係る空気調和システム3001は、怒気用語W及び音量と、怒気分類とを関連付けて記憶する怒気分類DB(怒気分類記憶部)3104Dをさらに備える。このような構成により、怒気分類に応じた制御が可能な空気調和システム3001を実現できる。
補足すると、怒気分類によっては、軽度の刺激がユーザ3005の怒気を増幅する場合がある。このような場合、必要以上の刺激を与えないことが望まれる。一方で、怒気分類よっては、怒気を軽減するために、積極的に刺激を与えた方がよい場合もある。本実施形態に係る空気調和システム3001では、状況に応じて、怒気分類の設定を随時最適化することができる。
(4)変形例
(4-1)変形例A
本実施形態に係る空気調和システム3001は、空調機3020の処理部3025が、図29に示すように、ユーザ3005(発話者)の位置を特定する「位置特定部3025D」として機能してもよい。具体的には、空調機20が入力部3021として各種センサを有し、そのセンサの検出値に基づいて位置特定部3025Dがユーザ3005の位置を示す位置情報を算出する。
また、ユーザ3005の位置が特定されるときには、特定制御部3025Cが、ユーザ3005の位置に応じて調和空気の状態を制御してもよい。これにより、ユーザの位置に応じて、調和空気を的確に制御できる。
さらに、空調機3020がユーザ3005の位置を示す位置情報をサーバ3100に送信する構成でもよい。ここで、サーバ3100は怒気分類DB3104Dとして、ユーザの位置情報も反映された制御内容を怒気分類に関連付けて記憶するものとする。したがって、このような構成の場合には、ユーザの位置情報が反映された制御内容が怒気分類DB3104Dから抽出されることになる。そのため、空調機3020の特定制御部3025Cは、ユーザ3005a,3005bの位置が考慮された怒気モードで調和空気の状態を制御できる。これにより、ユーザ3005a,3005bの顔に向けて強風を当てることで気を逸らすといったことができるようになる。また、例えば、怒気分類によっては、怒気を有する人に対して、風を顔に当てるよりも、足元に微かに当たった方が怒気の低減に効果的な場合がある。このような場合でも、本変形例Aに係る空気調和システム3001では、怒気分類DB3104Dに記憶される情報を更新することで、怒気モードの調和空気の制御を細かく設定できる。
(4-2)変形例B
また、本実施形態に係る空気調和システム3001は、空調機3020の処理部3025が、図30に示すように、「文章出力命令部3025E」として機能してもよい。具体的には、空調機3020が、怒気モードで制御される場合、文章出力命令部3025Eが、怒気を軽減するための所定の文章を出力部3022のスピーカを介して音声出力する。なお、怒気を軽減するための所定の文章は、空調機3020の記憶部3024に記憶されていてもよいし、サーバ3100の記憶部3104に記憶されていてもよいものである。
また、怒気を軽減するための所定の文章は怒気分類に関連付けて怒気分類DB3104Dに記憶されていてもよい。そして、空調機3020が、怒気モードの制御命令を受信したときに、この文章を音声出力する構成でもよい。このような構成の場合、文章出力命令部3025Eは、出力部3022のスピーカを介して、例えば「すこし暑いようです。一時的に温度を下げます。」などのテキスト情報に対応する音声を出力する。なお、怒気の程度によっては、あたりさわりのない言葉が望ましい場合がある。
このように本変形例Bに係る空気調和システム3001によれば、調和空気の制御とともに、怒気を軽減するための文章が音声出力されるので、ユーザ3005を冷静にする効果を高めることができる。
(4-3)変形例C
また、本実施形態に係る空気調和システム3001は、怒気分類に関連付けて、怒気モードの開始及び/又は終了を報知(アナウンス)するか否かを設定できるものである。なお、怒気の程度によっては、却ってユーザ3005を刺激するため、怒気モードの開始及び/又は終了のアナウンスをしない方が望ましい場合がある。
また、怒気モードが開始されたことをサーバ3100の管理者に通知することもできる。これにより、サーバ3100の管理者は、サーバ100に接続された複数の空調機のうち、怒気モードが設定された空調機を特定できる。換言すると、怒気モードの空調機の場所が特定できることで、「怒っている人」がいる状態の場所を特定することができる。結果として、争いが生じる場所を予期することができる。
(4-4)変形例D
また、上述したサーバ3100の各機能は、複数のサーバにおいて分散させて実行させてもよい。例えば、空気調和システム3001は、図31に示すように、サーバ3100に代えて、第1サーバ3100A及び第2サーバ3200Aを備える構成でもよい。ここでは、第1サーバ3100Aが上述した音声入力解析部の機能を有しており、第2サーバ3200Aがそれ以外の機能を有するものとする。補足すると、空調機3020を音声入力により制御する場合には、音声入力の解析に多大な処理が必要になることがある。このような場合であっても、空気調和システム3001では、ネットワークNW上に構築されたニューラルネットワーク等を実現する第1サーバ3100Aを用いることで音声解析を高精度に実行することができる。一方、音声入力の解析以外の負荷の低い処理を第2サーバ3200Aに実行させることで、システムの使用性等と高めることができる。
(4-5)変形例E
上記説明において、空調機3020が入力部3021としてマイクを有し、処理部3025が音声検知部3025Bとして機能するとしたが、本実施形態に係る空気調和システム3001はこのような構成に限定されるものではない。
例えば、空気調和システム3001は、図32に示すように、空調機3020が上記構成を具備せずに、音声入力装置3060を別途具備する構成でもよい。ここで、音声入力装置3060は、マイクを介して、空調機3020が配置される空間(部屋R)に存在するユーザ3005の発する音声を検知する。そして、音声入力装置3060は、音声を検知すると、その音声情報をサーバ3100に送信する。
(4-6)変形例F
なお、本実施形態に係る空気調和システム3001は、怒気用語の個数の増減、音声の音量が元に増減などの変化量に基づいて調和空気の状態を制御することも可能である。例えば、空気調和システム3001は、怒りの言葉減った、しゃべる声の大きさが収まった等の状況を判定して、調和空気の制御を元の状態に戻すものでもよい。
(4-7)変形例G
なお、本実施形態に係る空気調和システム3001は、上述した内容に限らず、怒気分類の設定に応じて、種々の調和空気の制御が可能である。
例えば、空気調和システム3001は、ユーザ3005a,3005bの間で夫婦喧嘩をしているときに、音声情報に基づいて、優勢な方(ヒートアップしている方)を判断し、優勢な方に向けて風向きを変化させることができる。
例えば、空気調和システム3001は、喧嘩している(ヒートアップしている)ことを認識したら、空調機3020からイオン等を吹き出すこともできる。イオン等の種類に応じて、ユーザ3005の注意を逸らす効果が見込まれる。
例えば、空気調和システム3001は、激しい声のやり取り(大音量)を検知したら、調和空気の温度を下げる。これにより、ユーザ3005を冷静にさせる効果が見込まれる。
例えば、空気調和システム3001は、ホームネットワークと連動し、喧嘩しているユーザ3005a,3005bを検知したら、その家の中の全て又は一部の電気製品を一時停止する。その上で、空気調和システム3001は、空調機3020から熱風を吹き出す。これにより生命への危機感が煽られる効果が見込まれる。結果として、喧嘩をしているユーザ3005a,3005bを和解させる効果が見込まれる。
要するに、空気調和システム3001は、怒気分類に応じて、音声情報からユーザ3005の感情を判定できるものである。換言すると、声から人の感情を読み取ることができるものである。そして、空気調和システム3001では、興奮しているユーザ3005に冷風を当てる等して、注意を逸らすことができる。ただし、怒気分類によっては、冷風を当てる以外の制御が行われることになる。
<付記>
なお、本発明は、上記各実施形態そのままに限定されるものではない。本発明は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、本発明は、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できるものである。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよいものである。さらに、異なる実施形態に構成要素を適宜組み合わせてもよいものである。
〔第4構成〕
(1)全体構成
図33は、一実施形態に係る機器制御システムを示す。本実施形態の機器制御システムは、室内環境調節システム4090として構成されている。室内環境調節システム4090は、建物4060に設置されたルータ4061、空調機4062、および音声入出力装置4063と、サーバ4040とを含む。空調機4062、音声入出力装置4063、およびサーバ4040は、ネットワーク4050によって接続されている。
ルータ4061はスイッチングハブを有し、ネットワーク4050に接続している。空調機4062はルータ4061に接続している。ルータ4061と空調機4062の間のリンクは、有線通信および無線通信のいずれによって実現されてもよい。
音声入出力装置4063は、空調機4062と同じくルータ4061を介してネットワーク4050に接続している。音声入出力装置4063には音声入力部4064と音声出力部4065が設けられている。ルータ4061と音声入出力装置4063の間のリンクは、有線通信および無線通信のいずれによって実現されてもよい。
ネットワーク4050は、例えばPSTN(公衆交換電話網)等を用いて構築されたインターネットである。
サーバ4040は建物4060から遠隔地に設置されており、ネットワーク4050に接続している。サーバ4040は、空調機4062のユーザが発する音声に応答して空調機4062を制御する。サーバ4040は、単一のコンピュータとして構成されていてもよいし、それぞれ異なる機能を有する複数のコンピュータ4040a、4040bから構成されていてもよい。例えば、あるコンピュータ4040aは音声の解析および指令の実行を担当し、別のコンピュータ4040bは空調機62の制御と異常検出を担当してもよい。この場合、複数のコンピュータ4040a、4040bは、互いに離れた場所に設置されて異なる企業に所有または管理されていてもよい。
(2)詳細構成
図34は室内環境調節システム4090の構成のブロック図である。
(2-1)空調機4062
空調機4062は、入出力インターフェイス部4621と、プロセッサ4622と、冷媒回路4623を有する。入出力インターフェイス部4621はルータ4061を介してネットワーク4050と接続されており、他の機器と情報を交換する。冷媒回路4623はセンサとアクチュエータを含み、部屋の空気を調和する。プロセッサ4622は空調機4062のアクチュエータを制御し、センサの出力を読み取るとともに、入出力インターフェイス部4621と情報を交換する。
図35は、空調機4062の詳細なブロック図である。空調機4062は、室外機4070および室内機4080を含む。入出力インターフェイス部4621は、室内機4080に搭載されている。プロセッサ4622は、室外機4070に搭載された室外機制御部4079、および室内機4080に搭載された室内機制御部4089を含んでいる。冷媒回路4623は、室外機4070に搭載された、圧縮機4071、四路切換弁4072、室外熱交換器4073、室外膨張弁4075、ガス閉鎖弁4077、液閉鎖弁4078、および、室内機4080に搭載された室内熱交換器4081を含んでいる。室外機制御部4079は、圧縮機4071、四路切換弁4072、ファン4074、室外膨張弁4075を制御するとともに、室外機4070に搭載された図示しない各種センサの検出値を読み取る。室内機制御部4089は、ファン4082を制御するとともに、室温を検知する室温センサ4083を含む室内機4080に搭載された各種センサの検出値を読み取る。
(2-2)音声入出力装置4063
図34に戻り、音声入出力装置4063は、入出力インターフェイス部4631と、音声入力部4064と、音声出力部4065を有する。入出力インターフェイス部4621はルータ4061を介してネットワーク4050と接続されており、他の機器と情報を交換する。音声入力部4064は、マイク4641、増幅器4642、AD変換器4643を有する。マイク4641はアナログ音声信号を取得する。増幅器は取得されたアナログ音声信号を増幅する。AD変換器4643は増幅されたアナログ音声信号をAD変換して、得られた音声データSDを入出力インターフェイス4631部へ送る。音声出力部4065は、DA変換器4653、増幅器4652、スピーカ4651を有する。DA変換器4653は、入出力インターフェイス部4631から受け取った出力データODをDA変換して、得られたアナログ出力信号を増幅器4652へ送る。増幅器4652はアナログ出力信号を増幅する。スピーカ4651は、増幅されたアナログ出力信号に応じた音声を発する。
(2-3)サーバ4040
サーバ4040はコンピュータ4040a、4040bを有する。サーバ4040に含まれるコンピュータの数はいくつであってもよい。ここでは、コンピュータ4040aの構成についてのみ説明する。コンピュータ4040aは、入出力インターフェイス部4041と、プロセッサ4042と、メモリ4043を有する。入出力インターフェイス部4041は、ネットワーク4050に接続されている。プロセッサ4042は、各種処理を実施する。処理の中には、入出力インターフェイス部4041を介した情報の送受信、および各種算術演算などが含まれる。メモリ4043は、プロセッサ4042の書き込み動作等により、情報を記憶する。
(3)機能ブロック
図36は、室内環境調節システム4090の機能面によるブロック図である。室内環境調節システム4090は、音声入力部4064および音声出力部4065の他に、複数の機能ブロック、すなわち、テキスト変換部4011、音声認識辞書4012、解釈部4013、制御部4014、記憶部4017、ユーザ識別部4019を有する。
機能ブロック4011~4019は、サーバ4040のコンピュータ4040a、4040bのメモリ4043に記憶され、プロセッサ4042に実行されるプログラムなどのソフトウェアとして構成されていてもよい。あるいは、機能ブロック4011~4019は、それ自体が集積回路やハードドライブなどのハードウェアとして構成されていてもよい。機能ブロック4011~4019の物理的な搭載位置は、コンピュータ4040a、4040bであってもよいし、音声入出力装置4063、空調機4062、またはその他の場所であってもよい。例えば、制御部4014の少なくとも一部は空調機4062のプロセッサ4622として構成されている。
(4)基本動作
(4-1)音声操作
ユーザは、図34の音声入出力装置4063の音声入力部4064を介して、自分の空調機4062に実行させたい動作を指示する。例えば、ユーザは「空調機をつけて」、「温度をもう少し下げて」などの指令を声で音声入力部4064に言う。
ユーザの音声はAD変換器4643でデジタル信号の音声データSDに変換される。音声データSDは、例えばネットワーク4050を経由してサーバ4040へ届く。図36のテキスト変換部4011は、音声認識辞書4012を参照しながら、音声データSDをテキストに変換する。解釈部4013はテキストを解釈し、ユーザの意図した指令CMを抽出する。
制御部4014は、出力データODを音声出力部4065へ送信し、例えば「温度を少し下げます」などの音声メッセージを図34のスピーカ4651に発させる。制御部4014は、空調機4062の冷媒回路4623に制御信号を送信し、現在の制御パラメータ、すなわち設定温度の値を所定の温度だけ下げるように空調機4062を制御する。
(4-2)ユーザの識別
室内環境調節システム4090は、複数のユーザを識別する機能を有する。例えば、空調機4062の動作を命じる音声から生成された音声データSDをユーザ識別部4019が受け取り、声紋解析によってユーザを特定する。記憶部4017は、ユーザごとに異なる温度等に関する好みの設定値記録を各々のユーザと対応付けて記憶する。記憶部4017に記憶された好みの設定値記録は、当該設定に対応するユーザの指令により制御部4014によって設定値として呼び出されて、室温などの実際の状態値の制御に用いられる。
(5)快適性の追求のための微調整ルーチン
空調動作の結果、室温センサ4083によって検出された状態値である室温Trがユーザによって決定された設定値である設定温度Tsに到達した場合、室内環境調節システム4090は微調整ルーチンを開始する。微調整ルーチンは、図37に示すフローチャートの要領で実行される。ステップS0にて、微調整ルーチンが開始される。ステップS1にて、室温Trが設定温度Tsに達したか否かに応じて処理が分岐する。ステップS1にてNOの場合には、ステップS2にて室温Trを設定温度Tsに近づける温度制御がなされた後、再びステップS1へ戻る。ステップS1にてYESの場合には、処理はステップS3に進む。ステップS3にて、ユーザが室温Trに満足しているかを尋ねるメッセージを、制御部4014が音声出力部4065に発させる。ステップS4にて、音声入力部4064がユーザの声を取得し、解釈部4013がユーザの指令を抽出する。ステップS5にて、ユーザの指令の内容に応じて処理が分岐する。指令の内容が、ユーザが室温Trに満足している旨を知らせるものであった場合には、ステップS6へ移行し、微調整ルーチンは終了する。ステップS5にて、指令の内容が、もう少し室温Trを上げるよう要求するものであった場合には、ステップS7へ移行し、設定温度Tsが所定の量ΔTだけ加算される。ステップS5にて、指令の内容が、もう少し室温Trを下げるよう要求するものであった場合には、ステップS8へ移行し、設定温度Tsが所定の量ΔTだけ減算される。ステップS7またはステップS8が終了した後、処理はステップS1へ戻る。
以上の通り、ユーザが最新の室温Trを承諾するまで、室内環境調節システム4090は室内環境の調節(ステップS2)とユーザへの質問(ステップS3)とを繰り返す。
(6)特徴
(6-1)
設定温度Tsを実現した環境を承諾するか、あるいはさらに室温Trを変更させるかについて、ユーザは音声入力部4064を通じて室内環境調節システム4090に自身の希望をフィードバックすることができる。したがって、室内環境の調節に対するユーザの満足度が向上する。
(6-2)
ユーザからの承諾を得るまで、室内環境調節システム4090は室内環境の調節とユーザへの質問とを繰り返す。したがって、室内環境の調節に対するユーザの満足度がさらに向上する。
(6-3)
音声入力部4064はユーザの声を受け付ける。したがって、ユーザは声により室内環境調節システム4090への指令を発することができるので、操作が簡単である。
(6-4)
例えば、テキスト抽出部4011および解釈部4013の少なくとも一方を、空調機4062から離れた場所に設置された40サーバ40に置くことができる。したがって、空調機4062が高い処理能力を負担する必要がない。
(6-5)
ユーザ識別部4019が声紋からユーザを識別する。したがって、各ユーザにとって最適の設定値を室内環境に反映することができる。
(6-6)
複数のユーザはそれぞれ、自身にとって最適な設定値を更新することができる。したがって、各ユーザの満足度がより向上する。
(7)変形例
(7-1)第1変形例
上述の実施形態では、室内環境調節システム4090が制御できる環境を調節するための機器は、空調機4062のみである。これに代えて、図38に示すように、室内環境調節システム4090Aは、それ以外の室内環境調節機器を制御してもよい。第1変形例に係る室内環境調節システム4090Aが制御する室内環境調節機器は、空調機4062の他、加湿器4062Aと、照明器具4062Bである。加湿器4062Aに関しては、記憶部4017は設定値として設定湿度を記憶し、制御部4014は室内湿度が設定湿度に近づくように加湿器4062Aを制御する。照明器具4062Bに関しては、記憶部4017は設定値として設定照度を記憶し、制御部4014は室内照度が設定湿度に近づくように照明器具6240Bを制御する。当然ながら、上述した以外の室内環境調節機器が設置され、室内環境調節システム4090Aによって制御されてもよい。
この構成によれば、ユーザの五感刺激をより快適に調節できる。
(7-2)第2変形例
上述の実施形態では、室内環境調節システム4090へのユーザの入出力は音声である。これに代えて、図39に示すように、ユーザは音声以外の手段により室内環境調節システム4090Bに対する入出力を行ってもよい。第2変形例に係る室内環境調節システム4090Bは、音声入出力装置4063に代えてリモートコントローラ4063Aを備えている。リモートコントローラ4063Aは、空調機4062と直接的に無線通信または赤外線通信をしている。リモートコントローラ4063Aには、入力用のキー4064Aと、出力用のディスプレイ4065Aが設けられている。
この構成によれば、聴覚によらずにユーザは室内環境調節システム4090に希望を伝えることができる。
〔第5構成〕
(1)全体構成
図40は、一実施形態に係る機器制御システムを示す。本実施形態の機器制御システムは、空調管理システム5090として構成されている。空調管理システム5090は、複数の物件5060A、5060B、およびサーバ5040を含む。空調管理システム5090は、電力会社5030と協働してデマンドレスポンスシステムを形成する。空調管理システム5090は、電力会社5030から電力を受け取るとともに、電力会社5030と通信を行う。
電力会社5030は、電力線5032を用いて物件5060A、5060Bに電力を提供する。電力会社5030には、電力管理装置5031が設けられている。電力管理装置5031は、通信線5033を用いて、ネットワーク5050を介して物件5060A、5060Bのコントローラ5061と通信をすることができる。
電力管理装置5031は、通信線5033を用いて、物件5060A、5060Bに対して電力の使用量の抑制を促す「抑制要請」を送信することができる。
(2)詳細構成
(2-1)物件60A、60B
物件5060A、5060Bは、住宅、オフィスビル、工場などの建物である。物件5060A、5060Bには、空調機5062、照明器具5066、換気扇5067などの電気機器群が設けられている。さらに、物件5060A、5060Bには、コントローラ5061、電力メータ5068、および、音声入出力装置5063が設けられる。
(2-1-1)空調機5062
空調機5062は設置室内の温度等を調整するものである。空調機5062の消費電力は、電源ON/OFF、暖房モード/冷房モード、設定温度、外的環境などによって変動する。
(2-1-2)照明器具5066
照明器具5066は、電源ON/OFF,照度調節などによって消費電力が変動する。
(2-1-3)換気扇5067
換気扇5067は、電源ON/OFFによって消費電力が変動する。
(2-1-4)コントローラ5061
コントローラ5061は、電力会社5030の電力管理装置5031に対して、抑制要請に対する承諾および拒否を送信することができる。さらに、コントローラ5061は、抑制要請の有無を考慮した上で電気機器を制御する。
(2-1-5)電力メータ5068
電力メータ5068は物件5060A、5060Bで使用される電力量を計測する。計測結果はコントローラ5061によってモニタされる。
(2-1-6)音声入出力装置5063
音声入出力装置5063は、電気機器群の音声リモートコントローラとして動作する。音声入出力装置5063は、例えば空調機5062と同じ部屋に設置される。
(2-2)サーバ5040
サーバ5040は、音声入出力装置5063を、電気機器群の音声リモートコントローラとして動作させるためのものである。サーバ5040は、単一のコンピュータとして構成されていてもよいし、それぞれ異なる機能を有する複数のコンピュータから構成されていてもよい。例えば、あるコンピュータは音声の解析および指令の抽出を担当し、別のコンピュータは電気機器の制御と異常検出を担当してもよい。この場合、複数のコンピュータは、互いに離れた場所に設置されて異なる企業に所有または管理されていてもよい。
(3)ハードウェア構成
図41は空調管理システム5090のハードウェア構成のブロック図である。本図では1つの物件に設けられる電気機器群のみを記載する。
(3-1)空調機5062
空調機5062は、入出力インターフェイス部5621と、プロセッサ5622と、冷媒回路5623を有する。入出力インターフェイス部5621はコントローラ5061を介してネットワーク50と接続されており、他の機器と情報を交換する。冷媒回路5623はセンサとアクチュエータを含み、部屋の空気を調和する。プロセッサ5622は空調機5062のアクチュエータを制御し、センサの出力を読み取るとともに、入出力インターフェイス部5621と情報を交換する。
(3-2)音声入出力装置5063
音声入出力装置5063は、入出力インターフェイス部5631と、音声入力部5064と、音声出力部5065を有する。入出力インターフェイス部5621はコントローラ5061を介してネットワーク5050と接続されており、他の機器と情報を交換する。
音声入力部5064は、マイク5641、増幅器5642、AD変換器5643を有する。マイク5641はアナログ音声信号を取得する。増幅器5642は取得されたアナログ音声信号を増幅する。AD変換器5643は増幅されたアナログ音声信号をAD変換して、得られた音声データSDを入出力インターフェイス5631部へ送る。
音声出力部5065は、DA変換器5653、増幅器5652、スピーカ5651を有する。DA変換器5653は、入出力インターフェイス部5631から受け取った出力データODをDA変換して、得られたアナログ出力信号を増幅器5652へ送る。増幅器5652はアナログ出力信号を増幅する。スピーカ5651は、増幅されたアナログ出力信号に応じた音声を発する。
(3-3)サーバ5040
サーバ5040はコンピュータ5040a、5040bを有する。サーバ5040に含まれるコンピュータの数はいくつであってもよい。ここでは、コンピュータ5040aの構成についてのみ説明する。コンピュータ5040aは、入出力インターフェイス部5041と、プロセッサ5042と、メモリ5043を有する。入出力インターフェイス部5041は、ネットワーク5050に接続されている。プロセッサ5042は、各種処理を実施する。処理の中には、入出力インターフェイス部5041を介した情報の送受信、および各種算術演算などが含まれる。メモリ5043は、プロセッサ5042の書き込み動作等により、情報を記憶する。
(3-4)コントローラ5061
コントローラ5061は、入出力インターフェイス部5611、5614、5615、プロセッサ5612、メモリ5613を有する。入出力インターフェイス部5611は、ネットワーク5050に接続されている。入出力インターフェイス部5614は、空調機5062に接続されている。入出力インターフェイス部5615は、音声入出力装置5063に接続されている。メモリ5613は、各種情報を記憶する。プロセッサ5612は、各種通信、演算、情報の記録、情報の読み出し、その他の処理全般を統括する。
(4)機能ブロック
図42は、空調管理システム5090の機能面によるブロック図である。空調管理システム5090は、音声入力部5064および音声出力部5065等の他に、複数の機能ブロック、すなわち、テキスト変換部5011、音声認識辞書5012、解釈部5013、制御部5014、状態抽出部5015、状態抽出辞書5016、判定部5017、記憶部5018を有する。
機能ブロック5011~5018は、サーバ5040のコンピュータ5040a、5040bのメモリ5043に記憶され、プロセッサ5042に実行されるプログラムなどのソフトウェアとして構成されていてもよい。あるいは、機能ブロック5011~5018は、それ自体が集積回路やハードドライブなどのハードウェアとして構成されていてもよい。機能ブロック5011~5018の物理的な搭載位置は、コンピュータ5040a、5040bであってもよいし、音声入出力装置5063、空調機5062、またはその他の場所であってもよい。
(5)基本動作
ユーザは、図41の音声入出力装置5063の音声入力部5064を介して、空調機5062に実行させたい動作を指示する。例えば、ユーザは「空調機をつけて」、「温度をもう少し下げて」などの指令を声で音声入力部5064に言う。
ユーザの音声はAD変換器5643でデジタル信号の音声データSDに変換される。音声データSDは、例えばネットワーク5050を経由してサーバ5040へ届く。図42のテキスト変換部5011は、音声認識辞書5012を参照しながら、音声データSDをテキストに変換する。解釈部5013はテキストを解釈し、ユーザの意図した指令CMを抽出する。
制御部5014は、出力データODを音声出力部5065へ送信し、例えば「温度を少し下げます」などの音声メッセージを図41のスピーカ5651に発させる。制御部5014は、空調機5062の冷媒回路5623に制御信号を送信し、現在の制御パラメータ、すなわち設定温度の値を所定の温度だけ下げるように空調機5062を制御する。
空調機5062以外の電気機器も同様に制御できる。例えば、ユーザが「もっと明るくして」と音声で音声入力部5064に対して命じると、制御部5014は照明器具5066の照度を大きくする。
(6)デマンドレスポンス動作
(6-1)状態抽出
状態抽出部5015は、状態抽出辞書5016を参照しながら、音声入力部5064から送られる音声データSDを分析し、在室中のユーザの感情を把握する。感情としては、様々な捉え方が可能である。一例を挙げると、把握されるべき感情として、声の強さや音声波形の形状から導出されるユーザの興奮度を用いてもよい。
(6-2)モード判定
判定部5017は、電力管理装置から電力使用に関する抑制要請があった場合に、状態抽出部5015が把握したユーザの感情に応じて、判定部5017は抑制要請を受け入れるか否かを決定する。具体的には、判定部5017は、感情が肯定的なときは抑制要求を承諾する「承諾モード」と判定し、感情が否定的なときは抑制要求を拒否する「拒否モード」と判定する。
(6-3)電力管理装置5031への通知
制御部5014の一部として機能するコントローラ5061のプロセッサ5612は、電力管理装置5031に対して、「承諾モード」のときは抑制要求への承諾を送信し、「拒否モード」のときは抑制要請への拒否を送信する。
(6-4)記録
記憶部5018には、電力管理装置5031に対して送信した承諾または拒否の送信の履歴が保存される。
(7)特徴
(7-1)
判定部5017が、電力会社からの抑制要求への承諾応答を行うか否かを自動的に決定する。したがって、ユーザの決定の負担が軽減される。
(7-2)
否定的な感情を抱くユーザがいるときは、制要求への承諾応答が行われない。したがって、否定的な感情を抱くユーザに配慮した運転がなされる。
(8)変形例
(8-1)画像・動画入力
音声入力部5064による音声データの取得に代えて、カメラなどの画像入力部を用いて画像または動画のデータを取得してもよい。状態抽出部5015は、ユーザの表情、姿勢、または動作などを検出し、次いでその検出内容からユーザの感情を把握してもよい。
(8-2)エネルギーセーブ運転
判定部5017の出力に基づいて行う処理は、電力管理装置5031への承諾または拒否の送信に代えて、デマンドレスポンスに関係しないエネルギーセーブ運転の実行でもよい。すなわち、「承諾モード」のときはエネルギーセーブ運転を実行し、「拒否モード」のときは通常運転を実行してもよい。ここでいうエネルギーセーブ運転とは、例えば空調機5062の圧縮機のモータ回転数に制限を加えて、空調機5062の能力を低下させることなどが挙げられる。
〔第6構成〕
(1)全体構成
図43は、一実施形態に係る機器制御システムを示す。本実施形態の機器制御システムは、ホームシステム6090として構成されている。ホームシステム6090は、住宅である建物6060と、遠隔地に設けられたサーバ6040を含む。建物6060には、ルータ6061、音声入出力装置6063、機器群6070が設けられる。ルータ6061とサーバ6040はネットワーク6050を介して接続している。
(2)詳細構成
(2-1)ネットワーク6050
ネットワーク6050は、例えばPSTN(公衆交換電話網)等を用いて構築されたインターネットである。
(2-2)ルータ6061
ルータ6061はネットワーク6050に接続し、スイッチングハブを有する。ルータ6061には、音声入出力装置6063と機器群6070が、有線通信または無線通信のリンクによって接続されている。
(2-3)機器群6070
機器群6070は、例えば、空調機6071、浴室給湯器6072、テレビ6073、照明器具6074、ウェアラブル端末6075、調理器具6076、冷蔵庫6077を含む。
(2-4)音声入出力装置6063
音声入出力装置6063は、音声指令によって機器群6070を操作するためのものである。音声入出力装置6063には音声入力部6064と音声出力部6065が設けられている。
(2-5)サーバ6040
サーバ6040は、ユーザが発する音声に応答して機器群6070を制御する。サーバ6040は、単一のコンピュータとして構成されていてもよいし、それぞれ異なる機能を有する複数のコンピュータ6040a、6040bから構成されていてもよい。例えば、あるコンピュータ6040aは音声の解析および指令の実行を担当し、別のコンピュータ6040bは空調機6071の制御と異常検出を担当してもよい。この場合、複数のコンピュータ6040a、6040bは、互いに離れた場所に設置されて異なる企業に所有または管理されていてもよい。
(3)ハードウェア構成
図44はホームシステム6090の構成のブロック図である。
(3-1)機器群70
機器群6070に属する1つの機器である空調機6071は、入出力インターフェイス部6711と、プロセッサ6712と、冷媒回路6713を有する。入出力インターフェイス部6711はルータ6061を介してネットワーク6050と接続されており、他の機器と情報を交換する。冷媒回路6713はセンサとアクチュエータを含み、部屋の空気を調和する。プロセッサ6712は空調機6071のアクチュエータを制御し、センサの出力を読み取るとともに、入出力インターフェイス部6711と情報を交換する。
機器群6070に属するその他の機器もまた、通常は空調機6071と同様に、プロセッサ、アクチュエータ、センサ、入出力インターフェイスを有する。プロセッサはアクチュエータを制御し、センサの出力を読み取り、入出力インターフェイスと情報を交換する。
(3-2)音声入出力装置6063
音声入出力装置6063は、入出力インターフェイス部6631と、音声入力部6064と、音声出力部6065を有する。入出力インターフェイス部6631はルータ6061を介してネットワーク6050と接続されており、他の機器と情報を交換する。
音声入力部6064は、マイク6641、増幅器6642、AD変換器6643を有する。マイク6641はアナログ音声信号を取得する。増幅器6642は取得されたアナログ音声信号を増幅する。AD変換器6643は増幅されたアナログ音声信号をAD変換して、得られた音声データSDを入出力インターフェイス6631部へ送る。
音声出力部6065は、DA変換器6653、増幅器6652、スピーカ6651を有する。DA変換器6653は、入出力インターフェイス部6631から受け取った出力データODをDA変換して、得られたアナログ出力信号を増幅器6652へ送る。増幅器6652はアナログ出力信号を増幅する。スピーカ6651は、増幅されたアナログ出力信号に応じた音声を発する。
(3-3)サーバ6040
サーバ6040はコンピュータ6040a、6040bを有する。サーバ6040に含まれるコンピュータの数はいくつであってもよい。ここでは、コンピュータ6040aの構成についてのみ説明する。コンピュータ6040aは、入出力インターフェイス部6041と、プロセッサ6042と、メモリ6043を有する。入出力インターフェイス部6041は、ネットワーク6050に接続されている。プロセッサ6042は、各種処理を実施する。処理の中には、入出力インターフェイス部6041を介した情報の送受信、および各種算術演算などが含まれる。メモリ6043は、プロセッサ6042の書き込み動作等により、情報を記憶する。
(4)機能ブロック
図45は、ホームシステム6090の機能面によるブロック図である。ホームシステム6090は、音声入力部6064および音声出力部6065の他に、複数の機能ブロック、すなわち、テキスト抽出部6011、音声認識辞書6012、解釈部6013、制御部6014、時計部6015、記録部6016、パターン抽出部6017、予測部6018を有する。
機能ブロック6011~6018は、サーバ6040のコンピュータ6040a、6040bのメモリ6043に記憶され、プロセッサ6042に実行されるプログラムなどのソフトウェアとして構成されていてもよい。あるいは、機能ブロック6011~6018は、それ自体が集積回路やハードドライブなどのハードウェアとして構成されていてもよい。機能ブロック6011~6018の物理的な搭載位置は、コンピュータ6040a、6040bであってもよいし、音声入出力装置6063、空調機6071、またはその他の場所であってもよい。例えば、制御部6014の少なくとも一部は空調機6071のプロセッサ6712として構成されている。
(5)動作
(5-1)音声操作
ユーザは、図44の音声入出力装置6063の音声入力部6064を介して、機器群6070に実行させたい動作を指示する。例えば、ユーザは「空調機をつけて」、「温度をもう少し下げて」などの指令を声で音声入力部6064に言う。
ユーザの音声はAD変換器6643でデジタル信号の音声データSDに変換される。音声データSDは、例えばネットワーク6050を経由してサーバ6040へ届く。図45のテキスト抽出部6011は、音声認識辞書6012を参照しながら、音声データSDをテキストに変換する。解釈部6013はテキストを解釈し、ユーザの意図した指令CMを抽出する。これにより、解釈部6013は、指令CMが例えば空調機6071に関するものであることを把握する。
制御部6014は、出力データODを音声出力部6065へ送信し、例えば「温度を少し下げます」などの音声メッセージを図44のスピーカ6651に発させる。制御部6014は、空調機6071の冷媒回路6713に制御信号を送信し、現在の制御パラメータ、すなわち設定温度の値を所定の温度だけ下げるように空調機6071を制御する。
(5-2)機器動作の取得
サーバ6040は、機器群6070に設けられたセンサ出力、および機器群6070へ送る指令CMの内容を取得する。センサ出力および制御の指令CMは、時計部6015で計測された時刻と関連付けて、図46に示すログとして記録部6016に保存される。
(5-3)ユーザの行動パターンの抽出
ログを分析することによって、発生頻度が高い機器動作パターンをパターン抽出部6017が抽出する。特徴的な機器動作パターンとして例えば下記のものが挙げられる。
(5-3-1)日時と機器動作との相関の強いもの
特定の暦日、曜日や時刻になされるある機器への指令または検出の記録。
・平日の午後7時頃、照明器具6074の電源が投入される。(仕事からの帰宅)
・午後6時頃、ウェアラブル端末6075が心拍数の上昇を検知する。(夕方のジョギング)
・午後6時頃、調理器具6076が使用される。(夕食の準備)
(5-3-2)複数の機器動作の相関の強いもの
別個の機器に対する、所定時間差以内の複数の順次的な指令または検出の記録。
・浴室給湯器6072の使用の後、空調機6071の設定温度が下げられる。(入浴後の冷房を強くする)
・ウェアラブル端末6075で心拍数の上昇を検出した後、空調機6071の設定温度が上げられる。(ジョギングの後の冷房を弱くする)
・調理器具6076の使用中に、空調機6071の設定温度が下げられる。(調理中に冷房を強くする)
(5-3-3)日時と複数の機器動作の相関の強いもの
・金曜日の午後8時頃、テレビ6073の電源が投入された後、冷蔵庫6077のドアが開く。(飲み物を飲みながらテレビを視聴)
(5-4)ユーザの行動の予測
パターン抽出部6017が抽出した機器動作パターンから、近い将来に発生しそうなパターンを予測部6018が予測する。例えば、現在時刻が午後5時55分であり、空調機6071の設定温度が26℃であるとする。そして、予測部6018が「5分後の午後6時頃に空調機71の設定温度が25℃に変更される蓋然性が大きい」と予測する。
(5-5)機器制御
制御部6014は、予測に基づいて制御を行う。制御のやり方として、例えば下記の2通りのモードが挙げられる。
(5-5-1)先回り実現モード
ユーザが機器群6070のいずれかを操作する前に、制御部6014はユーザが行いそうな操作を先回りして行う。例えば、上述の予測に基づいて、制御部6014は、午後6時に空調機6071の設定温度を26℃から25℃に変更する。
(5-5-2)アドバイスモード
ユーザに対して、制御部6014は予測される操作を教えるメッセージを発する。例えば上記の予測に基づいて、制御部6014は、午後6時に音声出力部6065を制御して、「午後6時になりました。空調機の温度を25℃に下げてもよいかもしれません。」というメッセージを発させる。
(6)特徴
(6-1)
特徴的な順次的指令パターンが得られる。したがって、ユーザが快適だと感じる蓋然性の高い制御のパターンをホームシステム6090は把握できる。
(6-2)
予測部6018が、順次的指令パターンに基づいて、次にユーザが行いそうな機器の制御を予測する。したがって、ユーザが快適だと感じる蓋然性の高い次の制御をホームシステム6090は把握できる。
(6-3)
メッセージ出力部が、次にユーザが行うことを好みそうな機器の制御をそのユーザに通知する。したがって、ユーザが自身の快適さをもたらす機器操作を失念することが抑制される。
(6-4)
音声出力部6065が、次にユーザが行うことを好みそうな機器の制御をそのユーザに通知する。したがって、ユーザが自身の快適さをもたらす機器操作を失念することが抑制される。
(6-5)
ユーザは声により指令を発することができる。したがって、ユーザにとってホームシステム6090の操作が容易である。
(6-6)
ホームシステム6090は空調機6071を制御する。したがって、ユーザが快適だと感じる温度等をホームシステム6090が実現できる。
(7)変形例
(7-1)第1変形例
上述の形態の音声入出力装置6063に代えて、図47に示すようにスマートフォン6063Aを用いてもよい。本図で機器群は省略している。スマートフォン6063Aのネットワーク6050への接続は、ルータ6061との間の無線通信により実現してもよいし、携帯電話キャリアの4G回線などを用いて実現してもよい。音声によるメッセージの代わりに、文字によるメッセージを使用してもよい。スマートフォン6063Aの画面上にキャラクターの画像やアニメーションを表示させて、そのキャラクターがメッセージを話しているような演出をしてもよい。
さらに、音声入出力装置6063、スマートフォン6063Aに限られず、タッチパネル、キーボード、カメラ、LEDインジケータなど、あらゆる態様の入出力手段を採用することが可能である。
(7-2)第2変形例
図48に示す第2変形例では、ホームシステム6090Bは文脈部6019という機能ブロックを含む。文脈部6019は、人間の、あるいは国や地域ごとの生活様式の文脈を参照しつつ、予測部から出力されるパターンに、合致するメッセージを作り出す。
例えば、金曜日の夜に照明器具6074が点灯したときに、音声出力部6065から「今週もお仕事お疲れさま。冷蔵庫に冷たいビールがありますよ。」などという労いの言葉を発させても良い。
この文脈部6019は、例えばニューラルネットワークによって構成してもよい。
(7-3)第3変形例
予測部6018が行ったパターン予測をユーザに対して音声出力部6065その他の出力手段により提示してもよい。この場合、ユーザが提示通りに機器を操作した事象を提示の成功と判定し、ユーザが提示とは異なる操作を行った事象を提示の不成功と判定する判定部をさらに設けてもよい。加えて、そのような提示の成功および不成功の履歴を記録するパターン提示結果記録部を設けてもよい。
この構成によれば、機器の操作のログとともに成功および不成功の履歴を分析できるので、履歴の記録より以降のユーザの行動の予測可能性を高めたり、提示を成功させやすくしたりすることができる。
(7-4)第4変形例
上述の第3変形例においてユーザに対する機器操作のパターンの提示をするとき、建物6060の外部の情報を考慮に入れて提示の内容を決定してもよい。
例えば、夏に送電網の負荷が限界に近い状況をもとにして、「エアコンのいつもの設定温度は25℃ですが、今日は26℃にしてはどうでしょう。」という提示をしてもよい。
〔第7構成〕
以下に、図面を参照しながら、本開示の機器制御システムの一実施形態に係る機器制御システム7400、機器制御システム7400により制御される本開示の機器の一実施形態に係る第1機器7010、第2機器7020及び第3機器7030、及び、これらの機器の制御方法の一実施形態について説明する。
(1)全体概要
機器制御システム7400と、機器制御システム7400により制御される第1機器7010、第2機器7020及び第3機器7030と、の概要について、図49を参照しながら説明する。
図49は、機器制御システム7400と、機器制御システム7400により制御される第1機器7010、第2機器7020及び第3機器7030と、の概略ブロック図である。なお、図49では、図面が煩雑になることを避けるため描画を省略しているが、第3機器7030も、第1機器7010及び第2機器7020と同様に、音声入力部、音声データ送信部、開始・停止要求受付部、開始・停止情報受付部、報知部、スイッチ、リモコン等の構成を有している。
第1機器7010、第2機器7020及び第3機器7030のそれぞれと、機器制御システム7400とは、ネットワーク7040により接続されている(図49参照)。ネットワーク7040は、例えばインターネットであるが、WAN等であってもよい。
第1機器7010、第2機器7020及び第3機器7030は、音声操作可能な機器である。ここでは、第1機器7010、第2機器7020及び第3機器7030は、同一の建物、例えば一戸建ての住宅内に設置される機器である。ただし、設置場所は例示にすぎず、これらの機器は、オフィスビルや、ホテル、工場等に設置される機器であってもよい。ここでは、第1機器7010及び第2機器7020は第1空間(例えば住宅の1階)に、第3機器7030は第2空間(例えば住宅の2階)に設置されている。
なお、ここでは、建物内に3台の機器(第1機器7010、第2機器7020及び第3機器7030)が設置されている場合を例に説明するが、これに限定されるものではなく、建物内には2台、あるいは4台以上の機器が設置されてもよい。また、ここでは、1つの建物内に設置された第1機器7010、第2機器7020及び第3機器7030を例に説明するが、機器は複数の建物に設置され、複数の建物内に設置された機器が、ネットワーク7040を介して機器制御システム7400に接続されていてもよい。
本実施形態では、第1機器7010、第2機器7020及び第3機器7030は、家電製品である。家電製品には、例えば、空調機、テレビ、録画機、オーディオ機器、冷蔵庫、電子レンジ、洗濯機、照明器具等を含む。なお、ここで列挙した機器の種類は例示である。第1機器7010、第2機器7020及び第3機器7030は、列挙した以外の家電製品であってもよいし、家電製品以外の機器であってもよい。第1機器7010、第2機器7020及び第3機器7030は、全て同一の種類の機器であってもよいし、互いに異なる出位の機器であってもよい。限定するものではないが、本実施形態では、第1機器7010及び第3機器7030は空調機で、第2機器7020はテレビである。
第1機器7010、第2機器7020及び第3機器7030の音声操作に関連する構成・機能等については、後ほど説明する。なお、空調機やテレビ等の家電製品は、一般に広く知られた機器であるため、第1機器7010、第2機器7020及び第3機器7030の音声操作に関連する構成・機能以外についての説明は、ここでは省略する。
機器制御システム7400は、第1機器7010、第2機器7020及び第3機器7030から送信されてくる音声データを受け付け、受け付けた音声データを解析するシステムである。また、機器制御システム7400は、音声データの解析結果に基づく信号(指示や情報)を第1機器7010、第2機器7020及び第3機器7030に送信し、これにより第1機器7010、第2機器7020及び第3機器7030を制御するシステムである。
機器制御システム7400は、第1サーバ7100、第2サーバ7200、及び第3サーバ7300を含む(図49参照)。第1サーバ7100、第2サーバ7200及び第3サーバ7300は、互いにネットワーク7040により通信可能に接続されている。
第1サーバ7100、第2サーバ7200、及び第3サーバ7300は、通常、第1機器7010,第2機器7020及び第3機器7030の設置される建物とは別の場所に設置される。第1サーバ7100、第2サーバ7200、及び第3サーバ7300は、同一の場所に設置されていてもよいし、それぞれ異なる場所に設置されていてもよい。
第1サーバ7100は、第1機器7010、第2機器7020及び第3機器7030から送信されてくる音声データを受け付け、受け付けた音声データを解析するサーバである。また、第1サーバ7100は、第1機器7010、第2機器7020及び第3機器7030についての音声認識処理に関連する機能の開始/停止に関して各種処理を実行するサーバである。詳細については後述する。
なお、第1機器7010についての音声認識処理とは、第1機器7010が音声を受け付け、第1機器7010が受け付けた音声の音声データを送信し、第1サーバ7100が、第1機器7010から送信されてくる音声データを受け付け、受け付けた音声データを解析する、一連の処理を意味する。より具体的には、第1機器7010の音声認識処理とは、音声入力部7012が音声を受け付け、音声データ送信部7014が受け付けた音声の音声データを送信し、音声データ受付部7110が第1機器7010から送信されてくる音声データを受け付け、受け付けた音声データを音声解析部7120に解析させる、一連の処理を意味する。なお、第1機器7010の音声入力部7012及び音声データ送信部7014と、機器制御システム7400の音声データ受付部7110及び音声解析部7120と、については、後述する。
第1機器7010についての音声認識処理に関係する機能には、例えば以下の機能を含む。
1)音声入力部7012の音声の受付機能
2)音声データ送信部7014の音声データの送信機能
3)第1機器7010の送信する音声データを音声データ受付部7110が受け付ける機能
4)第1機器7010が送信する音声データを音声解析部7120が解析する機能
5)第1機器7010が送信した音声データを後述する第1サーバ7100の記憶部7190に蓄積する機能
第2機器7020及び第3機器7030についての音声認識処理、及び、第2機器7020及び第3機器7030についての音声認識処理に関係する機能は、それぞれ、第1機器7010についての音声認識処理、及び、第1機器7010についての音声認識処理に関係する機能と同様であるので、ここでは説明は省略する。
第2サーバ7200は、第1機器7010又は第3機器7030(空調機)が送信する音声データの第1サーバ7100の音声解析部7120による解析結果に基づく信号を、音声データの送信元である第1機器7010や第3機器7030に送信するサーバである。例えば、具体的には、第2サーバ7200は、第1機器7010が送信する「運転開始」という音声の音声データの、解析結果(音声データの内容は運転開始の指示であるという解析結果)に基づいて、第1機器7010に対して運転開始の指令(信号)を送信する。
なお、ここでは、第2サーバ7200は、第1機器7010又は第3機器7030からの音声データの解析結果に基づく信号を、音声データの送信元である第1機器7010又は第3機器7030に対して送信する。しかし、機器制御システム7400は、このような態様に限定されるものではない。例えば、第1機器7010及び第3機器7030が異なるメーカーの空調機である場合や、メーカーは同一でも空調機のタイプ等が異なるような場合には、機器制御システム7400は、第1~第3サーバに加え、第4サーバ(図示せず)を有してもよい。そして、第2サーバ7200が第1機器7010からの音声データの解析結果に基づく信号を第1機器7010に対して送信し、第4サーバが第3機器7030からの音声データの解析結果に基づく信号を第3機器7030に対して送信するように構成されてもよい。なお、第2サーバ7200は、第1機器7010及び第3機器7030の空調機のメーカーの違いや、空調機のタイプの違いに関わらず、第1機器7010又は第3機器7030からの音声データの解析結果に基づく信号を、音声データの送信元である第1機器7010又は第3機器7030に対して送信するように構成されてもよい。
第3サーバ7300は、第2機器7020(本実施形態ではテレビ)が送信する音声データの第1サーバ7100の音声解析部7120による解析結果に基づく信号を、音声データの送信元である第2機器7020に送信するサーバである。例えば、具体的には、第2サーバ7200は、第2機器7020が送信する「電源オン」という音声の音声データの、解析結果(音声データの内容は電源オンの指示であるという解析結果)に基づいて、第2機器7020に対して電源オンの指令信号を送信する。
なお、ここでは、第3サーバ7300が第2機器7020に対して音声データの解析結果に基づく信号を送信するが、これに限定されるものではない。例えば、機器制御システム7400は、第3サーバ7300を有さず、第2サーバ7200が、本実施形態の第3サーバ7300としても機能してもよい。
(2)詳細構成
以下に、機器(第1機器7010、第2機器7020及び第3機器7030)の音声操作に関連する構成・機能等と、機器制御システム7400と、に関して更に説明する。
(2-1)第1機器、第2機器及び第3機器
第1機器7010、第2機器7020及び第3機器7030は、いずれも第1機器の一例であると共に、第2機器の一例である。
第1機器7010、第2機器7020及び第3機器7030の音声操作に関連する構成・機能等について、第1機器7010を例にして、以下に説明する。
なお、第2機器7020の音声入力部7022、音声データ送信部7024、開始・停止要求受付部7026、開始・停止情報受付部7027、報知部7028、スイッチ7021a、リモコン7021bは、第1機器7010の音声入力部7012、音声データ送信部7014、開始・停止要求受付部7016、開始・停止情報受付部7017、報知部7018、スイッチ7011a、リモコン7011bとそれぞれ同様である。また、第3機器7030も、音声操作に関して、第1機器7010と同様の構成を有する。そこで、ここでは、第2機器7020及び第3機器7030についての説明は省略する。
第1機器7010は、音声操作に関連する構成として、マイクを含む音声入力部7012、CPUやCPUが実行するプログラム等が記憶されるメモリを備えた制御基板(図示省略)、ネットワーク7040との接続を可能にする通信インターフェース(図示省略)、LEDを含む報知部7018、第1機器の本体(図示せず)に設けられている物理的なスイッチ7011a、第1機器7010に対して各種指令を送信するために用いられるリモコン7011b等を主に有する。リモコン7011bは、第1機器7010の本体と有線で接続されてもよいし、第1機器7010の本体に対し無線で(例えば赤外線信号で)信号を送信するものであってもよい。
第1機器7010は、制御基板のCPUがプログラムを実行することで、音声データ送信部7014、開始・停止要求受付部7016、開始・停止情報受付部7017等として機能する。
以下に、第1機器7010の、スイッチ7011a及びリモコン7011b、音声入力部7012、音声データ送信部7014、開始・停止要求受付部7016、開始・停止情報受付部7017、及び報知部7018について説明する。
(2-1-1)スイッチ及びリモコン
スイッチ7011a及びリモコン7011bは、指示受付部の一例である。指示受付部とは、音声入力部7012が音声を受け付け、音声データ送信部7014が音声データを送信し、送信した音声データを機器制御システム7400の音声解析部7120に解析させる、音声認識処理に関係する機能の少なくとも一部の停止の指示を受け付ける機能部である。また、スイッチ7011a及びリモコン7011bは、音声認識処理に関係する機能の少なくとも一部の開始(再開)の指示を受け付ける機能部でもある。
スイッチ7011aは、物理的なスイッチ(例えば、押釦スイッチ)である。
リモコン7011bは、第1機器7010の空調機としての動作、例えば、第1機器7010のオン/オフや、運転モードの設定や、設定温度の入力等に用いられるリモコンである。また、リモコン7011bには、第1機器7010についての音声認識処理に関係する機能の少なくとも一部の開始/停止の指示を受け付けるスイッチが設けられている。
スイッチ7011aやリモコン7011bが、第1機器7010についての音声認識処理に関係する機能の少なくとも一部の開始/停止の指示を受け付けた場合には、第1機器7010は、機器制御システム7400に機能開始通知信号/機能停止通知信号を送信することが好ましい。
機能開始通知信号/機能停止通知信号は、第1機器7010についての音声認識処理に関係する機能の少なくとも一部の開始/停止の指示を受け付けた旨を知らせる信号である。なお、機能開始通知信号/機能停止通知信号には、機能の開始/停止の指示を受け付けたことだけではなく、どの機能の開始/停止の指示を受け付けたが情報として付されることが好ましい。
(2-1-2)音声入力部
音声入力部7012は、音声を受け付けるマイク(図示せず)を有し、音声の入力を受け付ける。
音声入力部7012の音声の受付機能は、開始(実行)/停止を指示可能に構成されることが好ましい。
音声入力部7012の音声の受付機能は、スイッチ7011aに対する指示(スイッチ7011aの押下)や、リモコン7011bからの指示(リモコン7011bの操作)により、開始/停止を指示可能に構成されることが好ましい。なお、スイッチ7011aに対する指示や、リモコン7011bからの指示で、音声入力部7012の音声の受付機能が開始/停止された場合には、第1機器7010から第1サーバ7100に対してその旨を知らせる信号(機能開始通知信号/機能停止通知信号)が送信されることが好ましい。
また、音声入力部7012の音声の受付機能は、開始・停止要求受付部7016が音声入力部7012の音声の受付機能の開始/停止の要求を受け付けると、その要求に応じて開始/停止が指示されることが好ましい。
(2-1-3)音声データ送信部
音声データ送信部7014は、音声入力部7012が受け付けた音声を、音声データとして、音声解析部7120を有する機器制御システム7400に送信する。音声データ送信部7014は、例えば、音声入力部7012が受け付けた音声をA/D変換したデジタル音声信号(音声データ)を機器制御システム7400に送信する。
音声データ送信部7014の音声データの送信機能は、開始(実行)/停止を指示可能に構成されることが好ましい。
音声データ送信部7014の音声データの送信機能は、スイッチ7011aに対する指示や、リモコン7011bからの指示により、開始/停止を指示可能に構成されることが好ましい。なお、スイッチ7011aに対する指示や、リモコン7011bからの指示で、音声データ送信部7014の音声データの送信機能が開始/停止された場合には、第1機器7010から第1サーバ7100に対してその旨を知らせる信号(機能開始通知信号/機能停止通知信号)が送信されることが好ましい。
また、音声データ送信部7014の音声データの送信機能は、音声入力部7012からの音声入力により開始/停止が指示されてもよい。例えば、第1機器7010は、音声入力部7012に入力された音声のうち、特定の音声(例えば、音声データ送信部7014の音声データの送信機能の開始/停止を指示する音声)だけを認識する音声認識チップを有する。このような音声認識チップを有することで、音声入力部7012に対する特定の音声の入力に応じ、音声データ送信部7014の音声データの送信機能の開始/停止を指示することができる。なお、音声入力部7012に対する音声による指示で、音声データ送信部7014の音声データの送信機能が開始/停止された場合にも、第1機器7010から第1サーバ7100に対してその旨を知らせる信号(機能開始通知信号/機能停止通知信号)が送信されることが好ましい。
また、音声データ送信部7014の音声データの送信機能は、開始・停止要求受付部7016が音声データ送信部7014の音声データの送信機能の開始/停止の要求を受け付けると、その要求に応じて開始/停止が指示されることが好ましい。
(2-1-4)開始・停止要求受付部
開始・停止要求受付部7016は、後述する機器制御システム7400の開始・停止要求部7180が送信する、第1機器7010についての音声認識処理に関係する機能の開始/停止の要求を受信する。なお、開始・停止要求受付部7016が受け付ける機能の開始/停止の要求は、第1機器7010側で開始/停止を指示可能な機能である。例えば、開始・停止要求受付部7016が受け付ける機能の開始/停止の要求は、音声入力部7012の音声の受付機能の開始/停止の要求や、音声データ送信部7014の音声データの送信機能の開始/停止の要求である。第1機器7010は、開始・停止要求受付部7016が第1機器7010についての音声認識処理に関係する機能の開始/停止を要求する信号を受信すると、この信号に応じて、第1機器7010についての音声認識処理に関係する機能を開始/停止させる。
(2-1-5)開始・停止情報受付部
開始・停止情報受付部7017は、後述する機器制御システム7400の開始・停止情報送信部7170から送信される、機能停止情報を受け付ける。
機能停止情報は、音声操作可能な他の機器(第1機器7010以外の機器)の音声認識処理に関係する機能の少なくとも一部(第1機能)の停止に応じた、当該機器(第1機器7010)の音声認識処理に関係する機能の少なくとも一部(第2機能)の停止の決定に関する情報である。言い換えれば、機能停止情報は、音声操作可能な他の機器(第1機器7010以外の機器)の音声認識処理に関係する機能の少なくとも一部が停止され、これに応じて後述する機器制御システム7400の開始・停止決定部7160により当該機器(第1機器7010)の音声認識処理に関係する機能の少なくとも一部の停止が決定された時に、これを知らせるために第1機器7010に対して送信される情報である。
また、開始・停止情報受付部7017は、後述する機器制御システム7400の開始・停止情報送信部7170が送信する、機能開始情報を受け付ける。
機能開始情報は、音声操作可能な他の機器(第1機器7010以外の機器)の音声認識処理に関係する機能の開始に応じた、当該機器(第1機器7010)の音声認識処理に関係する機能の開始の決定に関する情報である。言い換えれば、機能開始情報は、音声操作可能な他の機器(第1機器7010以外の機器)についての音声認識処理に関係する機能が開始され、音声認識処理が有効になったことで、後述する機器制御システム7400の開始・停止決定部7160により当該機器(第1機器7010)の音声認識処理に関係する機能の開始(当該機器(第1機器7010)についての音声認識処理が有効にすること)が決定された時に、これを知らせるために第1機器7010に対して送信される情報である。
(2-1-6)報知部
報知部7018は、第1機器7010についての音声認識処理が有効か否かを第1機器10のユーザに報知する機能部である。報知部7018は、例えばLEDを含む。
報知部7018は、第1機器7010についての音声認識処理に関係する機能の少なくとも一部が停止されていることを報知する。言い換えれば、報知部7018は、第1機器7010についての音声認識処理が停止されていることを報知する。具体的には、報知部7018は、指示受付部の一例としてのスイッチ7011a、リモコン7011b又は音声入力部7012が、第1機器7010についての音声認識処理に関係する機能のいずれかについて停止の指示を受け付けた場合や、開始・停止情報受付部7017が機能停止情報を受け付けた場合に、第1色のLED(例えば赤色LED)を点灯させる。
また、報知部7018は、第1機器7010についての音声認識処理に関係する機能が開始されていることを報知する。報知部7018は、第1機器7010についての音声認識処理に関係する機能の全てが開始されていること(停止されていないこと)を報知する。言い換えれば、報知部7018は、第1機器7010についての音声認識処理が有効であること(実行可能な状態であること)を報知する。具体的には、報知部7018は、指示受付部の一例としてのスイッチ7011a、リモコン7011b又は音声入力部7012が、第1機器7010についての音声認識処理に関係する機能の開始の指示を受け付けた場合や、開始・停止情報受付部7017が機能開始情報を受け付けた場合に、第2色のLED(例えば青色LED)を点灯させる。
(2-2)機器制御システム
機器制御システム7400の第1サーバ7100、第2サーバ7200、及び第3サーバ7300について説明する。
(2-2-1)第1サーバ
第1サーバ7100は、プロセッサ、主記憶装置及び補助記憶装置を含む記憶装置、及び通信インターフェース等を有するコンピュータである。第1サーバ7100は、ネットワーク7040を介して、第1機器7010、第2機器7020、第3機器7030、第2サーバ7200及び第3サーバ7300と通信可能に接続されている。
第1サーバ7100では、プロセッサが、記憶部7190(記憶装置)に記憶されているプログラムを実行することで、各種処理を実行する。第1サーバ7100は、各種処理を実行する機能部として、音声データ受付部7110、音声解析部7120、解析結果送信部7130、検知部7140、判断部7150、開始・停止決定部7160、開始・停止情報送信部7170、及び開始・停止要求部7180を有する。
また、記憶部7190は、第1機器7010、第2機器7020、及び第3機器7030についての音声認識処理、及び、音声認識処理に関係する機能の少なくとも一部の機能の開始/停止に関する情報の記憶領域として、関連情報記憶領域7192及び音声データ記憶領域7194を含む。
なお、関連情報記憶領域7192には、機器制御システム7400により制御される機器の識別コードが、関連する機器の識別コードと関連付けられて記憶されている。
ここで、ある機器(機器Aと呼ぶ)と他の機器(機器Bと呼ぶ)とが関連しているとは、機器Aについての音声認識処理に関する少なくとも一部の機能(第1機能)が開始/停止された時に、機器Bについての音声認識処理に関する少なくとも一部の機能(第2機能)が開始/停止されることが好ましい関係にあることを意味する。例えば、具体的には、機器Aと機器Bとが比較的近くに配置されている場合に、機器Aと機器Bとは、機器Aについての音声認識処理に関する少なくとも一部の機能が開始/停止された時に、機器Bについての音声認識処理に関する少なくとも一部の機能が開始/停止されることが好ましい関係にある場合が多い。
ある機器Aを、どの機器と関連付けて記憶するかは、例えば、機器Aのユーザが図示しない情報端末等から第1サーバ7100に対して入力された情報に基づいて決定される。
具体例を挙げれば、例えば、機器Aと機器Bとが同一空間に設置されているという情報が入力された場合には、機器Aと機器Bとは関連した機器であるとして関連情報記憶領域7192に記憶される。例えば、図49の例であれば、第1機器7010及び第2機器7020は同一の空間(第1空間)に配置されているため、第1機器7010と第2機器7020とは、関連付けて記憶される。一方、第3機器7030は、第1機器7010及び第2機器7020とは別の空間(第2空間)に配置されているため、第3機器7030は、第1機器7010と第2機器7020とは関連付けて記憶されない。
また、他の例では、機器Aと機器Bとが同一建物に設置されているという情報が入力された場合に、機器Aと機器Bとは関連した機器であるとして関連情報記憶領域7192に記憶されてもよい。
また、他の例では、複数の機器が、建物内の複数のアクセスポイントと無線LANで通信を行っている場合に、同一のアクセスポイントを利用している機器同士が関連した機器であるとして関連情報記憶領域7192に記憶されてもよい。
また、更に他の例では、機器のユーザの申告により、機器Aと機器Bとが関連している機器として関連情報記憶領域7192に記憶されてもよい。
以下に、音声データ受付部7110、音声解析部7120、解析結果送信部7130、検知部7140、判断部7150、開始・停止決定部7160、開始・停止情報送信部7170、及び開始・停止要求部7180について説明する。
(2-2-1-1)音声データ受付部
音声データ受付部7110は、第1音声データ受付部及び第2音声データ受付部の一例である。音声データ受付部7110は、第1機器7010の音声データ送信部7014、第2機器7020の音声データ送信部7024、及び第3機器7030の音声データ送信部(図示省略)が送信する音声データを受け付ける。音声データ受付部7110が、第1機器7010の音声データ送信部7014、第2機器7020の音声データ送信部7024、及び第3機器7030の音声データ送信部(図示省略)が送信する音声データを受け付けると、受け付けられた音声データは、音声解析の実行前に音声データ記憶領域7194に一旦蓄積されることが好ましい。ただし、音声データの蓄積のタイミングは一例であって、音声データは、音声解析の実行前又は実行中に音声データ記憶領域7194に蓄積されてもよい。
第1機器7010についての音声認識処理に関係する機能の一例である、音声データ受付部7110が第1機器7010の送信する音声データを受け付ける機能(以後、説明の簡略化のため、単に音声データ受付機能と呼ぶ)は、第1機器7010から開始/停止を指示可能に構成されることが好ましい。
具体的には、音声データ受付機能の開始/停止は、例えば、第1機器7010のスイッチ7011aに対する指示や、第1機器7010のリモコン7011bからの指示により、(機能開始通知信号や機能停止通知信号を利用して)第1サーバ7100に対して要求可能に構成されることが好ましい。そして、第1サーバ7100は、音声データ受付機能の開始/停止を要求されると、その要求に応じて音声データ受付機能の開始/停止を指示することが好ましい。
また、音声データ受付機能の開始/停止は、音声入力部7012からの音声入力により指示されてもよい。例えば、音声入力部7012に音声データ受付機能の開始/停止を指示する音声が入力され、この音声の音声データが、音声データ受付部7110に受け付けられ、音声解析部7120により音声データ受付機能の開始/停止を指示するものであると認識されると、第1サーバ7100は、その指示に応じて音声データ受付機能を実行/停止を指示することが好ましい。
また、後述する開始・停止決定部7160が、第1機器7010についての音声認識処理に関係する機能の少なくとも一部を停止させることを決定した場合に、第1サーバ7100は、音声データ受付機能の実行/停止を指示可能であることが好ましい。
また、第1機器7010についての音声認識処理に関係する機能の一例である、第1機器7010が送信した音声データを記憶部7190の音声データ記憶領域7194に蓄積する機能(以後、説明の簡略化のため、単に音声データ蓄積機能と呼ぶ)も、第1機器7010から開始/停止を指示可能に構成されることが好ましい。具体的には、音声データ受付機能の開始/停止と同様に実現されればよいので、説明は省略する。
また、後述する開始・停止決定部7160が第1機器7010についての音声認識処理に関係する機能の少なくとも一部を停止させることが決定した場合に、第1サーバ7100は、音声データ蓄積機能の実行/停止を指示可能であることが好ましい。
ここでは、第1機器7010の送信する音声データを音声データ受付部7110が受け付ける機能、及び、第1機器7010が送信した音声データを記憶部7190の音声データ記憶領域7194に蓄積する機能の開始/停止について説明した。第2機器7020又は第3機器7030の送信する音声データを音声データ受付部7110が受け付ける機能の開始/停止については、上記の説明と同様であるので、ここでは説明を省略する。
(2-2-1-2)音声解析部
音声解析部7120は、第1音声解析部及び第2音声解析部の一例である。音声解析部7120は、音声データ受付部7110が(第1機器7010、第2機器7020及び第3機器)受け付けた音声データについて、音声データがどのような内容であるかを解析する。具体的には、音声解析部7120は、例えば、音声データを分析してその特徴量を求め、記憶装置に記憶された音響モデル、言語モデル及び発音辞書を含む音声認識辞書を利用して特徴量からテキスト情報を生成する。音声解析部7120が生成するテキスト情報は、限定するものではないが、例えば「運転開始」、「設定温度25度」、「冷房運転」等のテキスト情報である。
第1機器7010についての音声認識処理に関係する機能の一例である、第1機器7010が送信する音声データを音声解析部7120が解析する機能(以後、説明の簡略化のため、単に音声データ解析機能と呼ぶ)は、第1機器7010から開始/停止を指示可能に構成されることが好ましい。具体的には、上記の音声データ受付機能の開始/停止と同様に実現されればよいので、説明は省略する。
また、後述する開始・停止決定部7160が第1機器7010についての音声認識処理に関係する機能の少なくとも一部を停止させることを決定した場合に、第1サーバ7100は、音声データ解析機能の実行/停止を指示可能であることが好ましい。
ここでは、第1機器7010が送信する音声データを音声解析部7120が解析する機能の開始/停止について説明した。第2機器7020及び第3機器7030が送信する音声データを音声解析部7120が解析する機能の開始/停止については、上記の説明と同様であるので、ここでは説明を省略する。
(2-2-1-3)解析結果送信部
解析結果送信部7130は、音声解析部7120の音声解析結果(音声解析部7120が生成するテキスト情報)を、第2サーバ7200や第3サーバ7300に対して送信する。なお、音声解析結果には、音声解析の対象となった音声データの送信元に関する情報が含まれていることが好ましい。
なお、解析結果送信部7130は、音声解析結果を、音声解析の対象となった音声データの送信元と関連付けられたサーバに送信してもよい。例えば、ここでは、音声解析の対象となった音声データの送信元が第1機器7010又は第3機器7030である場合には、解析結果送信部7130は、音声解析結果を第2サーバ7200に送信する。一方、音声解析の対象となった音声データの送信元が第2機器7020である場合には、解析結果送信部7130は、音声解析結果を第3サーバ7300に送信する。
また、他の形態では、解析結果送信部7130は、音声解析結果の内容に基づいて音声解析結果の送り先を選択し(例えば、ここでは、空調機に対する内容であれば第2サーバ7200を、テレビに対する指令であれば第3サーバ7300を選択し)、選択したサーバに解析結果を送信してもよい。
(2-2-1-4)検知部
検知部7140は、第1機器7010についての音声認識処理に関係する機能の少なくとも一部(第1機能)の停止の指示を、第1機器7010が受けたことを検知する。また、同様に、検知部7140は、第2機器7020についての音声認識処理に関係する機能の少なくとも一部の停止の指示を第2機器7020が受けたことや、第3機器7030についての音声認識処理に関係する機能の少なくとも一部の停止の指示を第3機器7030が受けたことや、を検知する。
また、検知部7140は、第1機器7010が停止していた第1機能の開始の指示を受けたことも検知する。同様に、検知部7140は、第2機器7020についての音声認識処理に関係する停止していた機能の開始の指示を第2機器7020が受けたことや、第3機器7030についての音声認識処理に関係する停止していた機能の開始の指示を第3機器7030が受けたことも検知する。
具体的には、検知部7140は、前述のように、スイッチ7011aやリモコン7011bが、第1機器7010についての音声認識処理に関係する機能の少なくとも一部の開始/停止の指示を受け付けた場合に第1機器7010から送信される信号(機能開始通知信号/機能停止通知信号)に基づいて、第1機器7010が第1機器7010についての音声認識処理に関係する第1機能の開始/停止の指示を受けたことを検知する。また、検知部7140は、音声解析部7120が解析した音声データが第1機器7010についての音声認識処理に関係する第1機能の開始/停止を指示する内容であった場合、第1機器7010が第1機器7010についての音声認識処理に関係する第1機能の開始/停止の指示を受けたことを検知する。
音声認識処理に関係する機能の少なくとも一部の停止の指示を第2機器20が受けたことや、音声認識処理に関係する機能の少なくとも一部の停止の指示を第3機器30が受けたことの検知も、同様の方法で行われればよい。
なお検知部7140は、第1機器7010が音声認識処理に関係する第1機能の開始/停止の指示を受けたことを、第1機器7010から送信される信号機能開始通知信号/機能停止通知信号に基づいて検知するものでなくてもよい。例えば、第1機能が、第1機器7010の通信機能であるような場合には、検知部7140は、第1サーバ7100が第1機器7010と通信可能か否かに基づき、第1機器7010が音声認識処理に関係する第1機能の開始/停止を受けたことを検知してもよい。
(2-2-1-5)判断部
判断部7150は、第1機器7010、第2機器7020及び第3機器7030と関連する機器を判断する。判断部7150は、例えば、記憶部7190の関連情報記憶領域7192に記憶されている情報に基づいて、第1機器7010、第2機器7020及び第3機器7030と関連する機器を判断する。
(2-2-1-6)開始・停止決定部
開始・停止決定部7160は、検知部7140が、ある機器(機器Aと呼ぶ)が、機器Aについての音声認識処理に関係する機能の少なくとも一部の機能(第1機能)の停止の指示を受けたことを検知すると、他の機器(機器Bと呼ぶ)について、音声入力部が音声を受け付け、受け付けた音声の音声データを送信し、送信した音声データを音声データ受付部7110が受け付け、受け付けた音声データを音声解析部7120に解析させる、音声認識処理に関係する少なくとも一部の機能(第2機能)を停止することを決定する。より具体的には、開始・停止決定部7160は、検知部7140が、機器Aが、機器Aについての音声認識処理の第1機能の停止の指示を受けたことを検知し、かつ、判断部7150が機器Aと関連すると判断する機器に、機器Bが含まれている場合に、機器Bについての音声認識処理に関係する第2機能を停止することを決定する。
具体例を挙げて説明する。
例えば、関連情報記憶領域7192に、第1機器7010と第2機器7020とが関連付けて記憶され、第1機器7010と第3機器7030とは関連付けて記憶されていないとする。言い換えれば、判断部7150が第1機器7010と関連すると判断する機器に、第2機器7020は含まれ、第3機器7030は含まれないとする。そして、検知部7140が、第1機器7010が、機器についての音声認識処理の第1機能の停止の指示を受けたことを検知部7140が検知したと仮定する。この場合に、開始・停止決定部7160は、第2機器7020についての音声認識処理に関係する少なくとも一部の機能(第2機能)を停止することを決定する。一方で、開始・停止決定部160は、第3機器30についての音声認識処理に関係する機能については停止を決定しない。
なお、好ましくは、機器Aについての音声認識処理について停止される第1機能と、第1機能の停止に基づいて停止される、機器Bについての音声認識処理の第2機能とは、同種の機能であることが好ましい。
なお、第2機能と第1機能とが同種の機能であるとは、例えば、第1機能が音声入力部7012による音声の受付機能である場合には、第2機能が音声入力部7022による音声の受付機能であることを意味する。また、第2機能と第1機能とが同種の機能であるとは、例えば、第1機能が第1機器7010による音声データの送信機能である場合には、第2機能が第2機器7020による音声データの送信機能であることを意味する。また、第2機能と第1機能とが同種の機能であるとは、例えば、第1機能が、音声解析部7120が第1機器7010の送信する音声データを解析する機能である場合には、第2機能が、音声解析部7120が第2機器7020の送信する音声データを解析する機能であることを意味する。
ただし、第1機能と第2機能とは、同種の機能でなくてもよい。例えば、機器Aについての音声認識処理について第1機能が停止された場合に停止される、機器Bについての音声認識処理の第2機能は、(第1機能がどのような機能であるかによらず)予め決定されていてもよい。
開始・停止決定部7160が、機器Bについての音声認識処理の第2機能の停止を決定した場合、第2機能が機器制御システム7400側で停止可能な機能である場合には、第1サーバ7100は、この第2機能を停止させる処理を行う。なお、機器制御システム7400側で停止可能な機能には、機器の送信する音声データを音声データ受付部7110が受け付ける機能、機器が送信する音声データを音声解析部7120が解析する機能、及び、機器が送信した音声データを第1サーバ7100の記憶部7190の音声データ記憶領域7194に蓄積する機能を含む。一方、第2機能が機器制御システム7400側で停止できない機能である場合(機器B側で停止させる機能である場合)には、後述する開始・停止要求部7180が、機器Bに対して停止要求を送信する。
また、開始・停止決定部7160は、検知部7140が、ある機器(機器Aと呼ぶ)が、機器Aについての音声認識処理に関係する機能の少なくとも一部の機能(停止されていた第1機能)の開始(再開)の指示を受けたことを検知すると、他の機器(機器Bと呼ぶ)について、音声入力部が音声を受け付け、受け付けた音声の音声データを送信し、送信した音声データを音声データ受付部7110が受け付け、受け付けた音声データを音声解析部7120に解析させる、音声認識処理に関係する少なくとも一部の機能(停止されていた第2機能)を開始(再開)することを決定する。より具体的には、開始・停止決定部7160は、検知部7140が、機器Aが、機器Aについての音声認識処理の第1機能の開始の指示を受けたことを検知し、かつ、判断部7150が機器Aと関連すると判断する機器に、機器Bが含まれている場合に、機器Bについての音声認識処理に関係する第2機能を開始することを決定する。つまり、開始・停止決定部7160は、機器Aについての音声認識処理が実行可能になったことが検知され、かつ、判断部7150が機器Aと関連すると判断する機器に、機器Bが含まれている場合に、機器Bについての音声認識処理を実行可能とすることを決定する。
開始・停止決定部7160が、機器Bについての音声認識処理の第2機能の開始(再開)を決定した場合、第2機能が機器制御システム7400側で開始可能な機能である場合(言い換えれば、第2機能が機器制御システム7400側で停止された機能である場合)には、第1サーバ7100は、この第2機能を開始させる処理を行う。一方、第2機能が機器制御システム7400側で開始できない機能である場合(機器B側で開始させる機能である場合)には、後述する開始・停止要求部7180が、機器Bに対して開始要求を送信する。
(2-2-1-7)開始・停止情報送信部
開始・停止情報送信部7170は、開始・停止決定部7160が、ある機器についての音声認識処理に関する第2機能の開始/停止を決定した時に、その機器の報知部が第2機能の停止を報知するよう、第2機器7020に対し機能開始情報/機能停止情報を送信する。
例えば、具体例を挙げて説明すれば、開始・停止情報送信部7170は、開始・停止決定部7160が、第2機器7020についての音声認識処理に関する第2機能の開始/停止を決定した時に、第2機器7020の報知部7028が第2機能の停止を報知するよう、第2機器7020に対し機能開始情報/機能停止情報を送信する。
なお、第2機能が機器側で開始/停止される機能である場合(つまり、第2機能が、機器の音声入力部の音声の受付機能や、音声データ送信部の音声データの送信機能である場合には、後述する開始・停止要求部7180が、第2機能の開始/停止を要求する信号を、機器に対して送信する。そのため、第2機能が機器側で開始/停止される機能である場合には、後述する開始要求/停止要求が、機能開始情報/機能停止情報の代わりに送信されてもよい。言い換えれば、第2機能が機器側で開始/停止される機能である場合には、開始・停止要求部7180が、開始・停止情報送信部7170の機能を兼ねてもよい。
(2-2-1-8)開始・停止要求部
開始・停止要求部7180は、開始・停止決定部7160の決定に応じて、第2機能の停止を要求する信号を第2機器7020に対して送信する。
具体的には、開始・停止要求部7180は、開始・停止決定部7160がある機器についての音声認識処理の第2機能を開始/停止することを決定し、第2機能が、機器制御システム7400側で停止できない機能である場合(機器側で停止させる機能である場合)には、機器に対して開始/停止要求を生成して送信する。
(2-2-2)第2サーバ及び第3サーバ
第2サーバ7200は、プロセッサ、主記憶装置及び補助記憶装置を含む記憶装置、及び通信インターフェース等を有するコンピュータである。第2サーバ7200は、ネットワーク7040を介して、第1機器7010、第3機器7030及び第1サーバ7100と少なくとも通信可能に接続されている。
第3サーバ7300も、第2サーバ7200と同様のコンピュータである。第2サーバ7200は、ネットワーク7040を介して、第2機器7020及び第1サーバ7100と少なくとも通信可能に接続されている。
第2サーバ7200は、プロセッサが、記憶部に記憶されているプログラムを実行することで、各種処理を実行する。第2サーバ7200は、各種処理を実行する機能部として、解析結果受信部7210と、信号生成送信部7220と、を有する。
解析結果受信部7210は、第1機器7010又は第3機器7030が送信する音声データの第1サーバ7100の音声解析部7120による解析結果(例えばテキストデータ)を受信する。
信号生成送信部7220は、解析結果受信部7210が受信した解析結果(テキストデータ)に基づき、音声データの送信元の第1機器7010又は第3機器7030が解析結果に対応する運転状態になるように(例えば、解析結果が“空調機の運転開始”というテキストデータであった場合、音声データの送信元の機器の運転が開始されるように、信号(指令)を生成して送信する。
第3サーバ7300についても同様であり、第3サーバ7300は、解析結果受信部7310と、信号生成送信部7320と、を有する。
解析結果受信部7310は、第2機器7020が送信する音声データの第1サーバ7100の音声解析部7120による解析結果(例えばテキストデータ)を受信する。
信号生成送信部7320は、解析結果受信部7310が受信した解析結果(テキストデータ)に基づき、音声データの送信元の第2機器7020が解析結果に対応する運転状態になるように(例えば、解析結果が“電源オン”というテキストデータであった場合、音声データの送信元の機器の電源がオンになるように、信号(指令)を生成して送信する。
(3)機器の音声操作
機器の音声操作について説明する。機器の音声操作は、その機器についての音声認識処理が実行可能な状態(音声認識処理の実行のために必要な機能が停止されていない状態)で実行可能である。
ここでは、図50を参照しながら、第1機器7010が音声操作される場合を例に、機器の音声操作を説明する。なお、第3機器7030が音声操作される場合の処理の流れは、機器が異なるだけで、第1機器7010が音声操作される場合の処理の流れと同様であるため、説明は省略する。
まず、ステップS1で、第1機器の音声入力部7012に指示のための音声(例えば、「空調機運転開始」)が入力されたとする。その結果、音声入力部7012が受け付けた音声の音声データ送信部7014から機器制御システム7400の第1サーバ7100に音声データが送信される。
次に、ステップS2では、第1サーバ7100の音声データ受付部7110が音声データを受け付ける。
次に、ステップS3では、音声データ受付部7110が受け付けた音声データが、記憶部7190の音声データ記憶領域7194に記憶される。音声データ記憶領域7194に記憶された音声データは、次のステップS4で音声解析に利用される他、音声データの履歴データとして音声データ記憶領域7194に記憶される。
なお、ここでは、音声データの音声解析が実行される前に、音声データが音声データ記憶領域7194に記憶されるが、これに代えて、又は、これに加えて、記憶部7190には、音声解析結果が履歴データとして記憶されてもよい。
次に、ステップS4では、音声解析部7120が、音声データ記憶領域7194に記憶された音声データの音声解析を行う。得られた音声解析結果は、解析結果送信部7130により第2サーバ7200に送信される。
ステップS5では、第2サーバ7200の解析結果受信部7210が、解析結果送信部7130の送信した解析結果を受信する。
次にステップS6では、信号生成送信部7220が、解析結果(音声データの内容は運転開始指示であるという解析結果)に基づいて信号(指令や情報)を生成し、第1機器7010に対して送信する。
次にステップS7では、第1機器7010が信号生成送信部7220から送信される信号を受信し、例えば信号が指令である場合には、その指令に応じた動作を実行する。
図51は、第2機器7020が音声操作される場合の機器の音声操作を説明するシーケンス図である。ここでは、第2サーバ7200に代えて、第3サーバ7300が使用される点で異なるが、処理の内容については第1機器7010が音声操作される場合と同様であるので、説明は省略する。
(4)ある機器について音声認識処理の第1機能が停止された場合の、他の機器における音声認識処理の第2機能の停止処理
次に、ある機器について音声認識処理の第1機能が停止された場合の、他の機器における音声認識処理の第2機能の停止処理について、図52及び図53のシーケンス図を参照しながら説明する。
図52では、第1機器7010についての音声認識処理の第1機能の一例として、音声入力部7012の音声の受付機能が停止される場合を例に、他の機器(第1機器7010以外の機器)における音声認識処理の第2機能の停止処理について説明する。
なお、ここでは、判断部7150が、記憶部7190の関連情報記憶領域7192に記憶された情報に基づいて第1機器7010と関連すると判断する機器に、第2機器7020が含まれ、第3機器7030は含まれないと仮定して説明する。また、ここでは、第1機器7010についての音声認識処理について停止される第1機能(すなわち音声入力部7012の音声の受付機能)と、第1機能の停止に基づいて停止される、他の機器についての音声認識処理の第2機能とは、同種の機能であるとして説明する。
なお、図52のシーケンス図では、第1機能及び第2機能が音声入力部の音声の受付機能であるが、第1機能及び第2機能が音声データ送信部の音声データの送信機能であった場合にも、処理のフローは(停止される機能が異なる点を除いて)同様である。
まず、ステップS21で、指示受付部の一例である物理的なスイッチ7011aに対して、音声入力部7012の音声の受付機能が指示されたとする。
その結果、第1機器7010の音声入力部7012には音声を受け付けない状態になる(ステップS23)。例えば、ステップS23で、音声入力部7012を動作させる電気・電子回路に対して電力が供給されなくなる。そして、ステップS24では、報知部7018が、(第2色のLED(例えば青色LED)は消灯させて)第1色のLED(例えば赤色LED)を点灯させることで、第1機器7010についての音声認識処理が停止されたことを報知する。
また、ステップS21でスイッチ7011aが指示を受け付けた結果、第1機器7010から第1サーバ7100には、音声入力部7012の音声の受付機能が停止された旨(機能停止通知信号)が通知される。なお、機能が停止された旨の通知では、単に機能が停止したことを通知するだけはなく、どの機能が停止したのかが特定可能な情報が送信されることが好ましい。ステップS22では、第1サーバ7100の検知部7140は、第1機器7010から送信された信号に基づいて、第1機器7010についての音声認識処理に関係する第1機能の停止の指示を受けたことを検知する。
次に、ステップS25では、第1サーバ7100の判断部7150が、記憶部7190の関連情報記憶領域7192に記憶された情報に基づいて、第1機器7010と関連する機器を判断する。ここでは、第1機器7010と関連する機器に第2機器7020が含まれ、第3機器7030は含まれない。
次に、ステップS26では、ステップS22及びステップS25の結果に基づき、開始・停止決定部7160が、第2機器7020についての音声認識処理に関係する少なくとも一部の機能(第2機能)を停止することを決定する。特に、ここでは、開始・停止決定部7160は、第2機器7020についての音声認識処理に関係する第2機能の一例として、第1機能と同種の、音声入力部7022の音声の受付機能を停止することを決定する。なお、一方で、開始・停止決定部7160は、第3機器7030についての音声認識処理に関係する機能の停止は決定しない。
なお、音声入力部7022の音声の受付機能は、機器制御システム7400側で停止できない機能である(第2機器7020側で停止させる機能である)。そこで、ステップS27で、開始・停止要求部7180は、第2機器7020に対して、第2機能(音声入力部22の音声の受付機能)の停止要求を送信する。
第2機器7020では、開始・停止要求受付部7026が停止要求を受け付けると(ステップS28)、これに応じて音声入力部7022の音声の受付機能の停止が指示され、音声入力部7022の音声の受付機能が停止される(ステップS29)。
次に、ステップS30では、ステップS26において開始・停止決定部7160が、第2機器7020についての音声認識処理に関する第2機能(音声入力部7022の音声の受付機能)の停止を決定しているので、開始・停止情報送信部7170が、第2機器7020の報知部7028が第2機能の停止を報知するよう、第2機器7020に対し機能停止情報を送信する。
第2機器7020では、開始・停止情報受付部7027が機能停止情報を受け付けると(ステップS31)、これに応じて報知部7018が、(第2色のLED(例えば青色LED)は消灯させて)第1色のLED(例えば赤色LED)を点灯させる。
なお、ここでは、第1サーバ7100は、停止要求に加え、機能停止情報が送信しているが、機能停止情報の送信は省略されてもよい。そして、第2機器7020は、停止要求を受信した際に、報知部7018が(第2色のLED(例えば青色LED)は消灯させて)第1色のLED(例えば赤色LED)を点灯させてもよい。言い換えれば、停止要求は、機能停止情報の役割を兼ねてもよい。
なお、仮に、ステップS1で第2機器7020についての音声認識処理の第1機能の一例として、音声入力部7022の音声の受付機能が停止される場合は、第1機器7010で行われた処理が第2機器7020で、第2機器7020で行われた処理が第1機器7010で行われる点を除き、処理の流れは同様であるので説明は省略する。また、仮に、ステップS1で第3機器7030についての音声認識処理の第1機能の一例として、音声入力部の音声の受付機能が停止される場合は、本実施形態では、第3機器7030と関連付けられた機器が存在しないため、第3機器7030の音声入力部の音声の受付機能が停止されるだけで、第1機器7010及び第2機器7020については特に影響はない。
次に、図53では、第1機器7010についての音声認識処理の第1機能の一例として、音声データ受付部7110が第1機器7010の送信する音声データを受け付ける機能(以後、説明の簡略化のため、第1音声データ受付機能と呼ぶ)が停止される場合を例に、他の機器(第1機器7010以外の機器)における音声認識処理の第2機能の停止処理について説明する。
なお、ここでは、判断部7150が、記憶部7190の関連情報記憶領域7192に記憶された情報に基づいて第1機器7010と関連すると判断する機器に、第2機器7020が含まれ、第3機器7030は含まれないと仮定して説明する。また、ここでは、第1機器7010についての音声認識処理について停止される第1機能(すなわち第1音声データ受付機能)と、第1機能の停止に基づいて停止される、他の機器についての音声認識処理の第2機能(以後、説明の簡略化のため、第2音声データ受付機能と呼ぶ)とは、同種の機能であるとして説明する。
なお、図53のシーケンス図では、第1機能及び第2機能が、音声データを音声データ受付部7110が受け付ける機能であるが、第1機能及び第2機能が、音声データを音声解析部7120が解析する機能、又は、音声データを記憶部7190に蓄積する機能、のいずれかである場合にも、処理のフローは(停止される機能が異なる点を除いて)同様である。
まず、ステップS41で、指示受付部の一例である物理的なスイッチ7011aに対して、第1音声データ受付機能の停止が指示されたとする。
ステップS42では、報知部7018が、(第2色のLED(例えば青色LED)は消灯させて)第1色のLED(例えば赤色LED)を点灯させることで、第1機器7010についての音声認識処理の第1機能が停止されたことを報知する。
ステップS41でスイッチ7011aが指示を受け付けた結果、第1機器7010から第1サーバ7100には、第1音声データ受付機能が停止される旨(機能停止通知信号)が送信される(第1音声データ受付機能の停止が要求される)。なお、機能が停止される旨の通知には、単に機能が停止したことを通知するだけはなく、どの機能が停止したのかが特定可能な情報が送信されることが好ましい。ステップS43では、第1サーバ7100の検知部7140は、第1機器7010から送信された信号に基づいて、第1機器7010についての音声認識処理に関係する第1機能の停止の指示を受けたことを検知する。
また、第1サーバ7100は、第1音声データ受付機能の停止の通知(要求)に応じて第1音声データ受付機能の停止を指示する(ステップS44)。その結果、音声データ受付部7110は、第1機器7010から送信されてくる音声データを受け付けない状態になる。
次に、ステップS45では、第1サーバ7100の判断部7150が、記憶部7190の関連情報記憶領域7192に記憶された情報に基づいて、第1機器7010と関連する機器を判断する。ここでは、第1機器7010と関連する機器に第2機器7020が含まれ、第3機器7030は含まれない。
次に、ステップS46では、ステップS43及びステップS45の結果に基づき、開始・停止決定部7160が、第2機器7020についての音声認識処理に関係する少なくとも一部の機能(第2機能)を停止することを決定する。特に、ここでは、開始・停止決定部7160は、第2機器7020についての音声認識処理に関係する第2機能の一例として、第1機能と同種の、第2音声データ受付機能を停止することを決定する。なお、一方で、開始・停止決定部7160は、第3機器7030についての音声認識処理に関係する機能の停止は決定しない。
なお、第2音声データ受付機能は、機器制御システム7400側で停止可能な機能である。そこで、ステップS47で、第1サーバ7100は、第2音声データ受付機能の停止を指示する(ステップS44)。その結果、音声データ受付部7110は、第2機器20から送信されてくる音声データを受け付けない状態になる。
次に、ステップS48では、ステップS47において開始・停止決定部7160が、第2機器7020についての音声認識処理に関する第2機能(第2音声データ受付機能)の停止を決定しているので、開始・停止情報送信部7170が、第2機器7020の報知部7028が第2機能の停止を報知するよう、第2機器7020に対し機能停止情報を送信する。
第2機器7020では、開始・停止情報受付部7027が機能停止情報を受け付けると(ステップS51)、これに応じて報知部7018が、(第2色のLED(例えば青色LED)は消灯させて)第1色のLED(例えば赤色LED)を点灯させる(ステップS52)。
(5)ある機器について音声認識処理の第1機能が開始(再開)された場合の、他の機器における音声認識処理の第2機能の開始(再開)処理
ある機器について音声認識処理の第1機能が開始された場合の、他の機器における音声認識処理の第2機能の開始処理について、図54及び図55のシーケンス図に示す。
図54では、第1機器7010についての音声認識処理の第1機能の一例として、音声入力部7012の音声の受付機能が開始される場合を例に、他の機器(第1機器7010以外の機器)における音声認識処理の第2機能の開始処理を示している。
なお、ここでは、判断部7150が、記憶部7190の関連情報記憶領域7192に記憶された情報に基づいて第1機器7010と関連すると判断する機器に、第2機器7020が含まれ、第3機器7030は含まれないと仮定している。また、ここでは、第1機器7010についての音声認識処理について開始される第1機能(すなわち音声入力部7012の音声の受付機能)と、第1機能の開始に基づいて開始される、他の機器についての音声認識処理の第2機能とは、同種の機能であるとしている。
図54のシーケンス図は、図52のシーケンス図と、第1機能及び第2機能が開始されるのか、第1機能及び第2機能が停止されるのかの違いはあるが、フローの流れは概ね同様である。そのため、ここでは図54のシーケンス図については省略する。
図55では、第1機器7010についての音声認識処理の第1機能の一例として、音声データ受付部7110が第1機器7010の送信する音声データを受け付ける機能(以後、説明の簡略化のため、第1音声データ受付機能と呼ぶ)が開始される場合を例に、他の機器(第1機器7010以外の機器)における音声認識処理の第2機能の開始処理を示している。
なお、ここでは、判断部7150が、記憶部7190の関連情報記憶領域7192に記憶された情報に基づいて第1機器7010と関連すると判断する機器に、第2機器7020が含まれ、第3機器7030は含まれないと仮定する。また、ここでは、第1機器7010についての音声認識処理について開始される第1機能(すなわち第1音声データ受付機能)と、第1機能の停止に基づいて開始される、他の機器についての音声認識処理の第2機能(以後、説明の簡略化のため、第2音声データ受付機能と呼ぶ)とは、同種の機能であるとしている。
図55のシーケンス図は、図53のシーケンス図と、第1機能及び第2機能が開始されるのか、第1機能及び第2機能が開始されるのか、の違いはあるが、フローの流れは概ね同様である。そのため、ここでは図55のシーケンス図については省略する。
(6)特徴
(6-1)
本実施形態の機器制御システム7400は、第1機器の一例としての第1機器7010と、第2機器の一例としての第2機器7020と、を制御する。第1機器7010は、第1音声入力部の一例としての音声入力部7012を有し、音声入力部7012が受け付けた音声の音声データを送信する。第2機器7020は、第2音声入力部の一例としての音声入力部7022を有し、音声入力部7022が受け付けた音声の音声データを送信する。機器制御システム7400は、第1音声データ受付部及び第2音声データ受付部の一例としての音声データ受付部7110と、第1音声解析部及び第2音声解析部の一例としての音声解析部7120と、検知部7140と、開始・停止決定部7160と、を備える。音声データ受付部7110は、第1機器7010が送信する音声データを受け付ける。音声データ受付部7110は、第2機器7020が送信する音声データを受け付ける。音声解析部7120は、音声データ受付部7110が受け付けた音声データを解析する。検知部7140は、音声入力部7012が音声を受け付け、受け付けた音声の音声データを送信し、送信した音声データを音声データ受付部7110が受け付け、受け付けた音声データを音声解析部7120に解析させる、第1機器7010についての音声認識処理に関係する機能の少なくとも一部の第1機能の停止の指示を、第1機器7010が受けたことを検知する。開始・停止決定部7160は、検知部7140が、第1機器7010が第1機能の停止の指示を受けたことを検知すると、第2機器7020について、音声入力部7022が音声を受け付け、受け付けた音声の音声データを送信し、送信した音声データを音声データ受付部7110が受け付け、受け付けた音声データを音声解析部7120に解析させる、音声認識処理に関係する機能の少なくとも一部の第2機能を停止することを決定する。
本機器制御システム7400では、第1機器7010が音声認識処理に関係する機能の少なくとも一部の第1機能の停止の指示を受けた場合に、第2機器7020の音声認識処理に関係する機能の少なくとも一部の第2機能が停止される。言い換えれば、本機器制御システム7400では、ユーザが第1機器7010の音声認識処理を停止することで、第2機器7020の音声認識処理も停止される。そのため、本機器制御システム7400を利用することで、複数の機器の音声認識処理の実行をそれぞれ停止する手間が省け、複数の機器の音声認識処理を簡略な操作で停止させることができる。
(6-2)
本実施形態の機器制御システム7400では、第2機能は、音声入力部7022の音声の受付機能、又は、第2機器7020の音声データの送信機能である。
ここでは、第2機器7020から音声データが送信されなくなるため、音声データが送信されることに伴う、プライバシーに関する問題や、音声データの傍受といった問題の発生が防止されやすい。
(6-3)
本実施形態の機器制御システム7400は、停止要求部の一例としての開始・停止要求部7180を備える。開始・停止要求部7180は、開始・停止決定部7160の決定に応じて、第2機能の停止を要求する信号を第2機器7020に対して送信する。
ここでは、第2機器7020における第2機能の停止が、第2機器7020に対して直接的に指示されるため、第2機器7020についての音声認識処理の停止の信頼性が高い。
(6-4)
本実施形態の機器制御システム7400では、第2機能は、第2機器7020が送信する音声データを音声データ受付部7110が受け付ける機能、第2機器7020が送信する音声データを音声解析部7120が解析する機能、又は、第2機器7020が送信した音声データを蓄積する機能であってもよい。
ここでは、機器制御システム7400側の処理だけで第2機器7020についての音声認識処理を停止することができる。
(6-5)
本実施形態の機器制御システム7400では、前記の第2機能は、前記の第1機能と同種の機能である。
なお、第2機能と第1機能とが同種の機能であるとは、例えば、第1機能が音声入力部12による音声の受付機能である場合には、第2機能が音声入力部7022による音声の受付機能であることを意味する。また、第2機能と第1機能とが同種の機能であるとは、例えば、第1機能が第1機器7010による音声データの送信機能である場合には、第2機能が第2機器7020による音声データの送信機能であることを意味する。また、第2機能と第1機能とが同種の機能であるとは、例えば、第1機能が、音声解析部7120が第1機器7010の送信する音声データを解析する機能である場合には、第2機能が、音声解析部7120が第2機器7020の送信する音声データを解析する機能であることを意味する。
ここでは、第1機器7010についての音声認識処理に関係する機能を停止した場合に、第2機器7020についての音声認識処理に関し同種の機能を停止できる。そのため、音声認識処理に関し、第1機器7010と第2機器7020とを共にユーザの望む状態に移行させることができる。
(6-6)
本実施形態の機器制御システム7400では、第2機器7020は、第2機能が停止されていることを報知する報知部7028を有する。機器制御システム7400は、停止情報送信部の一例としての開始・停止情報送信部7170を備える。開始・停止情報送信部7170は、開始・停止決定部7160が第2機能の停止を決定した時に、報知部7028が第2機能の停止を報知するよう、第2機器7020に対し機能停止情報を送信する。
ここでは、ユーザが、第1機器7010について音声認識処理を停止させた時に、第2機器7020についても音声認識処理が停止されたことを確認することができる。
(6-7)
本実施形態の機器制御システム7400は、第1機器7010と関連する機器を判断する判断部7150を備える。開始・停止決定部7160は、第1機器7010が第1機能の停止の指示を受けたことを検知部7140が検知し、かつ、判断部7150が第1機器7010と関連すると判断する機器に第2機器7020が含まれている場合に、第2機器7020について第2機能を停止することを決定する。
ここでは、第1機器7010についての音声認識処理と同時に、第1機器7010と関連する第2機器7020についての音声認識処理についても停止することができる。逆に言えば、第1機器7010と第2機器7020とが関連しないと判断される場合には、第1機器7010についての音声認識処理が停止されても、第2機器7020についての音声認識処理については有効なままとすることができる。
(6-8)
本実施形態の機器制御システム7400では、第1機器7010が受け付ける第1機能の停止の指示には、物理的なスイッチ7011aに対する指示、リモコン7011bによる指示、又は、音声入力部7012に対する音声による指示、を含む。
(6-9)
本実施形態の機器制御システム7400では、検知部7140は、第1機器7010が第1機能の開始の指示を受けたことを検知する。機器制御システム7400は、開始決定部の一例としての開始・停止決定部7160を備える。開始・停止決定部7160は、検知部7140が、第1機器7010が第1機能の開始の指示を受けたことを検知すると、第2機器7020が第2機能を開始することを決定する。
ここでは、第1機器7010が、その音声認識処理に関係する第1機能の開始(再開)の指示を受け付けた場合には、第2機器7020についての音声認識処理に関係する第2機能も開始(再開)される。言い換えれば、本機器制御システム7400では、ユーザが第1機器7010についての音声認識処理を有効にすることで、第2機器7020についての音声認識処理も有効にすることができる。そのため、本機器制御システム7400を利用することで、複数の機器のそれぞれについて音声認識処理の実行を有効にする手間が省け、複数の機器についての音声認識処理を簡略な操作で開始させることができる。
(6-10)
本実施形態の第2機器7020は、音声操作可能な機器である。第2機器7020は、音声入力部7022と、音声データ送信部7024と、指示受付部(例えば、スイッチ7021aや、リモコン7021bや、音声入力部7022)と、停止情報受付部の一例としての開始・停止情報受付部7027と、を備える。音声入力部7022は、音声を受け付ける。音声データ送信部7024は、音声入力部7022が受け付けた音声を、音声データとして、音声解析部7120を有する機器制御システム7400に送信する。指示受付部は、音声入力部7022が音声を受け付け、音声データ送信部7024が音声データを送信し、送信した音声データを機器制御システム7400の音声解析部7120に解析させる、音声認識処理に関係する機能の少なくとも一部の停止の指示を受け付ける。開始・停止情報受付部7027は、機器制御システム7400から送信される、音声操作可能な他の機器(例えば第1機器7010)の音声認識処理に関係する機能の少なくとも一部の停止に応じた、当該第2機器7020の音声認識処理に関係する機能の少なくとも一部の停止の決定に関する機能停止情報を受け付ける。
説明は省略するが、第1機器7010及び第3機器7030についても同様である。
第2機器7020では、ユーザの指示により第2機器7020について音声認識処理を停止可能であるとともに、他の機器(例えば第1機器7010)についての音声認識処理の停止に合わせ、第2機器7020についての音声認識処理を停止することができる。そのため、第2機器7020を用いることで、複数の機器についての音声認識処理の実行をそれぞれ停止する手間が省け、複数の機器についての音声認識処理を簡略な操作で停止させることができる。
なお、物理的なスイッチ7021aにより音声認識処理に関係する機能を停止させるようにすれば、音声認識処理の停止の信頼性を高めることができる(音声認識処理が停止されていない状態の発生を抑制できる)。
(6-11)
本実施形態の制御方法は、第1機器7010と、第2機器7020と、の制御方法である。第1機器7010は、第1音声入力部の一例としての音声入力部7012と、第1音声データ送信部の一例としての音声データ送信部7014と、を有する。音声データ送信部7014は、音声入力部7012が受け付けた音声の第1音声データを、機器制御システム7400に送信する。機器制御システム7400は、第1音声データを受け付ける第1音声データ受付部の一例としての音声データ受付部7110、及び音声データ受付部7110が受け付けた第1音声データを解析する第1音声解析部の一例としての音声解析部7120、を有する。第2機器7020は、第2音声入力部の一例としての音声入力部7022と、第2音声データ送信部の一例としての音声データ送信部7024と、を有する。音声データ送信部7024は、音声入力部7022が受け付けた音声の第2音声データを、機器制御システム7400に送信する。機器制御システム7400は、第2音声データを受け付ける第2音声データ受付部の一例としての音声データ受付部7110、及び音声データ受付部7110が受け付けた第2音声データを解析する第2音声解析部の一例としての音声解析部7120を有する。制御方法は、検知ステップ(ステップS22,S42)と、決定ステップ(ステップS26,S48)と、を備える。検知ステップでは、音声入力部7012が第1音声を受け付け、音声データ送信部7014が第1音声データを送信し、送信した第1音声データを音声データ受付部7110が受け付け、受け付けた第1音声データを音声解析部7120に解析させる、音声認識処理に関係する機能の少なくとも一部の第1機能の停止の指示を、第1機器7010が受けたことが検知される。決定ステップでは、第1機器7010が第1機能の停止の指示を受けたことが検知された場合に、第2機器7020について、音声入力部7022が第2音声を受け付け、音声データ送信部7024が第2音声データを送信し、送信した第2音声データを音声データ受付部7110が受け付け、受け付けた第2音声データを音声解析部7120に解析させる、音声認識処理に関係する機能の少なくとも一部の第2機能を停止することが決定される。
本制御方法では、第1機器7010が、その音声認識処理に関係する機能の少なくとも一部の第1機能の停止の指示を受け付けたと検知された場合には、第2機器7020についての音声認識処理に関係する機能の少なくとも一部の第2機能も停止することが決定される。そのため、本制御方法を利用することで、複数の機器の音声認識処理の実行をそれぞれ停止する手間が省け、複数の機器の音声認識処理を簡略な操作で停止させることができる。
(7)変形例
以下に上記実施形態の変形例を示す。なお、変形例は、矛盾しない範囲で互いに適宜組み合わされてもよい。
(7-1)変形例A
上記実施形態では、機器制御システム7400は、3台のサーバ(第1サーバ7100、第2サーバ7200、及び第3サーバ7300)を有するが、これに限定されるものではない。
例えば、機器制御システム7400は、上述の第1サーバ7100、第2サーバ7200及び第3サーバ7300と同様の機能を有する単一のサーバを有するものであってもよい。また、例えば、機器制御システム7400は、2台又は4台以上のサーバを有し、これらのサーバが、上述の第1サーバ7100、第2サーバ7200及び第3サーバ7300と同様の機能を有するように構成されてもよい。
また、例えば、上述の第1サーバ7100と同様の機能は、第2サーバ7200及び第3サーバ7300とは異なる複数のサーバが協働することで実現されてもよい。
(7-2)変形例B
上記実施形態では、第1機器10、第2機器20及び第3機器30は、家電機器であるが、これに限定されるものではない。例えば、第1機器10は、家電機器の音声操作機器であってもよい。
音声操作機器は、音声を受け付ける音声入力部を有し、音声入力部が受け付けた音声の音声データを機器制御システム7400に送信し、機器制御システム7400の音声データの解析結果に基づく信号を受信して、これに応じて操作対象の家電機器の動作を操作する機器である。具体例をあげれば、音声操作機器は、第1機器7010の音声操作機器(音声リモコン)である。音声操作機器は、第1機器7010に対する指令音声(例えば、「空調機の運転開始」という音声)を受け付け、受け付けた音声の音声データを機器制御システム7400に送信する。そして、音声操作機器は、機器制御システム7400の音声データの解析結果に基づく信号(音声データの内容は空調機の運転開始指示であったという解析結果を示す信号)を受信し、音声操作機器の赤外線信号発信部から、操作対象の空調機に運転開始の指令信号を送信する。
また、例えば、音声操作機器は、音声を受け付ける音声入力部を有し、音声入力部が受け付けた音声の音声データを機器制御システム7400に送信し、音声データの解析結果に基づく信号を、機器制御システム7400からネットワーク7040で接続された機器の操作対象に送信させることで、操作対象を制御してもよい。
(7-3)変形例C
上記実施形態では、音声データ受付部7110が第1音声データ受付部及び第2音声データ受付部として機能し、音声解析部7120が第1音声解析部及び第2音声解析部として機能するが、これに限定されるものではない。
例えば、第1サーバ7100に音声データ受付部7110及び音声解析部7120を設ける代わりに、第2サーバに第1機器7010及び第3機器7030が送信する音声データを受け付ける第1音声データ受付部と、第1音声データ受付部が受け付けた音声データを解析する第1音声解析部を設け、第3サーバに第2機器7020が送信する音声データを受け付ける第2音声データ受付部と、第2音声データ受付部が受け付けた音声データを解析する第2音声解析部を設けてもよい。
以上、実施形態及び変形例を説明したが、特許請求の範囲に記載された趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
本開示は、複数の音声操作可能な機器を制御する機器制御システム、機器制御システムにより制御される音声操作可能な機器、及びこれらの機器の制御方法に広く適用でき有用である。
〔第1構成〕
1001 機器制御システム(制御システム)
1005 ユーザ
1010 第1タイプの機器(制御機器)
1020 第2タイプの機器(制御機器)
1060 音声入力受付部
1070 赤外線出力装置
1100 サーバ
1104T 特定制御記憶部
1110 音声入力解析部
1120 制御内容特定部
1130 第1制御部(制御部)
1135 第2制御部(制御部)
1400 設定支援装置
1410 キーワード入力受付部
1420 制御命令選択部
1430 特定制御登録部
G 編集画面
GK キーワード画像
GO 制御命令画像
K キーワード
O 制御命令
NW ネットワーク
P 設定支援プログラム
〔第2構成〕
2011 テキスト抽出部
2012 音声認識辞書
2013 解釈部
2014 制御部
2016 機器情報取得部
2017 記憶部
2018 演算部
2019 認証部
2040 サーバ
2050 ネットワーク
2060 建物
2061 ルータ
2062 空調機
2063 音声入出力装置
2064 音声入力部
2065 音声出力部
2069 基準環境センサ
2090 環境調節システム
2091 空調機
2092 扇風機
2093 加湿器
2094 電動窓
2095 照明器具
2096 カーテン器具
2097 電動アロマポット
2099 対象環境センサ
RS 基準空間
TS 対象空間
〔第3構成〕
3001 空気調和システム
3005a ユーザ(発話者)
3005b ユーザ(発話者)
3020 空調機(空気調和装置)
3020P 情報処理ユニット
3021 入力部
3022 出力部
3023 通信部
3024 記憶部
3025 処理部
3025A 調和空気送出部
3025B 音声検知部
3025C 特定制御部
3025D 位置特定部
3025E 文章出力命令部
3060 音声入力装置
30100 サーバ(情報処理装置)
3100A 第1サーバ(第1情報処理装置)
3101 入力部
3102 出力部
3103 通信部
3104 記憶部
3104D 怒気分類DB(怒気分類記憶部)
3110 音声入力解析部
3125 状態判定部
3200A 第2サーバ(第2情報処理装置)
NW ネットワーク
〔第4構成〕
4011 テキスト抽出部
4012 音声認識辞書
4013 解釈部
4014 制御部
4015 ユーザ識別部
4016 記憶部
4040 サーバ
4050 ネットワーク
4060 建物
4061 ルータ
4062 空調機(室内環境調節機)
4063 音声入出力装置
4064 音声入力部
4065 音声出力部
4070 室外機
4080 室内機
4090 室内環境調節システム
〔第5構成〕
5011 テキスト抽出部
5012 音声認識辞書
5013 解釈部
5014 制御部
5015 状態抽出部
5016 状態抽出辞書
5017 判定部
5018 記憶部
5030 電力会社
5031 電力管理装置
5040 サーバ
5050 ネットワーク
5060A、5060B 物件
5061 コントローラ
5062 空調機
5063 音声入出力装置
5064 音声入力部
5065 音声出力部
5066 照明器具
5067 換気扇
5068 電力メータ
5090 空調管理システム
〔第6構成〕
6011 テキスト抽出部
6013 解釈部
6014 制御部
6015 時計部
6016 記録部
6017 パターン抽出部
6018 予測部
6019 文脈部
6040 サーバ
6050 ネットワーク
6060 建物
6061 ルータ
6063 音声入出力装置
6064 音声入力部
6065 音声出力部
6071 空調機
6072 浴室給湯器
6073 テレビ
6074 照明器具
6075 ウェアラブル端末
6076 調理器具
6077 冷蔵庫
6090 ホームシステム
〔第7構成〕
7010 第1機器(機器)
7011a スイッチ(物理スイッチ、指示受付部)
7011b リモコン(リモートコントローラ、指示受付部)
7012 音声入力部(第1音声入力部,指示受付部)
7014 音声データ送信部(第1音声データ送信部)
7016 開始・停止要求受付部(停止情報受付部)
7017 開始・停止情報受付部(停止情報受付部)
7018 報知部
7020 第2機器(機器)
7021a スイッチ(物理スイッチ、指示受付部)
7021b リモコン(リモートコントローラ、指示受付部)
7022 音声入力部(第2音声入力部、指示受付部)
7024 音声データ送信部(第2音声データ送信部)
7026 開始・停止要求受付部(停止情報受付部)
7027 開始・停止情報受付部(停止情報受付部)
7028 報知部
7110 音声データ受付部(第1音声データ受付部,第2音声データ受付部)
7120 音声解析部(第1音声解析部,第2音声解析部)
7140 検知部
7150 判断部
7160 開始・停止決定部(停止決定部,開始決定部)
7170 開始・停止情報送信部(停止情報送信部)
7180 開始・停止要求部(停止要求部)
7400 機器制御システム
S22,S42 検知ステップ
S26,S48 決定ステップ
特開2006-308848号公報 特許第2552744号公報 特開2006-320621号公報 特開2001-324202号公報 国際公開2012/176690号公報 特開2009-290967号公報 特開2010-181064号公報

Claims (8)

  1. ユーザ(1005)の発する音声の入力を受け付ける音声入力受付部(1060)と、前記音声を解析する音声入力解析部(1110)と、前記音声入力解析部による解析結果に基づいて複数の制御機器(1010,1020)を制御する制御部(1130,1135)と、所定のキーワード(K)に対応する音声の入力と前記制御機器の所定の制御とを関連付けて特定制御として記憶する特定制御記憶部(1104T)と、を備える制御システム(1001)に用いられ、前記特定制御の設定を支援するための設定支援装置(1400)であって、
    前記ユーザから前記キーワードに対応する情報の入力を受け付けるキーワード入力受付部(1410)と、
    前記制御機器に対する所定の制御命令(O)を編集画面(G)上に表示し、前記ユーザから前記制御命令の選択を受け付ける制御命令選択部(1420)と、
    前記キーワード入力受付部により前記ユーザによって入力されたキーワードと、前記制御命令選択部により前記ユーザによって選択された制御命令と、を前記ユーザの指示に応じて関連付けて前記特定制御記憶部に登録する特定制御登録部(1430)と、
    を備え、
    前記特定制御登録部は、前記キーワードと、前記制御命令と、前記キーワード及び前記制御命令の間の関連付けを表す標識と、を前記表示画面に表示し、
    前記制御部(1130、1135)は、前記複数の制御機器(1010,1020)の少なくとも一部(1020)に対して、ネットワーク(NW)及びサーバ(1100)経由で信号を送信する、
    設定支援装置。
  2. 前記キーワード入力受付部は、前記キーワードの入力が可能なキーワード画像(GK)を前記編集画面上に表示し、
    前記制御命令選択部は、前記編集画面上で、前記制御命令に対応する制御命令画像(GO)を表示し、
    前記特定制御登録部は、前記編集画面上で、前記キーワード画像及び前記特定制御命令画像を指定及び移動して関連付けることで、前記キーワード及び前記制御命令を関連付ける、
    請求項1に記載の設定支援装置。
  3. 前記サーバ(1100)は、前記複数の制御機器(1010,1020)をいつ制御するかに関するスケジュール情報を保持する、
    請求項1又は請求項2に記載の設定支援装置。
  4. 前記制御命令選択部は、前記編集画面上に、複数の前記制御命令をプルダウン形式で表示する、
    請求項1から3のいずれか1項に記載の設定支援装置。
  5. 前記特定制御登録部は、一の前記キーワードに対して、前記制御命令を複数関連付ける
    請求項1から4のいずれか1項記載の設定支援装置。
  6. 前記特定制御登録部は、前記特定制御を、前記ユーザを識別するユーザ情報に関連付けて前記特定制御記憶部に登録する、
    請求項1から5のいずれか1項に記載の設定支援装置。
  7. 前記特定制御登録部は、前記特定制御を、前記ユーザが前記キーワードを読み上げたときの声紋に関連付けて前記特定制御記憶部に登録する、
    請求項1から6のいずれか1項に記載の設定支援装置。
  8. ユーザ(1005)の発する音声の入力を受け付ける音声入力受付部(1060)と、前記音声を解析する音声入力解析部(1110)と、前記音声入力解析部による解析結果に基づいて複数の制御機器(1010,1020)を制御する制御部(1130,1135)と、所定のキーワードに対応する音声の入力と前記制御機器の所定の制御とを関連付けて特定制御として記憶する特定制御記憶部(1104T)と、を備える制御システム(1001)に用いられ、前記特定制御の設定を支援するための設定支援装置(1400)を実現するためのプログラム(P)であって、
    コンピュータを、
    前記ユーザから前記キーワードに対応する情報の入力を受け付けるキーワード入力受付部(1410)、
    前記制御機器に対する所定の制御命令(O)を編集画面(G)上に表示し、前記ユーザから前記制御命令の選択を受け付ける制御命令選択部(1420)、
    前記キーワード入力受付部により前記ユーザによって入力されたキーワードと、前記制御命令選択部により前記ユーザによって選択された制御命令と、を前記ユーザの指示に応じて関連付けて前記特定制御記憶部に登録する特定制御登録部(1430)、
    として機能させ
    前記特定制御登録部は、前記キーワードと、前記制御命令と、前記キーワード及び前記制御命令の間の関連付けを表す標識と、を前記表示画面に表示し、
    前記制御部(1130、1135)は、前記複数の制御機器(1010,1020)の少なくとも一部(1020)に対して、ネットワーク(NW)及びサーバ(1100)経由で信号を送信する、プログラム。
JP2019529797A 2017-07-14 2018-07-13 機器制御システム Active JP7060811B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021083255A JP7104357B2 (ja) 2017-07-14 2021-05-17 機器制御システム
JP2022050938A JP7348558B2 (ja) 2017-07-14 2022-03-25 機器制御システム
JP2022050941A JP7364948B2 (ja) 2017-07-14 2022-03-25 機器制御システム
JP2022050940A JP2022084865A (ja) 2017-07-14 2022-03-25 機器制御システム

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
JP2017138627 2017-07-14
JP2017138612 2017-07-14
JP2017138624 2017-07-14
JP2017138626 2017-07-14
JP2017138625 2017-07-14
JP2017138625 2017-07-14
JP2017138612 2017-07-14
JP2017138624 2017-07-14
JP2017138626 2017-07-14
JP2017138627 2017-07-14
JP2017138613 2017-07-14
JP2017138613 2017-07-14
JP2017213117 2017-11-02
JP2017213117 2017-11-02
PCT/JP2018/026445 WO2019013316A1 (ja) 2017-07-14 2018-07-13 機器制御システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021083255A Division JP7104357B2 (ja) 2017-07-14 2021-05-17 機器制御システム

Publications (2)

Publication Number Publication Date
JPWO2019013316A1 JPWO2019013316A1 (ja) 2020-08-06
JP7060811B2 true JP7060811B2 (ja) 2022-04-27

Family

ID=65001357

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2019529797A Active JP7060811B2 (ja) 2017-07-14 2018-07-13 機器制御システム
JP2021083255A Active JP7104357B2 (ja) 2017-07-14 2021-05-17 機器制御システム
JP2022050941A Active JP7364948B2 (ja) 2017-07-14 2022-03-25 機器制御システム
JP2022050938A Active JP7348558B2 (ja) 2017-07-14 2022-03-25 機器制御システム
JP2022050940A Pending JP2022084865A (ja) 2017-07-14 2022-03-25 機器制御システム
JP2022050939A Active JP7425349B2 (ja) 2017-07-14 2022-03-25 機器制御システム

Family Applications After (5)

Application Number Title Priority Date Filing Date
JP2021083255A Active JP7104357B2 (ja) 2017-07-14 2021-05-17 機器制御システム
JP2022050941A Active JP7364948B2 (ja) 2017-07-14 2022-03-25 機器制御システム
JP2022050938A Active JP7348558B2 (ja) 2017-07-14 2022-03-25 機器制御システム
JP2022050940A Pending JP2022084865A (ja) 2017-07-14 2022-03-25 機器制御システム
JP2022050939A Active JP7425349B2 (ja) 2017-07-14 2022-03-25 機器制御システム

Country Status (5)

Country Link
US (1) US11680722B2 (ja)
EP (6) EP4036709B1 (ja)
JP (6) JP7060811B2 (ja)
CN (1) CN110709785B (ja)
WO (1) WO2019013316A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6927237B2 (ja) * 2019-01-29 2021-08-25 ダイキン工業株式会社 空気調和システム
JP7364923B2 (ja) * 2019-01-29 2023-10-19 ダイキン工業株式会社 空気調和システム、サーバ、空気調和システムの制御方法、プログラム及び記録媒体
JP7155439B2 (ja) * 2019-02-12 2022-10-18 グーグル エルエルシー オンデバイス機能性を使うように車両クライアントデバイスに指令すること
US11948582B2 (en) * 2019-03-25 2024-04-02 Omilia Natural Language Solutions Ltd. Systems and methods for speaker verification
JPWO2020241297A1 (ja) * 2019-05-27 2020-12-03
JP7140391B2 (ja) * 2019-09-10 2022-09-21 Necプラットフォームズ株式会社 無線接続システム及び無線接続方法
BE1027725B1 (nl) * 2019-11-04 2021-06-08 Atlas Copco Airpower Nv Werkwijze voor het beheren van een compressor
JP2021107699A (ja) * 2019-12-27 2021-07-29 アイリスオーヤマ株式会社 送風機
JP7400593B2 (ja) * 2020-03-31 2023-12-19 ブラザー工業株式会社 情報処理装置及びプログラム
JP7404974B2 (ja) * 2020-03-31 2023-12-26 ブラザー工業株式会社 情報処理装置及びプログラム
WO2021210186A1 (ja) * 2020-04-18 2021-10-21 三菱電機株式会社 空気調和機動作システム、空気調和機およびサーバ
JP6989683B2 (ja) * 2020-05-17 2022-01-05 株式会社Remy 音声制御調理器具プラットフォーム
WO2022083361A1 (zh) * 2020-10-19 2022-04-28 海信视像科技股份有限公司 接收装置、信息处理装置及信息处理系统
CN116761960A (zh) 2021-02-08 2023-09-15 三菱电机株式会社 空调控制系统以及空调控制系统程序
KR102568109B1 (ko) * 2022-06-13 2023-08-18 보원엔지니어링 주식회사 정보통신의 네트워크 무선 송수신 설치 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197379A (ja) 2000-01-05 2001-07-19 Matsushita Electric Ind Co Ltd 機器設定装置、機器設定システムおよび機器設定処理プログラムを記録した記録媒体
JP2002318843A (ja) 2001-04-20 2002-10-31 Misawa Homes Co Ltd 設備機器遠隔管理システム、設備機器遠隔管理装置、設備機器遠隔管理方法および記憶媒体
WO2015174120A1 (ja) 2014-05-15 2015-11-19 ソニー株式会社 情報処理装置、表示制御方法およびプログラム
WO2017018032A1 (ja) 2015-07-24 2017-02-02 シャープ株式会社 連携システム、機器制御サーバ、制御対象機器、および端末装置

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0395348A (ja) * 1989-09-08 1991-04-19 Matsushita Electric Ind Co Ltd 空気調和機
JP2552744B2 (ja) 1989-12-28 1996-11-13 ▲高▼木産業株式会社 浴室システム
JPH11316037A (ja) * 1998-05-06 1999-11-16 Matsushita Electric Ind Co Ltd 冷暖房装置
JP2001036981A (ja) 1999-07-16 2001-02-09 Fujitsu Ltd 遠隔制御装置および遠隔制御プログラムを記録したコンピュータ読み取り可能な記録媒体
US8108218B1 (en) * 1999-12-13 2012-01-31 Avaya Inc. Methods and apparatus for voice recognition for call treatment modification on messaging
JP3827058B2 (ja) * 2000-03-03 2006-09-27 アルパイン株式会社 音声対話装置
JP2001324202A (ja) 2000-05-15 2001-11-22 Matsushita Electric Ind Co Ltd 空調装置
JP2002287796A (ja) 2001-03-23 2002-10-04 Ricoh Co Ltd 音声制御機構及び画像形成装置
JP2003100471A (ja) 2001-09-26 2003-04-04 Toshiba Lighting & Technology Corp 照明制御システム
JP2003111157A (ja) 2001-09-28 2003-04-11 Toshiba Corp 統合コントローラ、機器制御方法及び機器制御プログラム
JP3811646B2 (ja) 2001-12-21 2006-08-23 アルゼ株式会社 空調調整システム及び空調調整方法
JP3720037B2 (ja) 2002-11-22 2005-11-24 松下電器産業株式会社 操作履歴利用システム及びその方法
JP4579612B2 (ja) * 2003-09-10 2010-11-10 パナソニック株式会社 機器連携装置
JP2005142905A (ja) 2003-11-07 2005-06-02 Matsushita Electric Ind Co Ltd リモートコントロール装置及びリモートコントロールシステム
JP2006308848A (ja) 2005-04-28 2006-11-09 Honda Motor Co Ltd 車両機器制御装置
JP2006320621A (ja) 2005-05-20 2006-11-30 Sharp Corp ストレスケア装置およびそれを備えてなる空調装置ならびにロボット装置
JP2008040726A (ja) 2006-08-04 2008-02-21 Univ Of Electro-Communications ユーザ支援システム及びユーザ支援方法
GB0709738D0 (en) 2007-05-22 2007-06-27 Graham Robin Distributed temperature control system
JP2009228910A (ja) * 2008-03-19 2009-10-08 Brother Ind Ltd 空調制御システム
JP5178325B2 (ja) 2008-05-28 2013-04-10 株式会社東芝 機器制御装置、機器制御方法及びプログラム
JP2010181064A (ja) 2009-02-04 2010-08-19 Panasonic Corp 空気調和機
MX2009010902A (es) * 2009-10-08 2011-04-20 Magno Alcantara Talavera Metodos y sistema de control por voz.
JP5062273B2 (ja) 2010-03-12 2012-10-31 ダイキン工業株式会社 エネルギー管理システム
US9338238B2 (en) * 2010-12-03 2016-05-10 Siemens Industry, Inc. Operation scheduler for a building automation system
CN103621107B (zh) 2011-06-22 2017-05-24 松下知识产权经营株式会社 节能控制器和节能控制系统
JP2013130371A (ja) 2011-12-22 2013-07-04 Mitsubishi Heavy Ind Ltd 空気調和機の制御装置、空気調和機、及び空気調和機の制御方法
JP2013200080A (ja) * 2012-03-26 2013-10-03 Sharp Corp 空調制御システム
KR20140060040A (ko) * 2012-11-09 2014-05-19 삼성전자주식회사 디스플레이장치, 음성취득장치 및 그 음성인식방법
JP2014182583A (ja) 2013-03-19 2014-09-29 Panasonic Corp 環境制御システム
JP6068280B2 (ja) * 2013-07-10 2017-01-25 ジョンソンコントロールズ ヒタチ エア コンディショニング テクノロジー(ホンコン)リミテッド 空気調和機
CN103645690A (zh) * 2013-11-27 2014-03-19 中山大学深圳研究院 一种语音控制数字家庭智能盒的方法
JP2015108464A (ja) 2013-12-04 2015-06-11 日立アプライアンス株式会社 運転制御システム
JP6168976B2 (ja) * 2013-12-05 2017-07-26 株式会社東芝 製造検査支援装置、製造検査支援方法、及び製造検査支援プログラム
CN103905871B (zh) 2014-03-24 2016-08-17 小米科技有限责任公司 智能家电控制方法、装置及终端
US9952571B2 (en) 2014-03-24 2018-04-24 Xiaomi Inc. Method and terminal device for controlling smart home appliance
WO2016052795A1 (ko) 2014-09-30 2016-04-07 주식회사 티노스 차량용 공조 장치 및 이의 제어 방법
US10386795B2 (en) * 2014-10-30 2019-08-20 Vivint, Inc. Methods and apparatus for parameter based learning and adjusting temperature preferences
US9485344B2 (en) * 2014-12-01 2016-11-01 Honeywell International Inc. Personalizing interaction with a structure
US10132519B2 (en) * 2015-04-03 2018-11-20 Mitsubishi Electric Corporation Air conditioning system
JP6573474B2 (ja) 2015-04-14 2019-09-11 シャープ株式会社 音声認識システム
US20160327301A1 (en) * 2015-05-04 2016-11-10 Johnson Controls Technology Company User control device with housing containing angled circuit boards
JP5994900B1 (ja) * 2015-05-19 2016-09-21 ダイキン工業株式会社 複数の空気調和装置の管理装置
JP6468079B2 (ja) * 2015-06-01 2019-02-13 富士通株式会社 制御システム及び同システムの処理方法
JP6739907B2 (ja) * 2015-06-18 2020-08-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 機器特定方法、機器特定装置及びプログラム
JP2017180943A (ja) * 2016-03-30 2017-10-05 株式会社富士通ゼネラル 空気調和機
WO2018074224A1 (ja) * 2016-10-21 2018-04-26 株式会社デイジー 雰囲気醸成システム、雰囲気醸成方法、雰囲気醸成プログラム、及び雰囲気推定システム
JP6855274B2 (ja) * 2017-02-21 2021-04-07 シャープ株式会社 空気清浄機および空気清浄機の制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001197379A (ja) 2000-01-05 2001-07-19 Matsushita Electric Ind Co Ltd 機器設定装置、機器設定システムおよび機器設定処理プログラムを記録した記録媒体
JP2002318843A (ja) 2001-04-20 2002-10-31 Misawa Homes Co Ltd 設備機器遠隔管理システム、設備機器遠隔管理装置、設備機器遠隔管理方法および記憶媒体
WO2015174120A1 (ja) 2014-05-15 2015-11-19 ソニー株式会社 情報処理装置、表示制御方法およびプログラム
WO2017018032A1 (ja) 2015-07-24 2017-02-02 シャープ株式会社 連携システム、機器制御サーバ、制御対象機器、および端末装置

Also Published As

Publication number Publication date
US11680722B2 (en) 2023-06-20
CN110709785B (zh) 2023-08-04
CN110709785A (zh) 2020-01-17
EP3654174A4 (en) 2021-08-18
JP7348558B2 (ja) 2023-09-21
JPWO2019013316A1 (ja) 2020-08-06
US20200232671A1 (en) 2020-07-23
JP2022084864A (ja) 2022-06-07
WO2019013316A1 (ja) 2019-01-17
JP7364948B2 (ja) 2023-10-19
EP4040289B1 (en) 2023-09-20
EP4040289A1 (en) 2022-08-10
JP2022088507A (ja) 2022-06-14
JP2021145350A (ja) 2021-09-24
JP2022095739A (ja) 2022-06-28
JP2022084865A (ja) 2022-06-07
EP4040287B1 (en) 2024-04-24
EP4036709A1 (en) 2022-08-03
EP4040288B1 (en) 2023-09-27
EP4036710A1 (en) 2022-08-03
EP4040287A1 (en) 2022-08-10
JP7425349B2 (ja) 2024-01-31
EP4040288A1 (en) 2022-08-10
EP3654174A1 (en) 2020-05-20
JP7104357B2 (ja) 2022-07-21
EP4036709B1 (en) 2024-04-24

Similar Documents

Publication Publication Date Title
JP7104357B2 (ja) 機器制御システム
JP7060812B2 (ja) 空調機、空調システム、通信システム、制御システム、機器制御システム、機器管理システム及び音情報解析システム
US11119725B2 (en) Customizable embedded vocal command sets for a lighting and/or other environmental controller
US11303955B2 (en) Video integration with home assistant
JP2002318843A (ja) 設備機器遠隔管理システム、設備機器遠隔管理装置、設備機器遠隔管理方法および記憶媒体
JP5016968B2 (ja) 機器制御システム
WO2022044695A1 (ja) 環境制御システム、環境制御装置、環境制御方法及びプログラム
TW202325034A (zh) 電子機器控制裝置、通信終端及電子機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210517

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220201

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220201

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220209

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220328

R151 Written notification of patent or utility model registration

Ref document number: 7060811

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151