JP6660808B2 - Audio output control device, electronic device, and control method for audio output control device - Google Patents
Audio output control device, electronic device, and control method for audio output control device Download PDFInfo
- Publication number
- JP6660808B2 JP6660808B2 JP2016097456A JP2016097456A JP6660808B2 JP 6660808 B2 JP6660808 B2 JP 6660808B2 JP 2016097456 A JP2016097456 A JP 2016097456A JP 2016097456 A JP2016097456 A JP 2016097456A JP 6660808 B2 JP6660808 B2 JP 6660808B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- utterance
- user
- home appliance
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 43
- 230000007613 environmental effect Effects 0.000 claims description 36
- 238000004891 communication Methods 0.000 description 76
- 230000006870 function Effects 0.000 description 43
- 238000012545 processing Methods 0.000 description 30
- 238000003860 storage Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 25
- 238000005406 washing Methods 0.000 description 18
- 238000009434 installation Methods 0.000 description 12
- 238000012360 testing method Methods 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000004140 cleaning Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000002238 attenuated effect Effects 0.000 description 4
- 238000010411 cooking Methods 0.000 description 4
- 230000018044 dehydration Effects 0.000 description 4
- 238000006297 dehydration reaction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000001816 cooling Methods 0.000 description 3
- 238000009413 insulation Methods 0.000 description 3
- 239000012774 insulation material Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 241000209094 Oryza Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Electric Vacuum Cleaner (AREA)
- Television Receiver Circuits (AREA)
Description
本発明は、音声出力装置を制御して音声を出力させる音声出力制御装置、電子機器、音声システムに関する。 The present invention relates to a sound output control device that controls a sound output device to output sound, an electronic device, and a sound system.
電子機器とネットワークを介して接続されたサーバが、音声データを電子機器に供給し、これを受信した電子機器が音声を出力するという音声システムが従来技術として知られている。 2. Description of the Related Art An audio system in which a server connected to an electronic device via a network supplies audio data to the electronic device and the electronic device that receives the audio data outputs audio is known as a related art.
例えば、特許文献1には、音声データに出力条件を設定するサーバが開示されており、電子機器は、受信した音声データに対して設定されている出力条件が満たされた場合に、該音声データを出力して発話を実行する。これにより、電子機器からユーザの利便性を向上させた音声出力を行うことが可能となる。また、電子機器からの音声出力を様々な場面に応じてより有効に活用することが可能となる。
For example,
しかしながら、上述のような従来技術は、ユーザがおかれている状況、特に、音環境によっては、出力された音声がユーザに伝達されない可能性がある。 However, in the above-described related art, the output sound may not be transmitted to the user depending on the situation where the user is placed, particularly, depending on the sound environment.
例えば、電子機器の出力音量が、該電子機器と同じ部屋に設置されている他の電子機器の稼働音または該部屋の環境音の音量に対して相対的に小さければ、ユーザは、その部屋にいたとしても、該電子機器の音声を聞き取り難い、あるいは、全く聞き取ることができない可能性がある。また、電子機器が音声を出力するタイミングで、その部屋にユーザがいなければ、ユーザは、当然、該音声を聞き取ることができない。 For example, if the output volume of the electronic device is relatively small with respect to the volume of the operating sound of another electronic device installed in the same room as the electronic device or the volume of the environmental sound of the room, the user can enter the room. Even if there is, there is a possibility that the sound of the electronic device is difficult to hear or cannot be heard at all. Also, if there is no user in the room when the electronic device outputs the sound, the user cannot naturally hear the sound.
ユーザに音声を確実に伝達するためには、音声出力時のユーザが置かれている環境(例えば、ユーザがどこに居るのか、ユーザが居る場所にはどんな音が鳴っているのか、スピーカとユーザとの位置関係はどうか、など)を把握し、ユーザ居る場所の環境に応じたやり方で電子機器に音声を出力させることが必要である。しかしながら、特許文献1に係る出力条件は、音声データに対して事前に設定されるものである。したがって、刻一刻と変化するユーザの環境に応じて、上記出力条件によって音声出力のやり方を制御することは難しい。
In order to reliably transmit voice to the user, the environment in which the user is located at the time of voice output (for example, where the user is, what kind of sound is sounding where the user is, and the speaker and the user) It is necessary to grasp the positional relationship of the user, etc.), and output the sound to the electronic device in a manner according to the environment of the place where the user is. However, the output condition according to
本発明は、上記問題点に鑑みてなされたものであり、その目的は、状況に応じた音声出力を実行するように電子機器を制御することにより、音声をより確実にユーザに伝達することが可能な、音声出力制御装置および電子機器を実現することにある。 The present invention has been made in view of the above-described problems, and an object of the present invention is to control an electronic device so as to execute audio output according to a situation, so that audio can be more reliably transmitted to a user. It is an object of the present invention to realize a sound output control device and an electronic device that are possible.
上記の課題を解決するために、本発明の一態様に係る音声出力制御装置は、音声出力機能を有する複数の電子機器を制御する音声出力制御装置であって、上記電子機器から通知される、該電子機器の状況を示す状況情報に基づいて、音声を出力する音声出力機器を上記複数の電子機器の中から決定する出力機器決定部と、少なくとも決定された上記音声出力機器が音声を出力する間、稼働音がより小さくなる静音運転を実行するように、各電子機器に対して指示する運転制御部とを備えている。 In order to solve the above problem, an audio output control device according to one embodiment of the present invention is an audio output control device that controls a plurality of electronic devices having an audio output function, and is notified from the electronic device. An output device determining unit that determines an audio output device that outputs audio from the plurality of electronic devices based on status information indicating a status of the electronic device, and at least the determined audio output device outputs audio And an operation control unit that instructs each electronic device to perform a quiet operation in which the operation sound is reduced.
本発明の一態様によれば、音声をより確実にユーザに伝達することができるという効果を奏する。 According to one embodiment of the present invention, there is an effect that voice can be more reliably transmitted to a user.
〔実施形態1〕
以下、本発明の実施形態について、図1〜図5に基づいて詳細に説明する。
[Embodiment 1]
Hereinafter, an embodiment of the present invention will be described in detail with reference to FIGS.
(発話システムの概要)
図2は、本実施形態に係る発話システムの概略構成を示す図である。本実施形態において、本発明の音声システムは、一具体例として、電子機器がユーザに対して発話を実行する発話システム100(音声システム)に適用される。発話システム100は、本発明の音声出力制御装置としてのクラウドサーバ1と、本発明の電子機器としての家庭用電子機器(以下、家電)2とを含む。家電2(電子機器)は、ユーザ宅に、少なくとも1台、より好ましくは複数台設置されている。
(Overview of the speech system)
FIG. 2 is a diagram illustrating a schematic configuration of the speech system according to the present embodiment. In the present embodiment, as an example, the voice system of the present invention is applied to a voice system 100 (voice system) in which an electronic device performs voice to a user. The utterance system 100 includes a
発話システム100は、必要に応じて、さらに、発話を実行する携帯型の音声出力装置として、通信端末3を含んでいてもよい。通信端末3(携帯型電子機器)は、例えば、スマートフォン、タブレット端末、携帯電話などであり、ユーザによって携帯されている。クラウドサーバ1(音声出力制御装置)、通信端末3、および、家電2は、広域通信ネットワーク5を介して接続するよう構成されている。なお、家電2および通信端末3について、数や種類は限定されず、個別に説明する必要のない場合は、総称として家電2と通信端末3とを用いる。また、クラウドサーバ1によって管理されるユーザ宅の数も限定されない。
The utterance system 100 may further include the
なお、家電2のそれぞれには、図示しない家電アダプタが接続されており、家電アダプタは、通信部の一部を構成し、家電2を広域通信ネットワーク5に接続させる。これによって、家電2を、いわゆるネットワーク家電にすることができ、クラウドサーバ1などの外部装置が家電2を、広域通信ネットワーク5を介して制御できるようになる。
A home appliance adapter (not shown) is connected to each of the
ユーザ宅には、狭域通信ネットワークである無線LAN(Wireless Local Area Network)が整備されており、無線LANの中継局4は、インターネットを含む広域通信ネットワーク5と接続されている。中継局4は、例えばWi−Fi(登録商標)ルータやWi−Fi(登録商標)アクセスポイントなどの通信機器である。ここでは、広域通信ネットワーク5としてインターネットを含む構成を例示しているが、電話回線網、移動体通信網、CATV(CAble TeleVision)通信網、衛星通信網などを利用することもできる。
A wireless LAN (Wireless Local Area Network), which is a short-range communication network, is provided at the user's home. The relay station 4 of the wireless LAN is connected to a wide-
広域通信ネットワーク5及び無線LANの中継局4を介して、クラウドサーバ1とユーザ宅に設置された家電2とが通信可能となっている。また、広域通信ネットワーク5を介して、クラウドサーバ1と通信端末3とが通信可能になっている。通信端末3と広域通信ネットワーク5におけるインターネットとの間は、3G(3rd Generation)、LTE(Long Term Evolution)や、宅内あるいは公衆のWi−Fi(登録商標)アクセスポイントなどを利用して接続される。
Through the wide
発話システム100において、ユーザに対する発話は、発話を制御するクラウドサーバ1と、その制御にしたがって発話を実行する家電2との間でいくつかの情報が送受信されることによって実現される。より詳細には、まず、ユーザが居る場所の状況は、家電2からクラウドサーバ1に対してほぼリアルタイムで随時報告される状況レポート(状況情報)を分析することによって、クラウドサーバ1にて把握される。状況レポートは、具体的には、家電2の自機の稼働状況を示す稼働ログ(稼働状況情報)であってもよいし、家電2に備えられた各種センサが測定または検知したセンサ値または該センサ値を分析した分析結果を含むセンシング情報であってもよい。家電2は、状況に変化が生じたタイミングで、状況レポートを送信してもよいし、所定の周期で定期的に送信してもよいし、その両方のタイミングで送信してもよい。
In the utterance system 100, the utterance to the user is realized by transmitting and receiving some information between the
次に、家電2に発話をさせるべき何らかのイベント(発話イベント)がユーザ宅において発生すると、クラウドサーバ1は、家電2から供給された状況レポートを分析してユーザがおかれている状況を判断し、発話内容をユーザに伝達するために、該状況に応じて家電2を制御する。具体的には、クラウドサーバ1は、発話を実行させる家電2(以下、発話主体機器)に対しては、発話の実行を指示するとともに、その発話内容を供給する。なお、発話内容には、発話音声をデータ化した出力音声データが含まれていてもよい。
クラウドサーバ1は、これに加えて、制御情報を、制御対象の家電2にそれぞれ送信して、各家電2を制御する。この制御は、発話内容をユーザにより確実に伝達するために、ユーザがおかれている状況(つまり、家電2の状況および家電2の周囲の状況)に応じて行われる。制御情報には、例えば、これには限定されないが、発話指示、静音運転指示、環境音取得指示、残響音取得指示、移動指示などが含まれる。
Next, when any event (utterance event) that should cause the
In addition, the
なお、本実施形態では、発話システム100は、ユーザの発話(マイクなどを介して入力された音声)を取得して音声認識を行い、その内容に応答する発話を家電2に実行させることにより、ユーザとの対応を実現する対話システムとしても機能する。この場合、家電2は、自機のマイクで拾ったユーザの音声をクラウドサーバ1に送信する。クラウドサーバ1は、家電2から受信した入力音声データに対して音声認識処理を実行し、実行結果として特定された出力音声データを家電2に返す。
In the present embodiment, the utterance system 100 acquires a user's utterance (voice input through a microphone or the like), performs voice recognition, and causes the
入力音声データは、マイクをセンサの一種と捉えると、センサが検知した情報という意味で広義にはセンシング情報に含まれる。マイクが検知したセンシング情報を、他のセンサによって検知されたセンシング情報と区別したい場合には、入力音声データと称する。入力音声データは、クラウドサーバ1によって、その内容に応じて、ユーザ発話データ、環境音データ、残響音データに分類される。ユーザ発話データは、マイクを介して入力されたユーザの発話の音声である。環境音データおよび残響音データについては後述のそれぞれの実施形態において詳細に説明する。
When the microphone is regarded as a kind of sensor, the input voice data is included in the sensing information in a broad sense in the sense of information detected by the sensor. When it is desired to distinguish the sensing information detected by the microphone from the sensing information detected by another sensor, it is referred to as input voice data. The input voice data is classified by the
なお、本実施形態では、クラウドサーバ1は、クライアント(ユーザ宅)ごとに、家電2および通信端末3を個々に登録して管理している。したがって、クラウドサーバ1は、データを受信するときは、どの家電2または通信端末3から送信されたデータであるのかを把握することが可能であり、データを送信するときは、どの家電2または通信端末3宛てであるかを指定して送信することが可能である。
In this embodiment, the
(家電の構成)
図1は、発話システム100における家電2の要部構成を示すブロック図である。家電2は、図1に示すように、制御部40、通信部41、操作部42、センサ43、マイク44、スピーカ45および機能実行部46を備えている。なお、家電2は、例えば、空気調和機(以下、エアコン)、空気清浄機、冷蔵庫、洗濯機、電子レンジまたは炊飯器などの調理器具、照明装置、給湯機器、撮影機器、テレビまたは録画再生装置などの各種AV(Audio-Visual)機器、各種家庭用ロボット(例えば、自走式掃除機、家事支援ロボット、動物型または人型ロボット等)等である。
(Composition of home appliances)
FIG. 1 is a block diagram showing a main configuration of
制御部40は、家電2の各部の動作を統括的に制御する。制御部40は、例えば、CPUや専用プロセッサなどの演算処理部などにより構成されるコンピュータ装置から成る。制御部40は、機能ブロックとして、レポート生成部50、音声制御部51および機能制御部52を備えている。
The
レポート生成部50(状況通知部)は、上述の状況レポート(状況情報)を生成するものである。例えば、家電2(エアコン)がある機能(冷房などの強運転)を実行しているとき、当該家電2が稼働中であり、ある機能を実行中であることを示す稼働ログ(電源ON/強)を状況レポートとして生成する。あるいは、家電2のセンサ43によって、家電2または家電2を取り巻く環境についてある状態が検知されると、その検知結果を示すセンシング情報を状況レポートとして生成する。該状況レポートがクラウドサーバ1に供給されることにより、クラウドサーバ1にて、ユーザがおかれている状況が随時把握される。
The report generation unit 50 (status notification unit) generates the above-described status report (status information). For example, when the home appliance 2 (air conditioner) is executing a certain function (strong operation such as cooling), an operation log (power ON / high) indicating that the
音声制御部51は、マイク44およびスピーカ45(音声出力部)を介して、家電2における音声の入出力を制御する。具体的には、マイク44が取得した音声を録音し、これを、入力音声データとして、通信部41を介してクラウドサーバ1に供給する。さらに、クラウドサーバ1によって供給された出力音声データを通信部41を介して取得し、これをユーザが聴取可能な音声として、スピーカ45を制御して出力する。これにより、ユーザによって発話された音声がユーザ発話データとしてクラウドサーバ1に供給され、該ユーザの発話内容に応じて機器に発話させる出力音声データがクラウドサーバ1によって作成される。該出力音声データは、家電2に供給され、上記ユーザの発話に対する応答として、家電2から発話される。こうして、発話システム100において、ユーザと家電2との対話が実現される。
The
機能制御部52は、家電2のそれぞれが有している本来の機能である。機能制御部52は、当該機能を実現するために標準的に家電2に備えられている各種部品または機構(機能実行部46)を駆動させることにより、家電2本来の機能を実現する。この機能の具体例としては、洗濯機の洗濯機能、冷蔵庫の冷却機能、電子レンジの加熱機能、エアコンの冷暖房機能、自走式掃除ロボットの掃除機能などである。機能制御部52は、通信部41を介してクラウドサーバ1から供給された制御情報を取得し、この制御情報の内容にしたがって、機能実行部46の運転を制御する。これにより、クラウドサーバ1によって、各家電2の稼働/非稼働、および、稼働時の運転内容が制御される。
The
通信部41は、上述の家電アダプタを含み、広域通信ネットワーク5を介してクラウドサーバ1と相互通信を行う。なお、図示しないが、家電2は、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)などの記憶部を含み、家電2にて用いられる各種データを、該記憶部に記憶することができる。
The
操作部42は、ユーザによる入力操作を受け付ける。操作部42は例えば物理ボタン、タッチパネルなどであり、入力操作を受け付けたことを示す入力信号を、レポート生成部50および機能制御部52に出力する。レポート生成部50および機能制御部52は、入力信号にしたがって、状況レポートを作成したり、機能実行部46による運転を制御したりする。操作部42は、テレビやエアコンなどを操作するリモコンであってもよいし、冷蔵庫、洗濯機、電子レンジまたは炊飯器などにおいて開閉されるドアやフタであってもよい。
The
センサ43は、家電2の状態または家電2を取り巻く周囲の環境の状態を検知する。センサ43によって検知された結果は、センシング情報として、レポート生成部50によって処理される。センサ43は、例えば、人感センサ、温度センサ、照度センサ、ドアまたはフタなどの開閉センサ、変位センサなどが含まれる。なお、操作部42は、ユーザ操作の有無を検知するという意味で、広義にはセンサ43に含まれる。また、マイク44は、家電2周囲で発生した音を検知するという意味で、広義にはセンサ43に含まれる。
The
マイク44は、ユーザが制御部40に対して入力する音声を取得する。マイク44によって取得された音声は、音声制御部51によって入力音声データとして処理される。スピーカ45は、制御部40の音声制御部51によって処理された出力音声データを、ユーザが聴取する音声として出力する。
The
(クラウドサーバの構成)
図1においては、発話システム100におけるクラウドサーバ1の要部構成も併せて示す。クラウドサーバ1は、ユーザ宅ごとに、各家電2を管理および制御するサーバであり、図1に示すように、制御部10、通信部11および記憶部12を備えている。制御部10は、例えば、CPU(Central Processing Unit)や専用プロセッサなどの演算処理部などにより構成されるコンピュータ装置から成り、クラウドサーバ1の各部の動作を統括的に制御する。制御部10は、機能ブロックとして、情報管理部20、音声解析部21、発話制御部22、および、運転制御部23を備えている。通信部11は、広域通信ネットワーク5を介して、家電2および通信端末3と相互通信を行う。記憶部12は、クラウドサーバ1で用いられる各種データを記憶する。記憶部12は、例えば、機器情報30および発話データ31を記憶する。さらに、記憶部12は、必要に応じて、音環境情報32および機器配置マップ33を記憶していてもよい。発話データ31は、家電2に発話させる内容をテキストデータまたは音声データの形式にて複数格納するものであり、これらの発話データを1つ以上組み合わせて、発話制御部22が、出力音声データを作成する。つまり、発話データ31は、出力音声データの素材である。各発話データ31には、重要度(緊急度も含む)、発話条件などの付属情報が関連付けられていてもよい。上述の各機能ブロックの詳細な機能、および、機器情報30および機器配置マップ33の具体例について、以下詳細に説明していく。
(Cloud server configuration)
FIG. 1 also shows a main configuration of the
情報管理部20は、家電2から供給された状況レポートの内容を分析して、その家電2の機器情報を管理し、把握するものである。情報管理部20は、状況レポートの分析結果に応じて、記憶部12に記憶されている機器情報30を更新し、機器情報30が家電2の最新の状態を反映しているように維持する。これにより、制御部10は、それぞれのユーザ宅における各家電2の最新の状態を参照して、ユーザがおかれている状況を把握することが可能となる。
The
音声解析部21は、家電2から供給された入力音声データを解析して、解析結果を制御部10の下流の機能ブロックに通知する。例えば、入力音声データが、ユーザ発話データである場合、このユーザの発話に対して応答するように発話制御部22に通知する。あるいは、入力音声データが、環境音データおよび残響音データである場合には、それらの解析結果を音環境情報32として記憶部12に記憶したり、該解析結果を運転制御部23に通知したりする。
The
発話制御部22(出力機器決定部)は、家電2が発話すべきイベントが発生した場合に、家電2に発話させるべき内容を含む出力音声データを作成する。例えば、発話制御部22は、音声解析部21によってテキストデータ化されたユーザ発話データを参照し、家電2に発話させる出力音声データを作成する。ユーザとの対話を実現するためには、出力音声データは、ユーザの発話に対する応答としてふさわしい内容を含んでいなければならない。そこで、発話制御部22は、出力音声データの素材として記憶部12に格納されている、1以上の発話データ31、および、ユーザによって発話されたキーワードを組み合わせて、ユーザとの対話が成立するような内容を含む出力音声データを生成する。対話を実現するための発話内容の決定に係る技術に関しては、既存の技術が利用できる。
The utterance control unit 22 (output device determination unit) creates output audio data including the content to be uttered by the
さらに、発話制御部22は、上記のように作成した出力音声データを出力する、すなわち、発話を実行する主体となる家電2(以下、発話主体機器)を、機器情報30の内容に基づいて決定する機能を有する。つまり、発話制御部22は、ユーザがおかれている状況に応じて好ましい発話主体機器(音声出力機器)を決定することより、ユーザに発話内容がより確実に伝達されるようにする。発話主体機器の決定方法については後に詳述する。
Further, the
運転制御部23は、発話制御部22によって決定された発話主体機器、および、それ以外の家電2のそれぞれに対して、ユーザに発話内容がより確実に伝達されるようにするための運転制御を行う。一例として、運転制御部23は、発話主体機器と同じ部屋にある発話主体機器以外の家電2に対して静音制御を実行する。静音制御とは、現在稼働中の家電2に対して、稼働音がより小さくなるように、現在実行中の機能の程度を弱めたり、別の機能を実行したり、あるいは、機能の実行を中止したりすることを指示する、すなわち静音運転の実行を指示する制御情報を、各家電2に送信することである。この制御情報にしたがえば、発話主体機器以外の家電2(以下、非発話機器)は、自機が発生させている稼働音をこれまでよりも小さくすることができる。これにより、発話主体機器から出力される音声をユーザが聞き取りやすくなり、ユーザに発話内容がより確実に伝達される。
The
(機器情報)
図3に、記憶部12に記憶されている機器情報30の一具体例を示す。なお、図3において、機器情報をテーブル形式のデータ構造にて示したことは一例であって、機器情報のデータ構造を、テーブル形式に限定する意図はない。以降、データ構造を説明するためのその他の図においても同様である。
(Equipment information)
FIG. 3 shows a specific example of the
機器情報30は、当該ユーザ宅に設置されている家電2に関する1以上の情報の集合である。なお、クラウドサーバ1が、複数のユーザ宅を管理している場合には、図3に示す機器情報30のテーブルは、ユーザ宅ごとに作成され、クライアントIDなどによってどのユーザ宅の機器情報30であるのかをクラウドサーバ1において特定できるようになっている。機器情報30は、性質上、(1)基本情報、(2)状態情報、および、(3)センシング情報の3つに大別される。
The
基本情報は、家電2に関する基本的な情報からなる。例えば、図3に示すとおり、機器ID、機器種別、スピーカ位置(実施形態1では不要)、および、配置場所などの各項目が基本情報に該当する。これらの基本情報は、まず、ユーザ操作によって(例えば、通信端末3を用いて)、クラウドサーバ1に対して初期登録される。これらの基本情報は、ユーザが必要に応じて更新作業を行わない限りは、自動的には更新されない。
The basic information is composed of basic information on the
機器IDは、ユーザ宅内で、その家電2を一意に識別するために用いられる家電2の識別情報である。機器種別は、機器IDと同様の目的で用いられるが、ユーザにとって理解しやすい単語で構成されている。機器IDおよび機器種別の少なくともいずれか1つが基本情報に含まれていればよい。スピーカ位置は、家電2のスピーカ45が、家電2の本体底面から何cmの高さに設けられているのかを示す。スピーカ位置は、実施形態1では、基本情報に含まれていなくてもよい。配置場所は、家電2がユーザ宅のどの部屋に設置されているのかを示す。ユーザ宅を構成する部屋の数、および、各部屋の識別情報は、事前にクラウドサーバ1の記憶部12に登録されているものとし、部屋の識別情報は、図示の「リビング」、「キッチン」などのようにユーザに理解され得る単語で構成されていてもよいし、機器IDと同様に、単なる、数字、文字および記号などの羅列であっても構わない。例えば、本実施形態において、ユーザ宅を構成する部屋の数、および、各部屋の識別情報は、図4に示すような、機器配置マップ33として、記憶部12に格納されていてもよい。
The device ID is identification information of the
状態情報は、家電2の状態を表す情報からなる。例えば、図3に示すとおり、発話有無、および、稼働状況(稼働状況情報)などの各項目が状態情報に該当する。これらの状態情報は、家電2から供給された状況レポートに含まれる稼働ログの内容に応じて、情報管理部20によって随時更新される。
The state information includes information indicating the state of the
発話有無は、その家電2の状態に対応して発話すべき内容が存在するか否かを示す。稼働状況は、家電2が稼働しているか否かを示すとともに、稼働している場合に、どのような運転を実行中であるのかを示す。例えば、洗濯機から供給された稼働ログが、「ON/洗い」→「ON/すすぎ」→「ON/脱水」→「OFF/−」のように遷移した場合、それに合わせて情報管理部20が、洗濯器の稼働状況のセルを変更していく。また、稼働(ON)から非稼働(OFF)に稼働ログが変化した場合、発話制御部22は、発話データ31から素材を読み出して、出力音声データ「洗濯終わった〜。」を生成する。情報管理部20は、洗濯機に関して、上記発話すべき内容が作成されたと判断し、洗濯機の発話有無の項目を、「0(発話内容なし)」から「1(発話内容あり)」に更新する。情報管理部20は、発話を行った家電2から、上記出力音声データについて出力完了の通知を受信したときには、洗濯機の発話有無の項目を、「1」から「0」に戻す。
The presence or absence of utterance indicates whether or not there is a content to be uttered corresponding to the state of the
センシング情報は、家電2のセンサ43(広義に、操作部42およびマイク44を含む)によって検知された検知結果、または、該検知結果から判明する家電2の状態を表す情報からなる。例えば、図3に示すとおり、人感センサ、温度センサ、照度センサ、ドアセンサ、キー入力、変位センサ(実施形態1では不要)、および、音声入力などの各項目がセンシング情報に該当する。これらのセンシング情報は、家電2から供給された状況レポートに含まれるセンシング情報の内容に応じて、情報管理部20によって随時更新される。
The sensing information includes a detection result detected by the sensor 43 (including the
項目「人感センサ」は、家電2が備える人感センサとしてのセンサ43が、人の存在を検知しているか否かを示す。「1」は、「人(ユーザ)が居る」を意味し、「0」は、「人が居ない」を意味する。なお、「−」は、その家電2が、その項目に係るセンサ43を備えていないことを意味する。以降の項目においても同様である。項目「温度センサ」は、家電2が備える温度センサとしてのセンサ43が検知している、家電2周囲の気温を示す。項目「照度センサ」は、家電2が備える照度センサとしてのセンサ43が検知した周囲の明るさが、所定値以上であるか否かを示す。この所定値は、部屋の照明がついている場合の明るさと、部屋の照明がついていない場合の明るさとを、明確に区別できるような値に設定することが好ましい。「1」は、「所定値以上明るい(=照明がついている)」を意味し、「0」は、「所定値未満で暗い(=照明がついていない)」を意味する。項目「開閉センサ」は、家電2が備える開閉センサとしてのセンサ43が、自機のドア(またはフタ)が開いている状態を検知しているのか閉まっている状態を検知しているのかを示す。「1」は、「ドアが開いている」を意味し、「0」は、「ドアが閉まっている」を意味する。項目「キー入力」は、家電2が備える操作部42が何らかのユーザ操作を受け付けているのか否か、すなわち、ユーザが操作中であるのか否かを示す。「1」は、「ユーザ操作あり(ユーザ操作中)」を意味し、「0」は、「ユーザ操作なし(ユーザは操作中でない)」を意味する。項目「変位センサ」は、家電2が備える変位センサとしてのセンサ43が検知している、家電2の本体底面における、部屋の床面からの高さを示す。項目「音声入力」は、家電2が備えるマイク44を介して、入力音声データ、特に、ユーザ発話データが取得されたか否かを示す。「1」は、「ユーザ発話あり」を示し、「0」は、「ユーザ発話なし」を示す。本実施形態では、情報管理部20は、ユーザ発話データが家電2によって取得された時点から所定時間(例えば、30秒)経過までの期間、その家電2の「音声入力」の項目を「1」に設定する。ユーザは、家電2に話しかけた直後から、しばらくの間(少なくとも30秒くらい)は、その部屋に居ると思われ、その期間は、当該家電2の近くにいると推定できる。このようなユーザの実情に即したルールで「音声入力」の項目を設定することにより、センシング情報に基づいて、より正確にユーザがおかれている状況(ユーザがいる場所の環境)を把握することができる。
The item “human sensor” indicates whether or not the
以上のとおり、情報管理部20は、家電2から状況レポートを受信すると、該状況レポートの内容に応じて機器情報30を更新し、その家電2および家電2の周囲について、最新の状態を反映するように機器情報30を維持する。これにより、発話制御部22および運転制御部23は、発話が必要となった時に、その時のユーザがおかれている状況を把握して、当該状況に応じた発話を実行するように各家電2を制御することができる。
As described above, upon receiving the status report from the
(機器配置マップ)
図4に、記憶部12に記憶されている機器配置マップ33の一具体例を示す。例えば、図2に示すユーザ宅には、部屋1〜3、洗面所、キッチン、リビングの6つの部屋があり、洗面所に洗濯機、キッチンに電子レンジおよび冷蔵庫、リビングに自走式掃除機、エアコンおよびテレビが配置されている。なお、機器配置マップ33には、家電2の状態をより詳しく判断するために、家電2の付属品(自走式掃除機の充電台)または遮音物体(ソファなどの家具)の位置があらかじめ登録されていてもよい。
(Equipment layout map)
FIG. 4 shows a specific example of the
クラウドサーバ1は、ユーザ宅に関して、図4に示すようなマップ情報を管理することにより、ユーザ宅を構成する部屋の種別、広さおよび数、ならびに、各家電2の現在位置および家電2同士の位置関係などを把握してもよい。しかし、記憶部12は、機器配置マップ33を記憶することを必須の構成とはしない。
The
(発話制御処理の流れ)
図3および図4に示す具体例に即して、図5を参照しながら、クラウドサーバ1が実行する発話制御処理の流れを説明する。
(Flow of utterance control processing)
The flow of the speech control process executed by the
まず、ユーザ宅において何らかの発話イベントが発生したことをクラウドサーバ1の制御部10が検知する(S101)。具体的には、家電2としての洗濯機が、脱水を完了させて一連の洗濯を終えたとき、洗濯機のレポート生成部50は、稼働ログ「ON/脱水」に代えて「OFF/−」を含む状況レポートをクラウドサーバ1に送信する。情報管理部20は、機器情報30のうち、洗濯機の稼働状況の項目を、「OFF/−」に更新する。発話制御部22は、洗濯機の稼働状況が「ON/脱水」から「OFF/−」に更新されたことを発話イベントとして検知し、このイベントに対応する発話「洗濯終わった〜。」の出力音声データを、発話データ31の素材を利用して作成する。こうして発話の準備が整うと、次に、発話制御部22は、この発話を実行する発話主体機器を決定するために、S102以降の処理を実行する。
First, the
発話制御部22は、まず、ユーザ宅に対応付けて記憶されている機器情報30から各家電2のセンシング情報を取得する(S102)。そして、取得したセンシング情報を用いてユーザがどの部屋にいるのかを推定する(S103)。ユーザの居場所を推定する方法は特に限定されないが、本実施形態では、例えば、図3に示すセンシング情報を参照して、以下のようにユーザの居場所を推定することができる。「音声入力」の項目が「1」である家電2の配置場所を、ユーザの居場所と推定する。「キー入力」の項目が「1」である家電2の配置場所を、ユーザの居場所と推定する。「人感センサ」の項目が「1」である家電2の配置場所が、1つの部屋(例えば、リビング)に特定される場合には、その部屋を、ユーザの居場所と推定する。ユーザの居場所の候補が上記では1つに絞れない場合に、「照度センサ」、「開閉センサ」、「温度センサ」などの項目を適宜組み合わせて、ユーザの居場所を推定してもよい。例えば、明るく、気温も適温であり、家電2のドア(フタ)が開けられている部屋が1つに絞れる場合には、その部屋にユーザが居る可能性が高い。
First, the
以上のように、センシング情報を用いてユーザの居場所を推定すると、次に、発話制御部22は、推定した居場所に配置されている家電2を発話主体機器の候補とし、候補の家電2それぞれの稼働状況の項目を機器情報30から取得する(S104)。そして、各家電2の稼働状況をみて、非稼働の家電2(以下、非稼働機器)がある場合、すなわち、稼働状況の項目が「OFF」を示している家電2がある場合(S105でYES)、その家電2を発話主体機器として決定する(S106)。例えば、ユーザの居場所が「リビング」と推定された場合、発話制御部22は、テレビの稼働状況「ON/音量30」、自走式掃除機の稼働状況「OFF/充電中」、エアコンの稼働状況「ON/強」を取得する。そして、非稼働機器である自走式掃除機を発話主体機器に決定する。
As described above, when the location of the user is estimated using the sensing information, the
なお、ユーザが居る部屋のすべての家電2が稼働中である(稼働機器しかない)場合(S105でNO)、それらの稼働機器のうち、稼働音が最も小さい機器を特定し、これを発話主体機器として決定することができる(S107)。クラウドサーバ1の記憶部12には、家電2ごとに、実行できる運転の種類と、その運転によって発生する稼働音のだいたいの音量とが記憶されている(例えば、エアコン:強運転−50db、通常運転−42db、弱運転−30db、・・・など)。発話制御部22は、上記稼働音の情報と、各家電2の稼働状況とに基づいて、現在の稼働音が最も小さい機器を特定することができる。なお、稼働音は現在の状態に限らず、静音制御後の稼働音から判断してもよい。この場合は後述のように発話主体機器に対して静音制御を行うことが望ましい。あるいは、発話制御部22は、各家電2の稼働状況および上記稼働音の情報とに基づいて、各家電2の稼働音の音量を推定し、稼働音の音量が所定値より小さい稼働状況である家電2の中から、発話主体機器を決定してもよい。所定値の一例としては、一般的に「静か」と感じることができる45dBあるいはそれより小さい値とすることができる。
If all the
以上のようにして、発話主体機器が決定されると、次に、運転制御部23は、発話主体機器と同じ部屋に配置されている稼働機器の各々に対して、静音制御を行う(S108)。上記の例では、テレビとエアコンとに対して、静音制御を行う。例えば、運転制御部23は、テレビに対して、音量を30から15に下げることを指示する制御情報を送信したり、エアコンに対して、強運転から通常運転に切り替えることを指示する制御情報を送信したりすることが考えられる。
When the main utterance device is determined as described above, next, the
続いて、発話制御部22は、S101の発話イベントに応じて作成した、出力音声データを、発話主体機器として決定し家電2(ここでは、自走式掃除機)に供給して、該家電2に対して発話を指示する(S109)。
Subsequently, the
上記出力音声データを受信した家電2が、当該出力音声データを出力することにより、「洗濯終わった〜。」と発話し終えると、該家電2のレポート生成部50は、発話完了を知らせるための発話完了通知を作成し、クラウドサーバ1に返信する。運転制御部23は、情報管理部20が発話完了通知を受信した場合(S110でYES)、静音運転を指示した各稼働機器に対して、静音運転前の運転に復帰するように指示する制御情報を送信する。これにより、静音制御が解除される(S111)。
When the
上記の方法によれば、クラウドサーバ1が何らかの発話をユーザに対して出力すると判断した場合、まず、クラウドサーバ1の発話制御部22は、上記発話を実行する発話主体機器を、推定されたユーザの居場所と、家電2の稼働状況とに基づいて決定する。次に、運転制御部23は、発話主体機器と同じ部屋(すなわち、ユーザの居場所)に配置されている稼働機器に対して、静音制御を実行する。その後、発話制御部22は、発話主体機器に対して発話の実行を指示する。
According to the above method, when the
これにより、ユーザの居場所に配置されている家電2であり、かつ、稼働音を出していない、もしくは稼働音の小さい家電2に発話を実行させることができ、しかも、該家電2が発話を実行するときには、同じ部屋に配置されているその他の家電2の稼働音を小さくすることができる。したがって、ユーザは、自分が居る部屋にある家電2の稼働音が抑えられてこれまでよりも静かになった状況下で、同じ部屋にある、しかも、それ自体が稼働音を出していない家電2から発話を聞くことができる。
Thereby, it is possible to cause the
以上のことから、家電2が発話してもユーザが不在であるために聞き取れない、または、家電2が発話してもその周囲で発話以外の音が鳴っているために、ユーザが発話を聞き取り難いといった不都合を解消することができる。結果として、発話内容をより確実にユーザに伝達することが可能な発話システムを実現することができる。
From the above, even if the
なお、発話制御部22は、発話主体機器に対しても静音制御を行ってもよい。この場合は、発話主体機器が発話を実行するときに自身の稼働音をも小さくすることで、発話内容をさらに確実にユーザに伝達することができる。
Note that the
また、家電2ごとに、静音運転を許可するか禁止するかを指定できるようにしてもよい。例えば、電子レンジが稼働しているときは調理中であることが考えられ、調理中に静音運転としてしまうと調理が失敗するおそれがある。また、テレビを視聴中に勝手に音量を増減されることをユーザが不快に感じるおそれもある。したがって、家電2ごとに発話時の静音制御を許可するかどうかを設定できれば、発話によって家電2の機能が損なわれることを防止できる。
In addition, it may be possible to specify whether to allow or prohibit the silent operation for each
〔実施形態2〕
本発明の他の実施形態について、図6〜図7に基づいて説明すれば、以下のとおりである。なお説明の便宜上、既出の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。以降の実施形態についても同様である。
[Embodiment 2]
Another embodiment of the present invention will be described below with reference to FIGS. For convenience of explanation, members having the same functions as the members described in the above-described embodiments are denoted by the same reference numerals, and description thereof will be omitted. The same applies to the following embodiments.
本実施形態では、発話主体機器が配置されている部屋の環境音の音量が大きい場合に、さらに、当該発話主体機器によって出力される音声の音量または音質を変更して、当該音声をユーザにより聞き取り易くする。 In the present embodiment, when the volume of the environmental sound in the room in which the main utterance device is arranged is large, the volume or sound quality of the sound output by the main utterance device is further changed so that the user can listen to the sound. Make it easier.
(クラウドサーバの構成)
実施形態2では、必須の構成として、クラウドサーバ1の記憶部12には音環境情報32が記憶されている。図6に、音環境情報32の一具体例を示す。なお、音環境情報32は、図3に示す機器情報30と別のテーブルにて記載しているが、音環境情報32における「環境音レベル」および「残響音」のカラムを、機器情報30に追加することにより、機器情報30および音環境情報32を1つのテーブルにて管理してもよい。実施形態2では、音環境情報32は、「環境音レベル」の項目を少なくとも含む。「残響音」の項目は、実施形態2では必須ではない。
(Cloud server configuration)
In the second embodiment,
音声解析部21は、入力音声データを家電2から受信すると、入力音声データを解析して、入力音声データが、ユーザ発話データからなるのか、環境音データからなるのか、あるいは、両方含まれるのかを解析する。入力音声データにユーザ発話データが含まれる場合には、音声解析部21は、該ユーザ発話データに対して音声認識処理を実行し、その実行結果を発話制御部22に供給する。一方、入力音声データに環境音データが含まれる場合には、音声解析部21は、該環境音データの音量を特定し、該音量を、音環境情報32における、送信元の家電2の「環境音レベル」の項目に格納する。すでに、音量が格納されている場合には、最新の音量に更新する。
Upon receiving the input voice data from the
なお、家電2のマイク44は、環境音として、人の発話が含まれるテレビの出力音声を拾い得る。この場合でも、音声解析部21は、ユーザ発話データか、環境音データ(テレビの音)かを区別することが可能である。例えば、音声解析部21は、家電2から受信した入力音声データがユーザ発話データであると解析した場合であっても、その家電2のセンサ43(人感センサやカメラなど)が人の存在の検知しない場合には、ユーザ発話データであると思われていた音声は、テレビやラジオなどによって出力された環境音であると解析結果を訂正することができる。
Note that the
運転制御部23は、発話制御部22によって発話主体機器が決定されると、該発話主体機器と同じ部屋に配置されている家電2について、音環境情報32から、環境音の音量を取得する。そして、運転制御部23は、取得した環境音の音量のうちの1つでも所定の閾値以上であれば(すなわち、その部屋の環境音がうるさければ)、上記発話主体機器に対して、発話をするときの出力音量または音質、あるいは、その両方を、ユーザにより聞き取り易いように変更することを指示する。ユーザにより聞き取り易いように変更することには、例えば、運転制御部23は、家電2のスピーカ45の出力音量を上げるように指示すること、出力音声データのうちの、特定の音域の音のレベルを上げて出力音声データの音質を変更するように指示したりすることなどが含まれる。
When the utterance main unit is determined by the
(発話制御処理の流れ)
図7を参照しながら、実施形態2のクラウドサーバ1が実行する発話制御処理の流れを説明する。まず、クラウドサーバ1が、ユーザ宅における発話イベントの発生を検知すると(S101)、音声解析部21は、この発話イベントの発生時以降、音声入力を待ち受ける(S201)。ここで、運転制御部23は、家電2に対して環境音を取得するように指示してもよい。家電2の音声制御部51から、入力音声データが供給された場合(S201でYES)、音声解析部21は、該入力音声データの中に、ユーザ発話データが含まれるか否か、環境音データが含まれているか否かを判定する(S202)。ここで、発話イベント発生以降、入力音声データが供給されない、または、供給された入力音声データに環境音データが含まれていない場合(S201でNO、または、S202でNO)、発話制御部22および運転制御部23は、実施形態1と同様に、図5に示す発話制御処理のS102〜S111を実行する。なお、S202で、音声解析部21は、入力音声データにユーザ発話データが含まれていると判定した場合、ユーザ発話データに対して、音声認識処理を実行する(S203)。この場合、発話制御部22は、音声認識処理の結果に応じて家電2に発話させる内容を作成する。
(Flow of utterance control processing)
The flow of an utterance control process executed by the
一方、音声解析部21が、上記入力音声データに環境音データが含まれていると判断した場合には、音声解析部21は、上記環境音データにおける環境音の音量を特定し、該環境音データの供給元である家電2に関連付けて、当該音量を記憶する(S204)。そして、制御部10は、実施形態1と同様に発話制御処理のS102〜S108を実行する。
On the other hand, when the
その後、本実施形態では、運転制御部23は、S106またはS107にて決定された発話主体機器と同じ部屋にある家電2の環境音の音量を参照する。その部屋の環境音の音量が1つでも閾値以上であれば(S205でYES)、運転制御部23は、上記発話主体機器に対して、音量または音質、あるいは、その両方を、ユーザにより聞き取り易いように変更することを指示する(S206)。そして、制御部10は、残りの発話制御処理(S109〜S111)を実行する。なお、上記環境音の音量が閾値未満であれば(S205でNO)その部屋の環境音はうるさくないということを意味するので、制御部10は、S206を実行することなく、実施形態1と同様に残りの発話制御処理(S109〜S111)を実行すればよい。
After that, in the present embodiment, the
なお、S202にて、上記入力音声データにユーザ発話データおよび環境音データの両方が含まれる場合には、ユーザ発話データに関して、S203の処理が実行された上で、環境音データに関して、S204〜S206の処理が実行される。 In S202, if both the user utterance data and the environmental sound data are included in the input voice data, the processing of S203 is performed on the user utterance data, and then the processing of S204 to S206 is performed on the environmental sound data. Is performed.
上記の方法によれば、ユーザの居場所が推定され、発話主体機器が決定されると、その発話主体機器が配置されている(ユーザが居る)部屋の環境音の音量が計測される。該環境音の音量が所定値以上である場合、すなわち、その部屋がうるさい場合は、運転制御部23は、上記発話主体機器に対して、ユーザが発話をより聞き取り易くするために、自機の音声出力レベルを上げたり、音質を変えたり(高域音のレベルを上げたり)することを指示する。家電2は、運転制御部23からの指示にしたがって、音声または音質を変更した上で、発話制御部22から指示された発話を実行する。
According to the above method, when the user's location is estimated and the uttering main device is determined, the volume of the environmental sound in the room where the uttering main device is located (where the user is located) is measured. When the volume of the environmental sound is equal to or higher than a predetermined value, that is, when the room is noisy, the driving
これにより、部屋の環境音に起因する音声の聞き取り難さが解消され、発話内容をユーザが聞き取り易くなる。結果として、発話内容をより確実にユーザに伝達することが可能な発話システムを実現することができる。 As a result, the difficulty of hearing the sound caused by the ambient sound in the room is eliminated, and the user can easily hear the utterance contents. As a result, it is possible to realize an utterance system capable of more reliably transmitting utterance contents to a user.
〔実施形態3〕
本発明の他の実施形態について、図8に基づいて説明すれば、以下のとおりである。本実施形態では、発話内容の重要度に応じて、静音制御の程度を変更する。つまり、重要度が高い発話であるほど、それが出力されるときの各家電2の稼働音がより小さくなるように静音制御がなされる。
[Embodiment 3]
The following will describe another embodiment of the present invention with reference to FIG. In the present embodiment, the degree of silent control is changed according to the importance of the utterance content. In other words, silent control is performed such that the higher the importance of the utterance, the lower the operating sound of each
(クラウドサーバの構成)
本実施形態では、記憶部12に記憶されている発話データ31には、その内容の重要性に応じて重要度の付属情報が関連付けられている。重要な発話には、例えば、危険に対する警告、緊急性の高い通知などが想定されている。重要度の値は、任意に設定されればよく、本実施形態では、一例として、重要度が高い順に、重要度「高」、「中」、「低」が設定される。
(Cloud server configuration)
In the present embodiment, the
発話制御部22は、発生した発話イベントに応じて、発話データ31を用いて、家電2に発話させる出力音声データを作成する。発話制御部22は、用いた発話データ31に関連付けられている重要度を、作成した出力音声データの重要度として、運転制御部23に通知する。
The
運転制御部23は、出力音声データの重要度に応じて、各稼働機器に対する静音制御の度合いを決定する。例えば、重要度「高」の場合には、自走式掃除機が掃除中であっても掃除を停止させ、「中」以下の場合には、停止させないことが考えられる。あるいは、重要度「高」の場合には、エアコンの運転を停止させ、「中」の場合には、強運転、通常運転を弱運転に切り替えさせ、「低」の場合には、強運転を通常運転に切り替えさせることが考えられる。
The
(発話制御処理の流れ)
図8を参照しながら、実施形態3のクラウドサーバ1が実行する発話制御処理の流れを説明する。まず、クラウドサーバ1は、実施形態1と同様に、発話制御処理のうちS101〜S107を実行する。こうして、発話制御部22によって、出力音声データが作成され、発話主体機器が決定される。
(Flow of utterance control processing)
The flow of the speech control process executed by the
続いて、運転制御部23は、発話制御部22から通知された上記出力音声データの重要度に応じて、上述のとおり、稼働機器ごとに静音制御の度合いを決定する(S301)。そして、運転制御部23は、決定した静音制御の度合いに基づいて、残りの発話制御処理(S108〜S111)を実行する。なお、稼働機器につき、決定された度合いに基づいて静音制御するよりも、現在の運転のままの方が稼働音が小さい、あるいは、同等である場合には、運転制御部23は、その稼働機器に対して制御情報を送信することを省略してもよい。
Subsequently, the
上記の方法によれば、出力音声データが作成され、発話主体機器が決定されると、運転制御部23が、該出力音声データの重要度に応じて、発話主体機器と同じ部屋に配置されている稼働機器ごとに、静音制御の度合いをまず決定する。具体的には、重要度が高い発話がなされるほど、静音制御の度合いが大きくなるように(稼働音がより小さくなるように)静音制御の内容が決定される。
According to the above method, when the output voice data is created and the utterance main device is determined, the
これにより、発話主体機器が発話を実行するとき、その発話内容が重要であるほど、周囲の家電2は、より小さい稼働音で運転したり、あるいは、運転を停止したりする。したがって、ユーザは、発話内容の重要度(緊急度)が高いほど、その発話をより聞き取り易くなる。結果として、重要度の高い発話をユーザが聞き漏らすことを防ぐことが可能な発話システムを実現することができる。
Thus, when the utterance main device executes the utterance, the surrounding
〔実施形態4〕
本発明の他の実施形態について、図9に基づいて説明すれば、以下のとおりである。本実施形態では、人の耳がたいてい位置する高さ近くにスピーカ45が設置されている家電2を優先して発話主体機器を決定する。つまり、人の耳にできるだけ近い位置に設置されているスピーカ45から発話が出力されるように制御して、発話をより聞き取り易くする。
[Embodiment 4]
The following will describe another embodiment of the present invention with reference to FIG. In the present embodiment, the utterance subject device is determined by giving priority to the
(クラウドサーバおよび家電の構成)
本実施形態では、記憶部12に記憶されている機器情報30において、基本情報としての「スピーカ位置」の項目と、センシング情報としての「変位センサ」の項目とは必須で含まれている。
(Configuration of cloud server and home appliances)
In the present embodiment, in the
したがって、本実施形態の家電2は、センサ43として変位センサを備え、自機の本体が部屋の床面からどの高さに位置しているのかを状況レポートとしてクラウドサーバ1に報告する構成である。
Therefore, the
発話制御部22は、非稼働機器であれ、稼働機器であれ、発話主体機器の候補が複数ある場合には、スピーカ45の部屋の床面からの高さ(以下、設置高度)が、人の耳にできるだけ近い高さ(例えば、100〜170cm)である家電2を優先的に発話主体機器として決定する。本実施形態では、一例として、発話制御部22は、まず実施形態1と同様に、非稼働機器を稼働機器よりも優先し、候補が複数である場合には、スピーカ45の設置高度が100〜170cmの範囲にある家電2を優先して発話主体機器を決定する。スピーカ45の設置高度は、センシング情報の「変位センサ」の項目に示される、家電2の本体底面の床からの高さに、基本情報の「スピーカ位置」の項目に示される、家電2の本体底面からのスピーカ45の高さを加算することで求められる。
The
なお、優先させる設置高度の範囲を、100〜170cmとしたが、上記の範囲の例は、成人の平均的な身長と、この部屋でユーザが、主に座位、立位で過ごすこことを考慮したものである。設置高度の範囲は、上記には限定されず、部屋の住人の身長や生活スタイルなどに合わせて、任意の数値を設定することができる。 The range of the setting altitude to be prioritized was set to 100 to 170 cm. However, the example of the above range takes into consideration the average height of an adult and the place where the user spends mainly sitting and standing in this room. It was done. The range of the installation altitude is not limited to the above, and an arbitrary numerical value can be set in accordance with the height and lifestyle of the resident of the room.
(発話制御処理の流れ)
図9を参照しながら、実施形態4のクラウドサーバ1が実行する発話制御処理の流れを説明する。まず、クラウドサーバ1は、実施形態1と同様に、発話制御処理のうちS101〜S104を実行する。続いて、発話制御部22は、S104にて機器情報30から取得した稼働状況を参照し、ユーザが居ると推定される部屋に非稼働機器があれば(S105でYES)、その非稼働機器を発話主体機器として決定する。ここで、非稼働機器が複数ある場合、複数の非稼働機器のうち、スピーカ45の設置高度が100〜170cmの範囲である非稼働機器を発話主体機器として決定する(S401)。なお、非稼働機器が1台しかない場合には、発話制御部22は、S401を省略して、実施形態1と同様に、その1台を発話主体機器として決定する(S106)。一方、上記部屋に非稼働機器がなければ(S105でNO)、上記部屋の稼働機器のうち、スピーカ45の設置高度が100〜170cmの範囲である稼働機器を発話主体機器として決定する(S402)。
(Flow of utterance control processing)
The flow of the speech control process executed by the
図示しないが、S401またはS402にて発話主体機器を1台に絞れない場合(スピーカ45の設置高度が100〜170cmの範囲にある家電2がない、または、複数ある場合)も想定される。この場合、発話制御部22は、スピーカ45の設置高度が135cmに最も近い家電2を発話主体機器として決定してもよい。
Although not shown, it is also assumed that in S401 or S402, the number of speaking main devices cannot be reduced to one (the case where there is no or a plurality of
以上のようにして発話制御部22によって発話主体機器が決定されると、発話制御部22および運転制御部23は、実施形態1と同様に残りの発話制御処理(S108〜S111)を実行する。
When the utterance main device is determined by the
上記の方法によれば、天井または床面近くなど、ユーザが聞き取り難い高さに設置されているスピーカ45を持つ家電2の優先度が下がり、ユーザの耳の高さあたりにスピーカ45が設定されている家電2が優先的に発話主体機器として決定される。これにより、ユーザは、発話内容をより聞き取り易くなり、結果として、ユーザに発話内容をより確実に伝達することが可能な発話システムを実現することができる。
According to the above method, the priority of the
なお、上述の実施形態では、発話制御部22は、稼働機器よりも非稼働機器を優先することを重視する構成であるが、発話制御部22は、稼働機器か非稼働機器かを問わずに、まず、スピーカ45の設置高度が100〜170cmの範囲にある家電2を優先させる、あるいは、スピーカ45の設置高度が135cmに最も近い家電2を発話主体機器として決定する構成であってもよい。
In the above-described embodiment, the
〔実施形態5〕
本発明の他の実施形態について、図10に基づいて説明すれば、以下のとおりである。本実施形態では、遮音物に囲まれていない、開けた空間に位置する家電2の優先度を上げる。これにより、遮音物に囲まれた場所にある家電2が発話主体機器として決定され、発話したが、音がこもってユーザの耳に届きにくいという不都合を解消する。
[Embodiment 5]
The following will describe another embodiment of the present invention with reference to FIG. In the present embodiment, the priority of the
(クラウドサーバおよび家電の構成)
本実施形態では、クラウドサーバ1の記憶部12に記憶されている音環境情報32(図6)において、「環境音レベル」の項目は必須ではないが、「残響音」の項目は必須である。「残響音」の項目には、残響音が、テスト音声出力時点から所定時間経過までに所定の割合まで減衰したか否かを示す情報が格納される。
(Configuration of cloud server and home appliances)
In the present embodiment, in the sound environment information 32 (FIG. 6) stored in the
本実施形態では、運転制御部23は、ユーザ宅の各家電2に対して、定期的に(例えば、1日1回、あるいは、自走式掃除機など位置が頻繁に変化する家電2に対しては、1時間に1回)、残響音を出力することを指示する制御情報を送信する。
In the present embodiment, the
家電2は、上記制御情報にしたがって、スピーカ45からテスト音声を出力し、マイク44から所定の期間、そのときの残響音を取得する。レポート生成部50は、マイク44から取得した残響音を録音しその残響音データを状況レポートとしてクラウドサーバ1に返信する。
The
クラウドサーバ1の音声解析部21は、上記残響音データを家電2から取得すると、テスト音声出力時点から所定時間経過までに所定の割合で上記テスト音声の残響音を含む音量が減衰したか否かを判定する。残響音が、テスト音声出力時点から所定時間経過までに所定の割合まで減衰しなかった場合(すなわち、家電2が広い空間にある場合)、音声解析部21は、そのことを示す「1」の値を、上記残響音データの送信元である家電2に関連付けて、「残響音」の項目に格納する。一方、上記残響音が、テスト音声出力時点から所定時間経過までに所定の割合まで減衰した場合(すなわち、家電2が遮音物に囲まれている場合)、音声解析部21は、そのことを示す「0」の値を「残響音」の項目に格納する。
Upon acquiring the reverberation sound data from the
発話制御部22は、発話主体機器を決定するときに、「残響音」の項目が「0」の値である家電2の優先度を下げる。「残響音」の項目が「0」であるということは、その家電2から出力された音声の残響音がすぐ小さくなって消えたということであり、該家電2が狭い空間にある(遮音物に囲まれている)ことを意味する。したがって、このような人が聞き取り難い場所にある家電2が、発話主体機器として選ばれないように、これらの家電2の優先度を下げる。
When determining the utterance subject device, the
(発話制御処理の流れ)
図10を参照しながら、実施形態5のクラウドサーバ1が実行する発話制御処理の流れを説明する。まず、クラウドサーバ1は、実施形態1と同様に、発話制御処理のうちS101〜S104を実行する。続いて、発話制御部22は、S104にて機器情報30から取得した稼働状況を参照し、ユーザが居ると推定される部屋に非稼働機器があれば(S105でYES)、その非稼働機器を発話主体機器として決定する。ここで、非稼働機器が複数ある場合、複数の非稼働機器のうち、音環境情報32の「残響音」の項目が、「1(=残響音レベルが低くなく、広い空間にある)」である非稼働機器を発話主体機器として決定する(S501)。なお、非稼働機器が1台しかない場合には、発話制御部22は、S501を省略して、実施形態1と同様に、その1台を発話主体機器として決定する(S106)。一方、上記部屋に非稼働機器がなければ(S105でNO)、上記部屋の稼働機器のうち、「残響音」の項目が「1」である稼働機器を発話主体機器として決定する(S502)。
(Flow of utterance control processing)
The flow of the speech control process executed by the
図示しないが、S501またはS502にて発話主体機器を1台に絞れない場合(「残響音」の項目が「1」である家電2がない、または、複数ある場合)も想定される。この場合、発話制御部22は、音声解析部21に解析結果と問い合わせて、残響音の減衰の割合が最も小さい(残響音が最も長く残った)家電2を特定し、これを発話主体機器として決定してもよい。
Although not shown, a case where it is not possible to narrow down the number of utterance subject devices to one in S501 or S502 (a case where there is no
以上のようにして発話制御部22によって発話主体機器が決定されると、発話制御部22および運転制御部23は、実施形態1と同様に残りの発話制御処理(S108〜S111)を実行する。
When the utterance main device is determined by the
上記の方法によれば、ソファの下に設置されていたり、家具や壁などに囲まれているなど、ユーザが聞き取り難い場所に配置されている家電2の優先度が下がり、近くい遮音物がなく広い空間に配置されている家電2が優先的に発話主体機器として決定される。これにより、ユーザは、発話内容をより聞き取り易くなり、結果として、ユーザに発話内容をより確実に伝達することが可能な発話システムを実現することができる。
According to the above method, the priority of the
なお、上述の実施形態では、発話制御部22は、稼働機器よりも非稼働機器を優先することを重視する構成であるが、発話制御部22は、稼働機器か非稼働機器かを問わずに、まず、「残響音」の項目が「1」である家電2を優先させる、あるいは、残響音が最も長く残った家電2を発話主体機器として決定する構成であってもよい。
In the above-described embodiment, the
あるいは、家電2は、センサ43として赤外線センサを備え、自機が遮音物に囲まれていることを検知し、その旨を状況レポートとしてクラウドサーバ1に送信する構成であってもよい。この場合、情報管理部20が、上記状況レポートを受信し、音声解析部21に代わって、音環境情報32の「残響音」の項目を「0」に更新する。
Alternatively, the
〔実施形態6〕
本発明の他の実施形態について、図11に基づいて説明すれば、以下のとおりである。本実施形態では、発話主体機器が自機の位置を移動させることが可能な自走式機器である場合に、該発話主体機器を、ユーザがより聞き取り易い位置に移動するように制御する。
[Embodiment 6]
Another embodiment of the present invention is described below with reference to FIG. In the present embodiment, when the main utterance device is a self-propelled device capable of moving its own position, the main utterance device is controlled to move to a position where the user can more easily hear.
本実施形態では、運転制御部23は、発話制御部22によって決定された発話主体機器が自走式機器(例えば、自走式掃除機)である場合に、該自走式機器の位置が、聞き手にとって音声を聞き取り難い位置であるか否かを確認する。自走式機器の現在位置が、聞き手にとって音声を聞き取り難い位置である場合に、運転制御部23は、聞き取り易い位置まで移動するように、該自走式機器を制御する。自走式機器が、聞き手にとって音声を聞き取り難い位置にある状態とは、すなわち、自走式機器が、所定面積以上の物体(音を遮る可能性がある物体)に、所定距離未満まで近づいている状態を指す。運転制御部23は、所定面積以上の物体(壁、家具、カーテンなど)が、自走式機器の所定距離未満に存在する場合に、その物体から所定距離以上離れてから発話を実行するように、該自走式機器に対して指示を送る。
In the present embodiment, when the utterance main device determined by the
運転制御部23は、家電2が自走式機器であるか否かを、機器情報30の基本情報に基づいて判断する。運転制御部23は、上記の判断を、機器種別の項目に基づいて行ってもよいし、自走式機器であるか否かを示すフラグを格納する項目をさらに機器情報30に設けて、該フラグに基づいて行ってもよい。
The
運転制御部23は、実施形態5に説明した構成に基づいて、自走式掃除機が音声を聞き取り難い位置にあるか否かを判断してもよい。すなわち、自走式掃除機の「残響音」の項目が「0」である場合に、自走式掃除機が音声を聞き取り難い位置にあると判断する。あるいは、運転制御部23は、機器情報30の「稼働状況」の項目と、図4に示す機器配置マップ33とに基づいて、自走式掃除機が音声を聞き取り難い位置にあるか否かを判断してもよい。すなわち、自走式掃除機の稼働状況が「充電中」であることと、機器配置マップ33において自走式掃除機の充電台の位置がソファの下にあることとに基づいて、運転制御部23は、自走式掃除機が現在ソファの下にあって、音声を聞き取り難い位置にあると判断してもよい。あるいは、運転制御部23は、同じ部屋の他の家電2の「照度センサ」の項目が「1(明るい)」であるにも関わらず、自走式掃除機の「照度センサ」の項目が「0(暗い)」である場合に、自走式掃除機が遮蔽物に囲まれていて、音声を聞き取り難い位置にあると判断してもよい。
The
(発話制御処理の流れ)
図11を参照しながら、実施形態6のクラウドサーバ1が実行する発話制御処理の流れを説明する。まず、クラウドサーバ1は、実施形態1と同様に、発話制御処理のうちS101〜S107を実行する。こうして、発話制御部22によって、出力音声データが作成され、発話主体機器が決定される。例えば、ユーザがリビングにいると推定され、リングに配置されているテレビ(ON/音量30)、エアコン(ON/強)および自走式掃除機(OFF/充電中)のうち、自走式掃除機が発話主体機器として決定されたとする。
(Flow of utterance control processing)
The flow of the speech control process executed by the
運転制御部23は、決定された発話主体機器が、自走式の家電2であるか否かを判定する(S601)。発話主体機器が自走式機器である場合(S601でYES)、次に、運転制御部23は、該自走式機器が、音声を聞き取り難い位置にあるか否かを判定する(S602)。
The
運転制御部23は、自走式機器が、聞き取り難い位置にあると判定した場合(S602でYES)、上記自走式機器が、聞き取り易い位置まで移動するように、該自走式機器を制御する(S603)。例えば、運転制御部23は、上記自走式掃除機がソファの下にあって、音声を聞き取り難い位置にあると判定した場合には、自走式掃除機に対して、ソファの下から出るように指示する制御情報を送信する。
If the
その後、発話制御部22および運転制御部23は、残りの発話制御処理(S108〜S111)を実行する。なお、発話主体機器が自走式機器ではない(S601でNO)、または、発話主体機器である自走式機器が、音声を聞き取り難い位置にはいない(S602でNO)と判定した場合には、運転制御部23によるS603の実行は省略される。
Thereafter, the
上記の方法によれば、出力音声データが作成され、発話主体機器が決定されると、運転制御部23は、発話主体機器を以下のように制御する。すなわち、上記発話主体機器が自走式機器であって、該自走式機器が、音声を聞き取り難いに位置にある場合に、運転制御部23は、該自走式機器を、音声を聞き取り易い位置に移動させてから発話させる。
According to the above method, when the output voice data is created and the utterance main device is determined, the
これにより、発話主体機器が発話を実行するときには、該発話主体機器は、音声を聞き取り難い位置から聞き取り易い位置へと移動を完了している。したがって、ユーザは、聞き取り易い位置から音声出力された発話内容を聞き取ることができる。結果として、音声の聞き取り難さを解消し、ユーザに発話内容をより確実に伝達することが可能な発話システムを実現することができる。 Thus, when the main utterance device executes the utterance, the main utterance device has completed the movement from the position where it is difficult to hear the voice to the position where it is easy to hear the voice. Therefore, the user can hear the utterance content output as voice from a position that is easy to hear. As a result, it is possible to realize an utterance system capable of eliminating the difficulty of hearing the voice and more reliably transmitting the utterance content to the user.
〔実施形態7〕
本発明の他の実施形態について、図12〜図14に基づいて説明すれば、以下のとおりである。本実施形態では、ユーザ宅の部屋に配置されている家電2に代えて、あるいは、加えて、ユーザによって携帯される、どの部屋にも属さない携帯型電子機器を発話主体機器として決定する。
[Embodiment 7]
Another embodiment of the present invention will be described below with reference to FIGS. In the present embodiment, a portable electronic device that does not belong to any room and is carried by the user instead of or in addition to the
(通信端末およびクラウドサーバの構成)
本実施形態では、携帯型機器は、例えば、スマートフォンなどで実現される通信端末3である。通信端末3は、通信端末としての基本的な機能に加えて、上述の各実施形態における家電2と同様の機能的構成(図1に示す)を有し、稼働ログまたはセンシング情報を少なくとも含む状況レポートを、クラウドサーバ1に送信する。また、クラウドサーバ1から送信された制御情報にしたがって発話を実行する機能を有する。
(Composition of communication terminal and cloud server)
In the present embodiment, the portable device is, for example, the
本実施形態では、クラウドサーバ1の記憶部12には、さらに、通信端末3の機器情報30が記憶されている。通信端末3の機器情報30は、ユーザ宅に配置されている他の家電2と同じテーブルで管理されてもよいし、図12に示すとおり、他の家電2とは別のテーブルで管理されてもよい。同テーブルにて管理される場合には、通信端末3が、他の家電2とは異なり、どの部屋にも属さない携帯型機器であるということを、制御部10の各部が判断できる情報が付加されていることが好ましい。例えば、制御部10は、「スピーカ位置」および「配置場所」の項目が「なし」である機器を、携帯型機器であると判断してもよいし、機器種別が「スマートフォン」、「携帯電話」、「タブレット端末」などである機器を、携帯型機器であると判断してもよい。
In the present embodiment, the
本実施形態では、図12に示すとおり、通信端末3の機器情報30は、他の家電2の機器情報30と同様に、基本情報、状態情報およびセンシング情報とを含む。通信端末3の機器情報30において、他の家電2と異なる点は、配置場所がユーザ宅のどの部屋とも関連付けられていない点である。
In the present embodiment, as shown in FIG. 12, the
発話制御部22は、状況に応じて、機器情報30にて管理されている上記携帯型機器を発話主体機器として決定することができる。本実施形態では、第1の例として、発話制御部22は、ユーザがどの部屋にもいないと推定された場合に、携帯型機器を発話主体機器として決定する。また、第2の例として、発話制御部22は、まず、上述の各実施形態と同様に、部屋に配置されたいずれかの家電2を発話主体機器として決定し、これに加えて、上記携帯型機器を発話主体機器として決定する。
The
(発話制御処理の流れ−(1))
図13を参照しながら、実施形態7のクラウドサーバ1が実行する、上記第1の例に係る発話制御処理の流れを説明する。まず、クラウドサーバ1は、実施形態1と同様に、発話制御処理のうちS101〜S103を実行する。続いて、S103にて、発話制御部22がユーザの居場所がいずれかの部屋であると推定できた場合(S701でYES)、実施形態1と同様に、制御部10は、残りの発話制御処理を実行する(S104〜S111)。一方、発話制御部22が、S103にて、ユーザの居場所を特定できなった場合、すなわち、家電2が配置されているどの部屋にもユーザはいないと推定された場合(S701でNO)、発話制御部22は、機器情報30を参照して、携帯型機器(通信端末3)を発話主体機器として決定する(S702)。運転制御部23は、決定された通信端末3に対して、出力音声データおよび該データに基づく発話を行うように指示する制御情報を送信する(S703)。上記出力音声データおよび制御情報を受信した通信端末3は、運転制御部23の指示通りに発話を実行する。
(Flow of utterance control processing-(1))
The flow of the utterance control process according to the first example, which is executed by the
上記の方法によれば、ユーザがどの部屋にもいないと推定された場合に、発話制御部22は、通信端末3を発話主体機器として決定する。これにより、ユーザが不在であっても、ユーザが携帯している通信端末3から発話される。したがって、部屋に配置されている家電2が発話しても、ユーザがいないために発話内容がユーザに伝達されないという不都合が解消される。
According to the above method, when it is estimated that the user is not in any room, the
なお、ユーザがどの部屋にもいないと推定されるケースとしては、ユーザが外出しているケース(ユーザ宅のどこにもいない)、ユーザはユーザ宅のどこかには居るが、クラウドサーバ1が管理している家電2が1台も配置されていない部屋、または、センサ43によって検知できない場所(例えば、図4のベランダ、部屋1〜3、廊下など)にいるケースが考えられる。このようなケースにおいて、ユーザが携帯する通信端末3に発話させることで、発話内容をより確実にユーザに伝達することが可能となる。
The case where the user is assumed not to be in any room is the case where the user is out (nowhere in the user's house), the user is somewhere in the user's house, but managed by the
(発話制御処理の流れ−(2))
図14を参照しながら、実施形態7のクラウドサーバ1が実行する、上記第2の例に係る発話制御処理の流れを説明する。まず、クラウドサーバ1は、実施形態1と同様に、発話制御処理のうちS101〜S103を実行する。続いて、発話制御部22が、S103にて、ユーザの居場所がいずれかの部屋であると推定できた場合(S701でYES)、実施形態1と同様に、制御部10は、まず、S104〜S110の発話制御処理を実行し、次に、S111に先行して、S711およびS712の処理を実行する。すなわち、S110にて部屋の家電2による発話が完了した後、S108にてなされた静音制御が解除される前に、発話制御部22が、通信端末3を発話主体機器として決定し(S711)、運転制御部23が通信端末3に同じ内容の発話を実行させる(S712)。一方、発話制御部22は、S103にて、ユーザの居場所を特定できなった場合(S701でNO)、第1の例と同様に、S702およびS703の処理を実行する。
(Flow of utterance control process-(2))
The flow of the utterance control process according to the second example, which is executed by the
上記の方法によれば、ユーザがいずれかの部屋にいると推定された場合にも、その部屋の家電2が、静音制御中に発話を実行した後、当該静音制御が解除される前に、通信端末3からも同じ発話が実行される。これにより、ユーザが不在時に、ユーザが携帯している通信端末3から発話されることに加えて、ユーザが部屋にいる場合、部屋の家電2と通信端末3との両方から同じ内容が続けて発話される。したがって、ユーザは、部屋に配置されている家電2による発話を万一聞き取れなかったとしても、もう一度、通信端末3から同じ発話を聞き取ることができる。したがって、発話内容をより確実にユーザに伝達することが可能な発話システムを実現することができる。
According to the above method, even when the user is estimated to be in any room, after the
なお、上述の各例において、通信端末3を不携帯の状態でユーザが不在にしているケースも想定される(例えば、ユーザが通信端末3をリビングに置きっぱなしで、ベランダで洗濯物を干しているなど)。このようなケースにおいても、発話内容をユーザに確実に伝達するために、通信端末3およびクラウドサーバ1は以下のように構成されてもよい。
In each of the above-described examples, it is assumed that the
通信端末3は、一定期間以上センサ43(加速度センサ)が動きを検知しない、操作部42がユーザ操作を検知しない、マイク44がユーザの音声入力を検知しない、または、充電中であるときに、クラウドサーバ1の運転制御部23から発話の実行を指示する制御情報を受信した場合には、発話を実行することに加えて、その発話に係る出力音声データを消去せずに保存しておく。そして、操作部42、センサ43またはマイク44などの各種センサが、ユーザが通信端末3を使用している状態を検知したときに、通信端末3の音声制御部51が、保存しておいた出力音声データをスピーカ45から出力して再度同じ発話を実行する。上記の構成によれば、通信端末3不携帯でユーザが不在にしている間に発話がなされた場合でも、ユーザが通信端末3を使用するタイミングで再び発話が実行されるので、発話内容をより確実にユーザに伝達することができる。
When the sensor 43 (acceleration sensor) does not detect the movement for a certain period or more, the
〔実施形態8〕
本発明の他の実施形態について、図15に基づいて説明すれば、以下のとおりである。本実施形態では、ユーザの発話を音声認識するときに、ユーザ発話データを取得する家電2と同じ部屋に配置されている稼働機器を静音制御して、音声認識精度の向上を図る。
[Embodiment 8]
The following will describe another embodiment of the present invention with reference to FIG. In the present embodiment, when speech recognition of a user's utterance is performed, silent operation control is performed on an operating device disposed in the same room as the
(家電およびクラウドサーバの構成)
本実施形態では、家電2において、マイク44がユーザの発話に係る音声を検知した場合、レポート生成部50が、音声入力が開始された旨を示す状況レポートを生成してクラウドサーバ1に送信する。音声制御部51は、ユーザの音声入力が終わると、該音声を録音した入力音声データをクラウドサーバ1に送信する。その後、レポート生成部50は、音声入力が完了した旨を示す状況レポートを生成する。
(Configuration of home appliances and cloud server)
In the present embodiment, when the
クラウドサーバ1の情報管理部20は、送信元の家電2(すなわち、ユーザが音声を入力した家電2、以下、音声入力機器)の機器情報30を、上記状況レポートの内容にしたがって更新する。具体的には、センシング情報の「音声入力」の項目を「0」から「1」に更新する。
The
運転制御部23は、上述のように「音声入力」の項目が「1(=音声入力あり)」に更新された音声入力機器の配置場所と同じ配置場所にある他の家電2のうち、機器情報30の稼働状況を参照して、稼働中の家電2を特定する。そして、特定した各稼働機器に対して、静音制御を実行する。運転制御部23は、上記音声入力機器が音声を入力している間、各稼働機器が静音運転を継続するように、各稼働機器を制御する。なお、運転制御部23は、上記音声入力機器が稼働中であれば、当該音声入力機器に対しても静音制御を実施することができる。
As described above, the
さらに、運転制御部23は、上記音声入力機器が音声入力を完了させたとしても、当該音声入力をトリガとして、すぐさま(例えば、30秒以内に)発話イベントが発生する場合には、当該発話イベントに応じていずれかの家電2が発話を完了させるまで、各家電2の静音制御を継続することが好ましい。これにより、家電2とユーザとの間で対話が継続している間、その部屋の各家電2の静音運転が維持される。したがって、発話システム100において、ユーザの発話を受け付ける工程においては、ノイズ(家電2の稼働音)が少ないユーザ発話データが取得されるので、音声認識精度が向上する一方、ユーザに対して家電2が発話する工程においては、部屋の稼働音が小さい環境下で、家電2による発話が実行されるので、ユーザが家電2の発話を聞き取り易くなる。
Furthermore, even if the voice input device completes the voice input, the
(対話制御処理の流れ)
図15を参照しながら、実施形態8のクラウドサーバ1が実行する、対話制御処理の流れを説明する。まず、クラウドサーバ1は、家電2から、ユーザの音声入力を開始した旨の状況レポートを受信する(S801)。こうして、クラウドサーバ1がユーザ宅の家電2が音声入力を開始したことを認識すると(S801でYES)、運転制御部23は、機器情報30を参照し、その家電2(音声入力機器)と同じ部屋の稼働機器を特定する(S802)。そして、運転制御部23は、特定した各稼働機器に対して静音制御する。すなわち、静音運転するように指示する制御情報を各稼働機器に送信する。
(Flow of dialogue control processing)
With reference to FIG. 15, the flow of the dialogue control process executed by the
クラウドサーバ1が、上記音声入力機器から、音声入力が完了した旨の状況レポートを受信すると(S804でYES)、音声解析部21が、該音声入力機器から取得された入力音声データを解析する。そして、発話制御部22は、入力音声データの解析結果に応じて、ユーザに対して家電2が発話すべきことがあれば(S805でYES)、その内容を含む出力音声データを作成する。続いて、発話制御部22が、上記出力音声データを出力する発話主体機器を、上述の各実施形態に示す方法に基づき決定し、運転制御部23が決定された発話主体機器に対して、発話を実行するように制御する(S806)。
When the
S805において発話イベントが発生しない場合(S805でNO)、または、S806における発話が完了した場合(S807でYES)、運転制御部23は、S803で実行した静音制御を解除する。すなわち、運転制御部23は、静音運転前の運転に復帰するように、静音運転解除指示を含む制御情報を、各稼働機器に対して送信する。
When no utterance event occurs in S805 (NO in S805) or when the utterance in S806 is completed (YES in S807), the
上記の方法によれば、ある部屋である家電2がユーザの発話音声を取得している間、その部屋に配置されている家電2が稼働していれば、クラウドサーバ1は、それらの稼働音がより小さくなるように運転を変更するように、各稼働機器を制御する。したがって、発話システム100において、ユーザの発話を受け付ける間、その部屋のノイズ(家電2の稼働音)が少ないユーザ発話データが取得されるので、音声解析部21における音声認識精度が向上する。
According to the above method, while the
〔変形例〕
上述の各実施形態では、本発明の音声システムを、発話システム、すなわち、発話イベントの発生に応じて家電2が発話に係る出力音声データを出力するシステムに適用した例を示した。しかし、本発明の音声システムの適用例は、発話システムに限定されない。
(Modification)
In each of the above-described embodiments, an example is described in which the audio system of the present invention is applied to an utterance system, that is, a system in which the
本発明の音声システムは、発話メッセージのみならず、音楽、BGM、効果音、警報、アラーム、歌声など、音声全般を音声出力機器に出力させるシステムに広く適用可能である。 INDUSTRIAL APPLICABILITY The audio system of the present invention is widely applicable to a system that outputs not only an utterance message but also music, BGM, sound effects, alarms, alarms, singing voices and the like to an audio output device.
上述の各実施形態では、クラウドサーバ1は、ユーザの所在を、図3に示す機器情報30の、各種センシング情報に基づいて推定した。しかし、これらの例に限定されない。例えば、クラウドサーバ1は、家電2に備えられたサーモグラフィによって、人形状の36.5℃前後の温度分布が得られた場合に、ユーザが居ると推定してもよい。あるいは、家電2に備えらえた赤外線受光部が、操作されたリモコンの出力赤外線を検知した場合に、ユーザが居ると推定してもよい。あるいは、クラウドサーバ1は、通信端末3としてのスマートフォンの、Wi−Fi(登録商標)のペアリング情報に基づいて、ユーザの所在を推定してもよい。
In each of the above embodiments, the
上述の各実施形態において、発話主体機器の候補が1台に絞れない場合(例えば、実施形態1において、非稼働機器が複数ある場合など)には、発話制御部22は、以下の条件にしたがって、発話主体機器を決定してもよい。
In each of the above embodiments, when the number of candidates for the utterance subject device cannot be reduced to one (for example, when there are a plurality of non-operating devices in the first embodiment), the
発話の実行を優先する家電2を、予めユーザに選択させて、その情報を機器情報30に記憶しておく。発話制御部22は、発話主体機器の候補のうち、ユーザが選択してあった優先機器を発話主体機器として決定する。
The user selects in advance the
各家電2のスピーカ45の最大出力音量の値を、機器情報30に記憶しておく。発話制御部22は、発話主体機器の候補のうち、スピーカ45の最大出力音量の値が最大のものを発話主体機器として決定する。
The value of the maximum output volume of the
家電2のレポート生成部50は、人感センサが、人を検知したか否か2値の情報に加えて、該人感センサが取得したセンサ値を状況レポートとしてクラウドサーバ1に供給する。発話制御部22は、発話主体機器の候補のうち、各家電2の人感センサが取得したセンサ値が最も高い(すなわち、家電2と人との距離が最も近い)家電2を発話主体機器として決定する。
The
クラウドサーバ1の情報管理部20は、ユーザがいる部屋のすべての家電2から、マイク44が取得する環境音の音量値を取得する。そして、発話制御部22は、マイク44によって拾われた環境音の音量値が最小の家電2を発話主体機器として決定する。
The
各実施形態において、発話主体機器も含めてユーザが居る部屋のすべての家電2が稼働機器である場合が考えられる。そこで、運転制御部23は、発話主体機器である稼働機器に対しては、静音制御の度合いを最も強くし、非発話機器であるその他の稼働機器に対しては、静音制御の度合いを比較的弱くしてもよい。
In each embodiment, it is conceivable that all the
実施形態1〜7において、家電2が発話完了後、この発話に対してユーザが応答するなどして対話が継続することが想定される。そこで、家電2の発話が完了した後、所定時間(例えば、1分)静音制御を継続し、所定時間経過するまで、発話イベントが何も発生しない(ユーザがしゃべらない)場合に、静音制御を解除する、という構成が望ましい。これにより、家電2の発話をきっかけにしてユーザとの対話が継続している間、その部屋の各家電の静音運転が維持される。結果として、良好な音環境下でユーザは家電2との対話を行うことができる。
In the first to seventh embodiments, it is assumed that after the
実施形態3では、クラウドサーバ1は、家電2に出力させる発話の重要度に応じて、稼働機器に対する静音制御の度合いを変化させる構成である。ここで、クラウドサーバ1は、稼働音の音量が閾値以上の稼働機器に対して静音制御を実施してもよい。さらに、上記閾値は、発話の重要度が高くなるにつれて、低くなる(条件が厳しくなる)ように設定されることが好ましい。これにより、発話の重要度が高いほど、部屋で鳴る稼働音が小さくなるように、クラウドサーバ1によって各家電2が制御される。なお、クラウドサーバ1は、各稼働機器の稼働音の音量値を、各稼働機器から状況レポートとして受信してもよい。あるいは、クラウドサーバ1は、各家電2の運転の種類と、そのときの稼働音の音量値との対応表をあらかじめ記憶しておき、稼働機器の稼働状況に応じて上記対応表から、各稼働機器の稼働音の音量値を推定してもよい。
In the third embodiment, the
実施形態7では、発話システム100において、通信端末3を発話主体機器として機能させる例について説明した。これに対し、通信端末3を実施形態8の音声入力機器として機能させることも可能である。例えば、図4に示すユーザ宅において、ユーザが、ソファに座っているときに、テレビの横に立てかけてある人型ロボットに対して話しかけたいとする。しかし、ユーザが座っているソファのところから人型ロボットが立っているテレビのところまでは少し距離があり、テレビもエアコンも稼働音が大きい。このような場合、本変形例においては、ユーザは、人型ロボットに対する発話を、そのまま、手元の通信端末3に対して行えばよい。通信端末3は、実施形態8の家電2と同様に、音声入力を開始した旨の状況レポートをクラウドサーバ1に送信する。この場合、クラウドサーバ1の運転制御部23は、ユーザ宅の各家電2のセンシング情報に基づいてユーザの居場所を推定し、ユーザが居る部屋に配置されている家電2のうちの稼働機器に対して静音制御を実行することができる。
In the seventh embodiment, the example in which the
〔ソフトウェアによる実現例〕
クラウドサーバ1の制御ブロック(特に、情報管理部20、音声解析部21、発話制御部22および運転制御部23)、ならびに、家電2の制御ブロック(特に、レポート生成部50、音声制御部51および機能制御部52)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
[Example of software implementation]
The control blocks of the cloud server 1 (in particular, the
後者の場合、クラウドサーバ1および家電2は、それぞれ、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In the latter case, the
〔まとめ〕
本発明の態様1に係る音声出力制御装置(クラウドサーバ1)は、音声出力機能を有する複数の電子機器(家電2)を制御する音声出力制御装置であって、上記電子機器から通知される、該電子機器の状況を示す状況情報(状況レポート)に基づいて、音声(発話)を出力する音声出力機器(発話主体機器)を上記複数の電子機器の中から決定する出力機器決定部(発話制御部22)と、少なくとも決定された上記音声出力機器が音声を出力する間、稼働音が抑制された静音運転を実行するように、各電子機器に対して指示する運転制御部(23)とを備えている。
[Summary]
An audio output control device (cloud server 1) according to
上記の構成によれば、出力機器決定部は、複数の電子機器のそれぞれから通知された状況情報に基づいて、各電子機器の状況を把握する。そして、各電子機器の状況に基づいて、これらの電子機器の中から、音声出力機器を決定する。そして、運転制御部は、各電子機器に対して稼働音が抑制された静音運転を実行するように指示する。この指示にしたがって、各電子機器は、上記音声出力機器が音声を出力する間、静音運転を実行する。よって、少なくとも、音声が出力されている間の各電子機器の稼働音は、上記音声出力機器が音声を出力する前よりも小さくなる。 According to the above configuration, the output device determination unit grasps the status of each electronic device based on the status information notified from each of the plurality of electronic devices. Then, an audio output device is determined from these electronic devices based on the status of each electronic device. Then, the operation control unit instructs each electronic device to execute the silent operation in which the operation sound is suppressed. In accordance with this instruction, each electronic device executes a silent operation while the audio output device outputs audio. Therefore, at least the operation sound of each electronic device while the sound is being output is lower than before the sound output device outputs the sound.
これにより、ユーザは、電子機器の稼働音が抑えられてこれまでよりも静かになった状況下で、電子機器から出力される音声を聞くことができる。したがって、電子機器が音声を出力してもその周囲でそれ以外の音が鳴っているために、ユーザが当該音声を聞き取り難いといった不都合を解消することができる。結果として、音声をより確実にユーザに伝達することが可能となる。 Thus, the user can hear the sound output from the electronic device in a situation where the operation sound of the electronic device is suppressed and the electronic device becomes quieter than before. Therefore, even when the electronic device outputs sound, other sounds are sounding around the electronic device, so that it is possible to solve a problem that the user is difficult to hear the sound. As a result, the voice can be more reliably transmitted to the user.
本発明の態様2に係る音声出力制御装置では、上記態様1において、上記状況情報には、通知元の電子機器が稼働しているか否かを示す稼働状況情報(稼働ログ、項目「稼働状況」)が含まれており、上記出力機器決定部は、上記稼働状況情報において非稼働または稼働音が小さい稼働状況であることが示されている電子機器を音声出力機器として決定してもよい。 In the audio output control device according to the second aspect of the present invention, in the first aspect, the status information includes operating status information (operating log, item “operating status”) indicating whether the electronic device of the notification source is operating. ) May be included, and the output device determination unit may determine, as the audio output device, an electronic device in which the operating status information indicates that the operating status is the non-operating status or the operating status is low.
上記の構成によれば、出力機器決定部は、各電子機器から通知された稼働状況情報が、当該電子機器が非稼働であるまたは稼働音が小さい稼働状況であることを示している場合に、そのような電子機器を、音声出力機器として決定する。この決定にしたがって、非稼働(または稼働音が小さい稼働状況)の電子機器、すなわち、稼働音を出していないかまたは出していたとしても稼働音がごく小さい電子機器が音声を出力し、その間、稼働中の電子機器には、静音運転を実行させる。 According to the above configuration, the output device determining unit, when the operating status information notified from each electronic device indicates that the electronic device is not operating or the operating sound is low operating status, Such an electronic device is determined as an audio output device. In accordance with this determination, the non-operating (or the operating condition with a low operating sound) electronic device, that is, the electronic device that does not output the operating sound or has a very low operating sound even if it outputs the sound, The operating electronic device performs a silent operation.
これにより、ユーザは、稼働中の電子機器の稼働音が抑えられてこれまでよりも静かになった状況下で、出力音声以外の音を出していない非稼働の電子機器または出していたとしても稼働音がごく小さい電子機器から、より聞き取り易い状況で、音声を聞くことができる。したがって、電子機器が音声を出力してもその場で、または、その周囲でそれ以外の音が鳴っているために、ユーザが当該音声を聞き取り難いといった不都合を解消することができる。結果として、音声をより一層確実にユーザに伝達することが可能となる。 As a result, the user can suppress the operating sound of the operating electronic device and become quieter than before, even if the non-operating electronic device or the non-operating electronic device that does not output sound other than the output sound is output. Audio can be heard from an electronic device with a very low operating sound in a situation that is easier to hear. Therefore, even if the electronic device outputs the sound, the inconvenience that the user cannot easily hear the sound because the other sounds are sounding on the spot or around the same can be solved. As a result, the voice can be transmitted to the user more reliably.
なお、電子機器の、稼働音が小さい稼働状況の一例として、これには限定されないが、例えば、電子機器が所定値よりも小さい稼働音で稼働している状況、電子機器が発話主体機器の候補の中で最も小さい稼働音で稼働している状況、または、電子機器が静音制御の対象となっており、現状よりも稼働音をさらに小さくし得る状況などが挙げられる。 In addition, as an example of the operation status of the electronic device with a low operating sound, for example, but not limited to, a situation in which the electronic device is operating with an operation sound smaller than a predetermined value, a case where the electronic device is a candidate for the utterance main device, In which the operating sound is the lowest among the operating sounds, or a situation in which the electronic device is the target of the silent control and the operating sound can be further reduced than the current state.
本発明の態様3に係る音声出力制御装置では、上記態様1または2において、上記運転制御部は、上記音声出力機器と同じ場所(部屋)に配置されている電子機器に対して、上記静音運転の実行を指示してもよい。 In the audio output control device according to the third aspect of the present invention, in the first or second aspect, the operation control unit may perform the silent operation on an electronic device arranged in the same place (room) as the audio output device. May be instructed.
上記の構成によれば、音声出力機器が音声を出力するとき、該音声出力機器と同じ場所(例えば、配置場所が同じ部屋である)その他の電子機器に静音運転をさせて、それらの稼働音を小さくすることができる。これにより、ユーザが音声を聞き取り難いといった不都合を解消するとともに、音声出力機器とは離れた場所にある電子機器(つまり、音声の聞き取り難さに影響を与えない電子機器)について、不要な静音運転を回避することができる。 According to the above configuration, when the audio output device outputs audio, the other electronic devices in the same place (for example, the arrangement location is the same room) as the audio output device are caused to perform a silent operation, and the operating sounds thereof are output. Can be reduced. This eliminates the inconvenience of making it difficult for the user to hear the voice, and also makes unnecessary silent operation of the electronic device located away from the voice output device (that is, an electronic device that does not affect the difficulty of hearing the voice). Can be avoided.
本発明の態様4に係る音声出力制御装置では、上記態様1から3において、上記運転制御部は、出力対象の音声に関連付けられている重要度が高い程、上記静音運転を実行するように、各電子機器に対して指示してもよい。 In the voice output control device according to the fourth aspect of the present invention, in the first to third aspects, the operation control unit performs the silent operation as the importance associated with the output target sound increases. An instruction may be given to each electronic device.
上記の構成によれば、音声出力機器が出力する音声が重要であればあるほど、その音声出力の間、その他の電子機器に実行させる静音運転によって、稼働音がより一層抑えられる。これにより、ユーザは、重要な音声ほど、より静かな状況下で聞き取ることが可能となり、結果として、重要な音声をより確実にユーザに伝達することが可能となる。 According to the above configuration, as the sound output from the sound output device becomes more important, the operation sound is further suppressed by the silent operation performed by the other electronic devices during the sound output. This allows the user to hear the more important voices in a quieter situation, and as a result, the more important voices can be transmitted to the user.
本発明の態様5に係る音声出力制御装置では、上記態様1から4において、上記出力機器決定部は、電子機器が備える音声出力部(スピーカ45)の設置位置の床面からの高さ(設置高度)が、音声の聞き手の耳の高さに応じて予め設定された範囲にある電子機器を、音声出力機器として決定してもよい。 In the audio output control device according to the fifth aspect of the present invention, in any of the first to fourth aspects, the output device determination unit may be configured such that the installation position of the audio output unit (speaker 45) included in the electronic device is the height (installation) from the floor. An electronic device whose altitude is within a preset range according to the height of the ear of the listener of the sound may be determined as the sound output device.
上記の構成によれば、電子機器が備える音声出力部が設置されている位置(部屋の床面からの高さ)が、聞き手の耳がたいていある高さ(例えば、100cm〜170cmくらい)に近い電子機器が、音声出力機器として決定される。これにより、聞き手の耳の位置に近いスピーカから音声が出力されるので、ユーザが当該音声をより聞き取り易くなる。結果として、音声をより確実にユーザに伝達することが可能となる。 According to the above configuration, the position where the audio output unit of the electronic device is installed (the height from the floor of the room) is close to the height at which the listener's ears are almost (for example, about 100 cm to 170 cm). The electronic device is determined as the audio output device. Thereby, since the sound is output from the speaker near the ear position of the listener, the user can more easily hear the sound. As a result, the voice can be more reliably transmitted to the user.
本発明の態様6に係る音声出力制御装置では、上記態様1から5において、上記出力機器決定部は、電子機器がテスト音声を出力した時点から所定時間経過までに、該テスト音声の残響が所定の割合まで減衰しない電子機器を音声出力機器として決定してもよい。 In the audio output control device according to the sixth aspect of the present invention, in any one of the first to fifth aspects, the output device determination unit determines that the reverberation of the test sound is a predetermined time from when the electronic device outputs the test sound until a predetermined time elapses. May be determined as the audio output device.
上記の構成によれば、電子機器がテスト音声を出力した時点から所定時間経過までに、該テスト音声の残響が所定の割合まで減衰しない電子機器、つまり、遮音物に囲まれていない電子機器が、音声出力機器として決定される。これにより、該電子機器から出力された音声は、こもらず、広い空間に伝播するので、ユーザが当該音声をより聞き取り易くなる。結果として、音声をより確実にユーザに伝達することが可能となる。 According to the above configuration, an electronic device in which the reverberation of the test sound does not attenuate to a predetermined ratio from a point in time when the electronic device outputs the test sound until a predetermined time elapses, that is, an electronic device that is not surrounded by the sound insulation material. , Audio output device. Thus, the sound output from the electronic device does not stay in the room and propagates in a wide space, so that the user can more easily hear the sound. As a result, the voice can be more reliably transmitted to the user.
本発明の態様7に係る音声出力制御装置では、上記態様1から6において、上記電子機器は、自走式の電子機器であり、上記運転制御部は、所定面積以上の物体が上記音声出力機器の所定距離未満にある場合に、当該物体から所定距離以上離れた位置まで移動してから音声を出力するように、該音声出力機器を制御してもよい。 In the audio output control device according to the seventh aspect of the present invention, in any one of the first to sixth aspects, the electronic device is a self-propelled electronic device, and the operation control unit determines that the object having a predetermined area or more is the audio output device. If the distance is less than the predetermined distance, the audio output device may be controlled so as to move to a position at least a predetermined distance from the object and then output the sound.
上記の構成によれば、運転制御部は、自走機能を有する音声出力機器を、所定面積以上の物体から離れた、音声が聞き取り易い位置に移動させた後、該音声出力機器から音声を出力させることができる。したがって、電子機器が音声を出力してもその近くに所定面積以上の物体があるために、ユーザが当該音声を聞き取り難いといった不都合を解消することができる。結果として、音声をより確実にユーザに伝達することが可能となる。 According to the above configuration, the driving control unit outputs the sound from the sound output device after moving the sound output device having the self-propelled function to a position away from the object having a predetermined area or more and to be easy to hear the sound. Can be done. Therefore, even if the electronic device outputs a sound, it is possible to solve a problem that the user has difficulty in hearing the sound because there is an object having a predetermined area or more near the object. As a result, the voice can be more reliably transmitted to the user.
本発明の態様8に係る音声出力制御装置では、上記態様1から7において、上記運転制御部は、上記音声出力機器が配置されている場所の環境音の音量が所定閾値以上である場合に、上記音声出力機器が音声を出力するときの音量を上げるように、該音声出力機器に対して指示してもよい。 In the audio output control device according to the eighth aspect of the present invention, in the first to seventh aspects, the operation control unit may be configured such that, when a volume of an environmental sound at a place where the audio output device is arranged is equal to or more than a predetermined threshold, The audio output device may be instructed to increase the volume at which the audio output device outputs audio.
上記の構成によれば、運転制御部は、音声出力機器が配置されている場所の環境音の音量が所定閾値以上である場合に、音声出力機器に対して、音量を、上げて音声を出力するように指示する。したがって、音声は、より聞き取り易いように音量を上げた状態で、該音声出力機器から出力される。これにより、ユーザは、電子機器から出力された音声をより聞き取り易くなり、結果として、環境音が大きくても、音声をより確実にユーザに伝達することが可能となる。 According to the above configuration, when the volume of the environmental sound at the place where the audio output device is arranged is equal to or higher than the predetermined threshold, the operation control unit increases the volume and outputs the audio to the audio output device. To do so. Therefore, the sound is output from the sound output device in a state where the volume is increased so that the sound can be more easily heard. This makes it easier for the user to hear the sound output from the electronic device, and as a result, even if the environmental sound is loud, the sound can be more reliably transmitted to the user.
本発明の態様9に係る音声出力制御装置では、上記態様1から8において、上記出力機器決定部は、特定の場所に配置されている電子機器に代えて、または、加えて、携帯型電子機器(通信端末3)を音声出力機器として決定してもよい。 In the audio output control device according to the ninth aspect of the present invention, in any of the first to eighth aspects, the output device determination unit is configured to replace or add to the electronic device arranged at a specific place. (Communication terminal 3) may be determined as the audio output device.
上記の構成によれば、ある場所に配置されている上述のような電子機器に代わって、あるいはそれに加えて、ユーザが携帯している携帯型電子機器からも、同じ音声が出力される。したがって、ユーザは、音声出力機器が配置されている場所におらず、該音声出力機器が出力した音声を聞き逃したとしても、携帯している携帯型電子機器から出力された音声を聞くことができる。これにより、電子機器が音声を出力するタイミングで、ユーザが不在であるために、該音声を聞き取ることができないという不都合が解消され、結果として、音声をより確実にユーザに伝達することが可能となる。 According to the above configuration, the same sound is output from the portable electronic device carried by the user instead of or in addition to the electronic device arranged at a certain place. Therefore, even if the user does not stay at the place where the audio output device is arranged and misses the audio output from the audio output device, the user can hear the audio output from the portable electronic device being carried. it can. This eliminates the inconvenience of not being able to hear the voice at the timing when the electronic device outputs the voice because the user is absent, and as a result, the voice can be more reliably transmitted to the user. Become.
本発明の態様10に係る音声出力制御装置では、上記態様1から9において、上記状況情報には、電子機器が備えるセンサが取得したセンサ値または該センサ値の分析結果を示すセンシング情報が含まれており、上記出力機器決定部は、上記センシング情報に基づいて聞き手がいる場所を推定し、推定した場所に配置されている電子機器の中から音声出力機器を決定してもよい。
In the audio output control device according to
上記の構成によれば、出力機器決定部は、複数の電子機器のそれぞれから通知されたセンシング情報に基づいて、各電子機器の情報および電子機器の周囲の状況を把握する。そして、これらの状況に基づいて、どの電子機器が配置されている場所にユーザがいるのかを推定する。そして、出力機器決定部は、ユーザがいると推定された場所に配置されている電子機器を音声出力機器として決定する。 According to the above configuration, the output device determination unit grasps information on each electronic device and a situation around the electronic device based on the sensing information notified from each of the plurality of electronic devices. Then, based on these situations, it is estimated which electronic device is located where the user is located. Then, the output device determining unit determines the electronic device arranged at the place where the user is presumed to be, as the audio output device.
これにより、ユーザの居場所に配置されている電子機器に音声を出力させることができ、しかも、該電子機器が音声を出力するときには、稼働中の電子機器の稼働音をより小さくすることができる。したがって、ユーザは、電子機器の稼働音が抑えられてこれまでよりも静かになった状況下で、自分の居場所に近い電子機器から出力された音声を聞くことができる。 Thus, the sound can be output to the electronic device disposed at the location of the user, and when the electronic device outputs the sound, the operating sound of the operating electronic device can be further reduced. Therefore, the user can hear the sound output from the electronic device near his / her place in a situation where the operation sound of the electronic device is suppressed and the electronic device becomes quieter than before.
以上のことから、電子機器が音声を出力してもユーザが不在であるために聞き取れない、または、電子機器が音声を出力してもその周囲でその音声以外の音が鳴っているために、ユーザが当該音声を聞き取り難いといった不都合を解消することができる。結果として、音声をより確実にユーザに伝達することが可能となる。 From the above, even if the electronic device outputs sound, it is inaudible because the user is absent, or even if the electronic device outputs sound, sounds other than the sound are sounding around it, It is possible to eliminate the inconvenience that the user cannot easily hear the voice. As a result, the voice can be more reliably transmitted to the user.
本発明の態様11に係る音声出力制御装置では、上記態様1から10において、上記運転制御部は、上記複数の電子機器のいずれかが音声を入力する間、各電子機器に対して、上記静音運転を実行するように指示してもよい。 In the audio output control device according to an eleventh aspect of the present invention, in any one of the first to tenth aspects, the operation control unit may output the silent sound to each of the plurality of electronic devices while any of the plurality of electronic devices inputs a sound. It may be instructed to execute driving.
上記の構成によれば、音声出力機器としての電子機器が音声を出力する間に加えて、電子機器が音声(例えば、ユーザの発話音声)を入力する間も、各電子機器の静音運転が実行される。したがって、ユーザの音声がノイズ音(稼働音)によってかき消されることなくクリアな状態で、電子機器に入力される。これにより、音声をより確実にユーザに伝達することに加えて、ユーザからの音声について認識精度を向上させることが可能となる。 According to the above configuration, in addition to the time when the electronic device as the sound output device outputs the sound, the silent operation of each electronic device is executed while the sound (for example, the uttered voice of the user) is input by the electronic device. Is done. Therefore, the user's voice is input to the electronic device in a clear state without being overwritten by the noise sound (operation sound). Thereby, in addition to transmitting the voice to the user more reliably, it is possible to improve the recognition accuracy of the voice from the user.
本発明の態様12に係る電子機器は、自機の状況を示す状況情報を、自機を制御する音声出力制御装置に通知する状況通知部(レポート生成部50)と、上記音声出力制御装置の指示にしたがって、該音声出力制御装置から供給された音声を出力する音声制御部(51)と、上記音声出力制御装置の指示にしたがって、稼働音が抑制された静音運転を所定期間実行する機能制御部(52)とを備えている。上記の構成によれば、上記音声出力制御装置とともに、音声をより確実にユーザに伝達することが可能な音声システムを構築することが可能となる。 The electronic device according to the twelfth aspect of the present invention includes a status notification unit (report generation unit 50) that notifies status information indicating the status of the own device to the audio output control device that controls the own device; A voice control unit (51) for outputting a voice supplied from the voice output control device in accordance with an instruction, and a function control for executing a silent operation in which operation sound is suppressed for a predetermined period in accordance with the instruction of the voice output control device (52). According to the above configuration, it is possible to construct an audio system that can more reliably transmit audio to the user together with the audio output control device.
本発明の態様13に係る音声システム(発話システム100)は、上記態様1から11に係る音声出力制御装置と、上記態様12に係る電子機器とを含む。上記の構成によれば、上記態様1と同様の効果を奏する。
A voice system (utterance system 100) according to aspect 13 of the present invention includes the voice output control device according to
本発明の態様14に係る音声出力制御装置の制御方法は、音声出力機能を有する複数の電子機器を制御する音声出力制御装置の制御方法であって、上記電子機器から通知される、該電子機器の状況を示す状況情報に基づいて、音声を出力する音声出力機器を上記複数の電子機器の中から決定する出力機器決定ステップ(S104〜S107)と、少なくとも決定された上記音声出力機器が音声を出力する間、稼働音が抑制された静音運転を実行するように、各電子機器に対して指示する運転制御ステップ(S108)とを含む。上記の方法によれば、上記態様1と同様の効果を奏する。 A method for controlling an audio output control device according to aspect 14 of the present invention is a control method for an audio output control device that controls a plurality of electronic devices having an audio output function, wherein the electronic device is notified from the electronic device. An output device determining step (S104 to S107) for determining an audio output device for outputting an audio from the plurality of electronic devices based on the status information indicating the status of the audio output device; An operation control step (S108) for instructing each electronic device to execute a quiet operation in which the operation sound is suppressed during the output is included. According to the above method, the same effect as in the first aspect is obtained.
本発明の各態様に係る音声出力制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記音声出力制御装置が備える各部(ソフトウェア要素)として動作させることにより上記音声出力制御装置をコンピュータにて実現させる音声出力制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The sound output control device according to each aspect of the present invention may be realized by a computer. In this case, the sound output control device is operated by operating a computer as each unit (software element) included in the sound output control device. The present invention also includes a control program for an audio output control device that realizes the above on a computer, and a computer-readable recording medium on which the program is recorded.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。 The present invention is not limited to the embodiments described above, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention. Further, new technical features can be formed by combining the technical means disclosed in each embodiment.
1 クラウドサーバ(音声出力制御装置)
2 家庭用電子機器/家電(電子機器)
3 通信端末(携帯型電子機器)
10 制御部
11 通信部
12 記憶部
20 情報管理部
21 音声解析部
22 発話制御部(機器決定部)
23 運転制御部
30 機器情報
31 発話データ
32 音環境情報
33 機器配置マップ
40 制御部
41 通信部
42 操作部
43 センサ
44 マイク
45 スピーカ(音声出力部)
46 機能実行部
50 レポート生成部(状況通知部)
51 音声制御部
52 機能制御部
100 発話システム(音声システム)
1 cloud server (voice output control device)
2 Household electronic devices / home appliances (electronic devices)
3 communication terminals (portable electronic devices)
23
46
51
Claims (10)
上記電子機器から通知される、該電子機器の状況を示す状況情報に基づいて、音声を出力する音声出力機器を上記複数の電子機器の中から決定する出力機器決定部と、
少なくとも決定された上記音声出力機器が音声を出力する間、稼働音が抑制された静音運転を実行するように、各電子機器に対して指示する運転制御部とを備えていることを特徴とする音声出力制御装置。 An audio output control device that controls a plurality of electronic devices having an audio output function,
Notified from the electronic device, based on status information indicating the status of the electronic device, an output device determining unit that determines a sound output device that outputs sound from among the plurality of electronic devices,
An operation control unit that instructs each electronic device to execute a silent operation in which operation sound is suppressed while at least the determined sound output device outputs sound. Audio output control device.
上記出力機器決定部は、上記稼働状況情報において非稼働または稼働音が小さい稼働状況であることが示された電子機器を音声出力機器として決定することを特徴とする請求項1に記載の音声出力制御装置。 The status information includes operation status information indicating whether or not the electronic device of the notification source is operating,
2. The audio output device according to claim 1, wherein the output device determination unit determines, as the audio output device, an electronic device in which the operating status information indicates that the operating status is inactive or the operating sound is low. Control device.
上記運転制御部は、所定面積以上の物体が上記音声出力機器の所定距離未満にある場合に、当該物体から所定距離以上離れた位置まで移動してから音声を出力するように、該音声出力機器を制御することを特徴とする請求項1から3のいずれか1項に記載の音声出力制御装置。 The electronic device is a self-propelled electronic device,
When the object having a predetermined area or more is less than a predetermined distance of the audio output device, the operation control unit outputs the sound after moving to a position at least a predetermined distance from the object. The audio output control device according to any one of claims 1 to 3, wherein the audio output control device controls:
上記出力機器決定部は、上記センシング情報に基づいて聞き手がいる場所を推定し、推定した場所に配置されている電子機器の中から音声出力機器を決定することを特徴とする請求項1から6のいずれか1項に記載の音声出力制御装置。 The status information includes a sensor value obtained by a sensor included in the electronic device or sensing information indicating an analysis result of the sensor value,
7. The output device determination unit estimates a location where a listener is located based on the sensing information, and determines a voice output device from electronic devices arranged at the estimated location. 8. The audio output control device according to any one of the above.
上記音声出力制御装置の指示にしたがって、該音声出力制御装置から供給された音声を出力する音声制御部と、
上記音声出力制御装置の指示にしたがって、稼働音が抑制された静音運転を所定期間実行する機能制御部とを備えていることを特徴とする電子機器。 A status notification unit that notifies status information indicating the status of the own device to the audio output control device that controls the own device,
According to an instruction of the audio output control device, an audio control unit that outputs audio supplied from the audio output control device,
An electronic device, comprising: a function control unit that executes a silent operation in which operation noise is suppressed for a predetermined period in accordance with an instruction from the audio output control device.
上記電子機器から通知される、該電子機器の状況を示す状況情報に基づいて、音声を出力する音声出力機器を上記複数の電子機器の中から決定する出力機器決定ステップと、
少なくとも決定された上記音声出力機器が音声を出力する間、稼働音が抑制された静音運転を実行するように、各電子機器に対して指示する運転制御ステップとを含むことを特徴とする音声出力制御装置の制御方法。 A control method of a sound output control device that controls a plurality of electronic devices having a sound output function,
An output device determination step of determining, from the plurality of electronic devices, a sound output device that outputs a sound, based on status information indicating a status of the electronic device, which is notified from the electronic device,
An operation control step of instructing each electronic device so as to execute a silent operation in which the operation sound is suppressed while at least the determined sound output device outputs sound. A control method of the control device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016097456A JP6660808B2 (en) | 2016-05-13 | 2016-05-13 | Audio output control device, electronic device, and control method for audio output control device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016097456A JP6660808B2 (en) | 2016-05-13 | 2016-05-13 | Audio output control device, electronic device, and control method for audio output control device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017203967A JP2017203967A (en) | 2017-11-16 |
JP6660808B2 true JP6660808B2 (en) | 2020-03-11 |
Family
ID=60322917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016097456A Expired - Fee Related JP6660808B2 (en) | 2016-05-13 | 2016-05-13 | Audio output control device, electronic device, and control method for audio output control device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6660808B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11489691B2 (en) | 2017-07-12 | 2022-11-01 | Universal Electronics Inc. | Apparatus, system and method for directing voice input in a controlling device |
US10930276B2 (en) | 2017-07-12 | 2021-02-23 | Universal Electronics Inc. | Apparatus, system and method for directing voice input in a controlling device |
US20210033297A1 (en) * | 2017-10-11 | 2021-02-04 | Mitsubishi Electric Corporation | Air-conditioner controller |
JP7374099B2 (en) * | 2018-01-03 | 2023-11-06 | ユニバーサル エレクトロニクス インコーポレイテッド | Apparatus, system and method for instructing voice input in a control device |
US20200388268A1 (en) * | 2018-01-10 | 2020-12-10 | Sony Corporation | Information processing apparatus, information processing system, and information processing method, and program |
CN108320749A (en) * | 2018-03-14 | 2018-07-24 | 百度在线网络技术(北京)有限公司 | Far field voice control device and far field speech control system |
JP6748678B2 (en) * | 2018-08-07 | 2020-09-02 | ソフトバンク株式会社 | Information processing apparatus, information processing system, control program, information processing method |
JP7165566B2 (en) * | 2018-11-14 | 2022-11-04 | 本田技研工業株式会社 | Control device, agent device and program |
JP7181116B2 (en) * | 2019-02-12 | 2022-11-30 | 株式会社Nttドコモ | control system |
JP7173086B2 (en) * | 2020-04-24 | 2022-11-16 | 横河電機株式会社 | System, method and non-transitory storage medium for generating instructions |
EP4328902A4 (en) * | 2021-02-25 | 2024-08-21 | Panasonic Ip Man Co Ltd | Speech control method, server device, and speaking body |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009265278A (en) * | 2008-04-23 | 2009-11-12 | Konica Minolta Business Technologies Inc | Voice output control system, and voice output device |
JP6523654B2 (en) * | 2014-10-22 | 2019-06-05 | シャープ株式会社 | Speech information notification system |
-
2016
- 2016-05-13 JP JP2016097456A patent/JP6660808B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2017203967A (en) | 2017-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6660808B2 (en) | Audio output control device, electronic device, and control method for audio output control device | |
CN110892476B (en) | Device with voice command input capability | |
US20200234709A1 (en) | Method, control device, and program | |
EP3649795B1 (en) | Intelligent alerts in multi-user environment | |
JP6573474B2 (en) | Speech recognition system | |
CN110888335A (en) | Intelligent home controller, interaction method thereof and storage medium | |
JP2021092913A (en) | Notification control apparatus, notification control system, notification control method, and notification control program | |
US11405735B2 (en) | System and method for dynamically adjusting settings of audio output devices to reduce noise in adjacent spaces | |
JP7456387B2 (en) | Information processing device and information processing method | |
JP6837783B2 (en) | Noise management equipment, electrical equipment, noise management systems, noise management methods and programs | |
CN111183478B (en) | Household electrical appliance system | |
CN115529842A (en) | Method for controlling speech of speech device, server for controlling speech of speech device, and program | |
CN111918108A (en) | Linkage control method and system, computer equipment and readable storage medium | |
JP7398683B2 (en) | Method for controlling speech equipment, server, speech equipment, and program | |
US20230244437A1 (en) | Systems and methods to adjust loudness of connected and media source devices based on context | |
US11900910B2 (en) | System and method for automated ambient noise reduction for online meetings | |
JP7269812B2 (en) | Home appliances | |
JP2022080014A (en) | Electrical machine and electrical machine system | |
JP7381790B1 (en) | Notification device and notification method | |
JP6748678B2 (en) | Information processing apparatus, information processing system, control program, information processing method | |
CN111124110A (en) | Intelligent home controller, interaction method thereof and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190320 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6660808 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |