JP6435068B2 - 複数機器の機器管理システム、機器制御方法及び、プログラム - Google Patents

Description

本開示は、音声認識を用いて、複数の電子機器を遠隔操作するためのシステム及び方法に関する。

近年、音声認識技術の発達によって音声認識精度が大きく向上している。これに伴い、各種の機器を音声によって操作する機器管理システムが検討されている。これによって、煩わしいボタン操作をすることなく、ユーザが各種の機器に所望の操作内容を発話することで、各種の機器が制御可能になることが期待されている。

特許文献１および特許文献２は、ユーザが音声コマンドを発話することにより、複数の機器を統合制御するシステムを開示している。

特開平１１−８５１９１号公報 特開２００３−１５３３５５号公報

しかし、現時点においても上記システムは未だ検討段階であり、実用化には更なる改善が必要とされている。

本願の、限定的ではない例示的なある実施形態は、実用化に耐え得る、ユーザが使いやすい機器制御技術を提供する。

上記課題を解決するための、本開示による一実施形態に係る機器管理システムにおける機器制御方法は、同一宅内に配置された複数の対象機器に接続され、前記複数の対象機器を管理する機器管理システムにおける機器制御方法であって、ネットワークを介して、前記複数の対象機器の中の特定対象機器と対応付けられた音声入力装置から、前記複数の対象機器の中の一以上の対象機器に対する操作指示を表す第１音声情報を含む指示情報を受信し、前記受信した指示情報に含まれる前記第１音声情報から前記操作指示を認識し、前記指示情報に前記操作指示による操作対象を表す第２音声情報が含まれるか否かを判断し、前記指示情報に前記第２音声情報が含まれない場合は、前記音声入力装置に対応する前記特定対象機器に、前記ネットワークを介して、前記認識された操作内容を実行させる制御コマンドを送信し、また、前記指示情報に前記第２音声情報が含まれる場合は、前記操作対象に対応する対象機器に、前記ネットワークを介して、前記制御コマンドを送信する。

上述の一般的かつ特定の態様は、システム、方法およびコンピュータプログラムを用いて実装され、またはシステム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。

上記態様により、さらなる改善を実現できた。

例示的な実施の形態１に係る複数機器の音声操作システムのブロック図である。 例示的な実施の形態１に係る宅内機器操作コマンドデータベースに記憶されている情報の一例を示す図である。 例示的な実施の形態１に係るリモコンの動作を説明するフローチャートである。 例示的な実施の形態１に係る統合制御機器の動作を説明するフローチャートである。 例示的な機器名称管理テーブルを示す図である。 例示的なリモコン対応機器管理テーブルを示す図である。 例示的な実施の形態２に係る複数機器の音声操作システムのブロック図である。 例示的な実施の形態２に係る統合制御機器の動作を説明するフローチャートである。 例示的な実施の形態３に係る複数機器の音声操作システムのブロック図である。 例示的な実施の形態３に係るリモコンの動作を説明するフローチャートである。

（本発明に至った経緯）
従来の電子機器では、各機器専用のリモコンが用意されていることが多く、通常、ユーザは、これらの専用リモコンを用いて対応する電子機器を遠隔操作していた。しかし、近年の電子機器の高機能化に伴って、リモコンのボタン数が急激に増加し、ユーザが目的の操作を簡単に行うことができないという問題が生じていた。そこで、最近では、リモコンのボタン数を削減しつつ、リモコンの利便性を向上させるために、音声認識機能を備えたリモコン及び電子機器がいろいろ提案されている。

一方、無線ＬＡＮやエコネット等のホームネットワークの進展に伴って、最近では、テレビ等のＡＶ機器やパソコン等の情報機器はもちろんのこと、エアコンや冷蔵庫等の白物家電もホームネットワークに常時接続されるようになってきた。そして、これらのホームネットワークを介して、家庭内にある全ての電子機器を統合制御するシステムが多数提案されている。更に、このような統合制御システムの利便性を向上させるために、音声認識機能を利用した統合制御システムが提案されており、宅内にある様々な電子機器が音声で操作できるようになっている。

例えば、特許文献１や特許文献２では、ユーザが音声コマンドを発話することにより、複数の機器を統合制御するシステムが開示されている。具体的には、ユーザは、操作対象の機器名（例えば、「テレビ」「エアコン」等）と、各機器に対する操作の内容を示す操作名（例えば、「音量を上げて」「冷房」等）を連続的に発話することで、操作対象の機器を音声操作することができる。

特許文献１のように、音声によって複数の機器を統合操作する従来のシステムにおいては、ユーザは、操作対象の機器を特定するために、通常、操作対象の機器名（例えば、「テレビ」や「エアコン」等）を含んだ音声コマンド、例えば、「テレビ、音量を上げて」「エアコン、暖房をつけて」等、を発話する必要がある。

よって、ホームネットワーク上にある複数機器の中で、ユーザが音声操作を行う機器がほぼ一つに決まっている場合でも、ユーザは常にその機器名を含んだ音声コマンドを発話する必要があり、操作が煩わしいという課題がある。

また、音声認識機能を備えた単一の電子機器を既に利用していたユーザが、複数の電子機器を操作するために、ホームネットワークを用いた統合制御システムを導入した場合、ユーザは、ホームネットワーク上の全ての機器を音声で操作することができるようになる一方で、既存の音声認識機能を備えた電子機器を音声操作する時には、常に、その機器名を含んだ音声コマンドを発話する必要があった。

例えば、既存の音声認識機能を備えたＴＶを保有していたユーザは、ＴＶを単体で利用していた時は、「４チャンネル」、「音量を上げて」等の操作名を発話するだけでＴＶを操作できていたが、統合制御システムを導入した後は、「テレビ、４チャンネル」、「テレビ、音量を上げて」と、常に機器名を示す「テレビ」という言葉を発話する必要がある。

よって、統合制御システム導入直後において、ユーザが既存の音声認識機能を備えた電子機器を音声操作する際には、機器名をつけることを忘れて発話する等、ユーザが誤った発話をする可能性が非常に高くなる。よって、ユーザが機器名を含んだ音声コマンドを発話することに慣れるまで、既存の音声認識機能を備えた電子機器には、機器単体で音声操作を行っていたときに比べ、誤操作が頻繁に発生し、操作の煩わしさを感じさせてしまうという課題がある。特に、既存の音声認識機能を備えた電子機器が、ユーザが音声操作を頻繁に行う電子機器である場合には、操作性が著しく低下する可能性があり、ユーザがスムーズに統合制御システムに移行できないという問題が生じる。

そこで、本発明では、複数の電子機器を音声操作することが可能で、かつ、ユーザが音声操作を頻繁に行う特定の機器には、その機器名を省略しても音声操作が可能な操作性に優れた複数機器の音声操作システムを提供することを目的とする。

そこで、本願発明者らは、音声入力を用いた機器管理システムの機能向上のため、以下の改善策を検討した。

同一宅内に配置された複数の対象機器に接続され、前記複数の対象機器を管理する機器管理システムにおける機器制御方法であって、ネットワークを介して、前記複数の対象機器の中の特定対象機器と対応付けられた音声入力装置から、前記複数の対象機器の中の一以上の対象機器に対する操作指示を表す第１音声情報を含む指示情報を受信し、前記受信した指示情報に含まれる前記第１音声情報から前記操作指示を認識し、前記指示情報に前記複数の対象機器の中のいずれかの対象機器を表す第２音声情報が含まれるか否かを判断し、前記指示情報に前記第２音声情報が含まれない場合は、前記音声入力装置に対応する前記特定対象機器に、前記ネットワークを介して、前記認識された操作内容を実行させる制御コマンドを送信し、また、前記指示情報に前記第２音声情報が含まれる場合は、前記第２音声情報が表す対象機器に、前記ネットワークを介して、前記制御コマンドを送信する。

上記態様によると、音声入力装置から受信した指示情報に複数の対象機器の中のいずれかの対象機器を表す第２音声情報が含まれない場合は、前記音声入力装置に対応する前記特定対象機器に、前記認識された操作内容を実行させる制御コマンドを送信し、また、前記指示情報に前記第２音声情報が含まれる場合は、前記第２音声情報が表す対象機器に、前記制御コマンドを送信する。

これにより、例えば、ホームネットワーク上にある複数の対象機器に、音声入力装置を用いた音声操作が行えるとともに、複数の対象機器の中で、一つの音声入力装置に対応付けられた特定の対象機器に関しては、例えば、機器名の発話を省略した音声操作が可能となる。

従って、例えば、他の対象機器と比較して特定の対象機器の音声操作の使用頻度が高い場合、もしくは、ほぼ一つに決まっている場合には、その特定の機器に、その機器名などを発話する必要がなくなるので、ユーザの煩雑さを軽減できるとともに、特定の対象機器への迅速な操作指示が可能となる。更に、例えば、既存の音声入力装置による音声認識機器を利用していたユーザが、ホームネットワークを用いた統合制御システムを導入した場合でも、ユーザは、既存の音声認識機器に関しては、対象機器に対応づけられた音声入力装置を用いて操作すれば、機器名などを省略した音声コマンドを受け付けてくれるので、システム導入前と同一の操作が行うことが可能となり、誤操作を減らすことが可能となる。

上記態様において、例えば、前記指示情報は、前記音声入力装置を識別する識別情報を含み、前記識別情報と前記特定対象機器の機器ＩＤとを対応づけた第１データベースを参照して、前記特定対象機器を特定し、前記特定機器に前記制御コマンドを送信するとしてもよい。

上記態様において、例えば、前記複数の対象機器の各々に対応する機器ＩＤと前記第２音声情報とを対応づけた第２データベースを参照して、前記第２音声情報が表す対象機器を特定し、前記特定した対象機器に前記制御コマンドを送信するとしてもよい。

上記態様において、例えば、前記音声入力装置は、物理ボタンまたはタッチパネルを備え、前記物理ボタンまたは前記タッチパネルを用いて入力される前記一の対象機器への操作指示を、無線通信を用いて送信するとしてもよい。

また、他の態様において、同一宅内に配置された複数の対象機器に接続され、前記複数の対象機器を管理する機器管理システムにおける機器制御方法であって、前記複数の対象機器の中の特定対象機器に対応付けられたリモートコントローラをユーザが使用している場合、ネットワークを介して、前記リモートコントローラから当該リモートコントローラを識別するリモコン識別情報を受信し、前記ネットワークを介して、前記機器管理システムに接続された音声入力装置から、前記複数の対象機器の中の一以上の対象機器に対する操作指示を表す第１音声情報を含む指示情報を受信し、前記受信した指示情報に含まれる前記第１音声情報から前記操作指示を認識し、前記指示情報に前記複数の対象機器の中のいずれかの対象機器を表す第２音声情報が含まれるか否かを判断し、前記指示情報に前記第２音声情報が含まれない場合は、前記受信したリモコン識別情報に基づいて、前記リモートコントローラに対応する前記特定対象機器を特定し、前記特定対象機器に、前記ネットワークを介して、前記認識された操作内容を実行させる制御コマンドを送信し、また、前記指示情報に前記第２音声情報が含まれる場合は、前記第２音声情報が表す対象機器に、前記ネットワークを介して、前記制御コマンドを送信する。

上記態様によると、音声入力装置から受信した指示情報に複数の対象機器の中のいずれかの対象機器を表す第２音声情報が含まれない場合は、受信したリモコン識別情報に基づいて、リモートコントローラに対応する特定対象機器を特定し、前記特定対象機器に、前記認識された操作内容を実行させる制御コマンドを送信し、また、前記指示情報に前記第２音声情報が含まれる場合は、前記第２音声情報が表す対象機器に、前記制御コマンドを送信する。

これによって、例えば、ユーザの入力音声から機器名が抽出されなかった場合、リモートコントローラから出力されたリモコン操作情報を用いて、ユーザが操作対象としている機器を特定することができる。更に、本構成では、ユーザの音声を入力する音声入力装置とリモートコントローラが別構成であり、リモートコントローラに対するユーザの動作に基づいて、リモコン操作情報が生成される。従って、ユーザがリモートコントローラを意識して操作しなくても、例えばリモートコントローラを持っているだけで、ユーザが操作対象としている機器を特定することができ、さらに、ユーザの煩雑さを軽減することが可能となる。

また、例えば、ホームネットワーク上にある複数の対象機器に、音声入力装置を用いた音声操作を行えるとともに、複数の対象機器の中で、一つのリモートコントローラに対応付けられた特定対象機器に関しては、例えば、機器名の発話を省略した音声操作が可能となる。

上記他の態様において、例えば、前記リモコン識別情報と前記特定対象機器の機器ＩＤとを対応づけた第１データベースを参照して、前記特定対象機器を特定し、前記特定機器に前記制御コマンドを送信するとしてもよい。

上記他の態様において、例えば、前記複数の対象機器の各々に対応する機器ＩＤと前記第２音声情報とを対応づけた第２データベースを参照して、前記第２音声情報が表す対象機器を特定し、前記特定した対象機器に前記制御コマンドを送信するとしてもよい。

また、他の態様において、同一宅内に配置された複数の対象機器に接続され、前記複数の対象機器を管理する機器管理システムであって、前記機器管理システムを管理する管理装置は、ネットワークを介して、前記複数の対象機器の中の特定対象機器と対応付けられた音声入力装置から、前記複数の対象機器の中の一以上の対象機器に対する操作指示を表す第１音声情報を含む指示情報を受信し、前記受信した指示情報に含まれる前記第１音声情報から前記操作指示を認識し、前記指示情報に前記複数の対象機器の中のいずれかの対象機器を表す第２音声情報が含まれるか否かを判断し、前記指示情報に前記第２音声情報が含まれない場合は、前記音声入力装置に対応する前記特定対象機器に、前記ネットワークを介して、前記認識された操作内容を実行させる制御コマンドを送信し、また、前記指示情報に前記第２音声情報が含まれる場合は、前記第２音声情報が表す対象機器に、前記ネットワークを介して、前記制御コマンドを送信し、前記音声入力装置は、前記複数の対象機器の中の一以上の対象機器に対する操作指示を表す第１音声情報を含む指示情報を送信する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

以下、添付の図面を参照しながら、本発明の例示的な実施の形態を説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素に関しては、任意の構成要素として説明される。

以下では、複数の対象機器に接続され、当該複数の対象機器を管理する機器管理システムの例として、同一宅内に配置された複数の機器を、音声を利用して操作する音声操作システムを説明する。

（実施の形態１）
図１は、本実施の形態に係る複数機器の音声操作システム１のブロック構成を示す。

図１に示すように、複数機器の音声操作システム１は、操作対象の機器１０、機器１１、機器１２、リモコン２、機器１０〜１２の動作を制御する統合制御機器３を含む。なお、ここでは音声操作システム１に含まれる操作対象の機器を３つとして説明するが、音声操作システム１に含まれる操作対象の機器の数は、これより少なくてもよいし、多くてもよい。ここで、リモコン２は、機器１０に対応付けられたリモコンとする。一般的には、機器１０単体を購入したときに付属している機器１０専用のリモコンであり、リモコン２には、機器１０に対応付けられていることを示す識別情報が割り当てられているものとする。

リモコン２は、図１に示すように、収音部２０、操作検出部２１、操作情報生成部２２、および送信部２３を含む。リモコン２の上面には、機器１０の各機能を実行するための複数の操作ボタンが配置されている。例えば、機器１０がテレビの場合には、リモコン２には、操作ボタンとして、音量制御ボタン、チャンネル選局ボタン、メニューボタンなどが配置されている。ここで、これらのボタンは、物理ボタンとしてリモコン２に配置されていても良いし、タッチパネルとして実装されていても良い。

また、リモコン２の上面には、通常の操作ボタン以外に、ユーザの音声を入力するために、マイクである収音部２０と、ユーザの音声入力開始を収音部２０に通知するための音声入力開始ボタン（図１には図示せず）が配置されている。

操作検出部２１は、リモコン２の各操作ボタンに対するユーザの操作を検出し、各操作ボタンに対応する信号を出力する。例えば、ユーザによる音声入力開始ボタンの押下操作が検出された場合には、音声入力開始信号を出力する。操作情報生成部２２は、リモコン２の識別情報と操作検出部２１から受信した信号に基づいて、リモコン操作情報を生成する。送信部２３は、収音部２０から得られた音声及び、操作情報生成部２２から得られるリモコン操作情報を、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び無線ＬＡＮ等の通信方式により、機器１０〜１２や統合制御機器３に送信する。このとき、統合制御機器に送信される音声は、収音部２０から得られた音声データをそのまま送信しても良いし、得られた音声データから特徴量を抽出して、抽出した特徴量を送信するとしても良い。

統合制御機器３は、受信部３０、音声認識部３１、操作情報解析部３２、宅内機器操作コマンドデータベース（以下、宅内機器操作コマンドＤＢと呼ぶ）３３、機器特定部３４、操作特定部３５、制御情報生成部３６、送信部３７、記憶部３８を含む。

受信部３０は、リモコン２から送信された音声データおよびリモコン操作情報を受信する。このとき、音声データがユーザによる機器操作を意図するものである場合は、音声データおよびリモコン操作情報は、指示情報として受信される。音声認識部３１は、受信部３０から得られた音声データに基づいて、音声データが示す内容を認識する。音声データが示す内容が、例えば、いずれかの機器に対する操作指示を含む場合、機器を特定する情報（機器名）や操作指示の内容を特定する情報（操作名）を認識結果として出力する。操作情報解析部３２は、受信部３０から得られたリモコン操作情報からリモコン２の識別情報を抽出する。

宅内機器操作コマンドＤＢ３３には、ホームネットワークに接続された機器毎に、機器名、操作名、操作名に対応する操作内容、及び操作内容に対応する制御情報等が記憶されている。

図２は、機器１０をテレビ、機器１１をビデオ、機器１２をエアコンとしたときの宅内機器操作コマンドＤＢ３３に記憶されている情報の一例を示す。図２に示すように、機器名は、ユーザが操作対象の機器を指定する言葉である。図２では、「テレビ」、「ビデオ」、「エアコン」となる。また、操作名は、ユーザが機器に操作を指示する言葉であり、機器がテレビの場合には、操作名は、「音量を上げて」「２チャンネルに変えて」等になる。また、操作内容は、操作名に対応して機器が実際に行う操作の内容である。例えば、テレビの場合、「音量を上げて」という操作名には「テレビの音量を３レベル上げる」という操作内容が対応付けられている。なお、各操作内容に対応する操作名は複数登録されていてもよい。例えば、図２では、「テレビの音量を３レベル上げる」という操作内容には、「音量を上げて」「音量アップ」という２つの言葉が登録されている。また、制御情報は、操作対象の機器に操作内容を実行させるためのネットワークコマンドであり、ホームネットワークを介して、操作対象の機器に送信される。例えば、図２の例では、テレビに「テレビの音量を３レベル上げる」という操作内容を実行させる場合、テレビに、（Ｖｏｌｕｍｅ，＋３）というネットワークコマンドが送信される。

機器特定部３４は、宅内機器操作コマンドＤＢ３３に記憶されている機器名、音声認識部３１から得られた機器名、及び操作情報解析部３２から得られたリモコン２の識別情報を用いて、ユーザの操作対象機器を特定する。

操作特定部３５は、機器特定部３４により特定された機器名と音声認識部３１から得られた操作名に基づいて、宅内機器操作コマンドＤＢ３３に記憶されている各機器の操作名を検索し、操作対象機器に対する操作内容を特定する。

制御情報生成部３６は、機器特定部３４で特定された機器名と操作特定部３５で特定された操作内容に基づいて、宅内機器操作コマンドＤＢ３３に記憶されている各機器の制御情報を検索し、ホームネットワークを介して、操作対象機器を遠隔制御するための制御情報を求める。

送信部３７は、ホームネットワークを介して、機器特定部３４によって特定された機器に、制御情報生成部３６で求めた制御情報を送信する。

機器１０、機器１１、機器１２は、ホームネットワーク上に接続された操作対象の機器である。

機器１０〜機器１２は、それぞれ、通信部１０１と制御部１０２とを含む。通信部１０１は、ホームネットワークを介して、統合制御機器３から制御信号を受信する。また、赤外線通信などの無線通信を介して、リモコン２から制御情報を受信することも可能である。

制御部１０２は、各機器１０〜１２において、通信部１０１で受信した制御情報に基づいて、対応する操作を実行する。

以下、本実施の形態において、以上のように構成された複数機器の音声操作システム１に関し、ユーザが機器１０〜１２を音声操作するときの動作を説明する。

本実施の形態において、ユーザが機器１０〜１２を音声操作する場合には、まず、ユーザは、リモコン２を持って、リモコン２上の音声入力開始ボタンを押した後、リモコン２上のマイクに向かって、音声コマンドを発話する。例えば、機器１０をテレビ、機器１１をビデオ、機器１２をエアコンとした場合には、テレビの音量を操作したい時には、「テレビ、音量をあげて」と、エアコンの温度を下げたい時には、「エアコン、温度を下げて」等を発話する。

図３は、リモコン２にユーザが音声入力したときの、リモコン２の処理の手順を示す。以下、図３を用いて、リモコン２の動作を説明する。

ユーザによって、リモコン２上の音声入力開始ボタンが押されると、操作検出部２１が、音声入力開始ボタンの押下操作を検出し、音声入力開始信号を収音部２０と操作情報生成部２２に出力する（Ｓ１０１）。収音部２０は、操作検出部２１から音声入力開始信号を受信すると、ユーザが発話した音声の入力を開始する（Ｓ１０２）。また、操作情報生成部２２は、操作検出部２１から音声入力開始信号を受信すると、音声入力開始情報とリモコン２を示す識別情報とを合わせた情報をリモコン操作情報として生成する（Ｓ１０３）。送信部２３は、収音部２０から得られた音声及び、操作情報生成部２２から得られるリモコン操作情報を統合制御機器３や機器１０〜１２に送信する（Ｓ１０４）。収音部２０は、ユーザからの音声入力が続いているかどうかを常にチェックし（Ｓ１０５）、ユーザからの音声入力が終了したと判断した場合には、音声入力を停止するとともに、送信部２３への音声出力を停止する（Ｓ１０６）。なお、音声入力終了の判定は、例えば、入力された音声のレベルが一定値以下になった場合に、ユーザの音声入力が終了したと判定する方法等で行う。また、収音部２０が音声入力を停止した後、ユーザが、再度、音声入力を行いたい場合には、ユーザが再度音声入力開始ボタンを押下すればよい。リモコン２では、音声入力開始が再度押下されると、Ｓ１からの処理が再度実行され、再び、ユーザの音声が入力され、送信部２３からリモコン操作情報とともに送信される。

以上が、リモコン２に向かって、ユーザが音声コマンドを入力したときのリモコン２の動作である。

図４は、統合制御機器３の処理の手順を示す。以下、図４を用いて、統合制御機器３の動作を説明する。

まず、受信部３０が、リモコン２の送信部２３から送信された音声とリモコン操作情報を受信する（Ｓ２０１）。

次に、操作情報解析部３２は、受信部３０で受信したリモコン操作情報からリモコン２の識別情報を抽出する（Ｓ２０２）。

また、音声認識部３１は、受信部３０で受信した音声を認識し、認識結果として機器名、または、操作名を求める（Ｓ２０３）。例えば、ユーザが、音声コマンドとして、「エアコン、冷房をつけて」を発話した場合、音声認識部３１は、正確に認識できた場合には、認識結果として、機器名「エアコン」、操作名「冷房をつけて」を出力する。また、ユーザが機器名を省略して、「音量を上げて」を発話した場合には、認識結果として、機器名なし、操作名「音量を上げて」が出力される。

なお、音声認識部３１において、音声を認識する方法は、従来のＤＰマッチング法、ＨＭＭ（隠れマルコフモデル）法、Ｎ−Ｇｒａｍ法等が用いられる。音声認識を行うための認識辞書は記憶部３８に記憶されている。認識辞書には、機器１０〜１２の操作内容毎に、音声コマンド「（機器名）（操作名）」及び「（操作名）」を認識するための情報が含まれている。例えば、機器１０をテレビとした場合には、２チャンネルを選局するという操作内容に対応して、「テレビ、２チャンネルに変えて」及び、「２チャンネルに変えて」等の音声コマンドを認識するための情報が認識辞書に記憶されている。なお、認識辞書には、ホームネットワークに現在接続されている機器１０〜１２の操作だけに関するものではなく、一般的な家電機器を音声操作するための情報が記憶されていてもよい。

機器特定部３４は、宅内機器操作コマンドＤＢ３３に記憶されている機器名を参照し、まず、音声認識部３１から出力された認識結果の中に、機器名が含まれているかどうかを確認する（Ｓ２０４）。認識結果の中に、宅内機器操作コマンドＤＢ３３に記憶されている機器名が含まれている場合（Ｓ２０４でＹの場合）には、その機器名を有する機器を、ユーザが操作対象としている機器と特定する（Ｓ２０５）。このとき、例えば、図５Ａに示すような機器名称管理テーブルを用いて、ユーザが操作対象としている機器を特定する。機器名称管理テーブルでは、機器名と対応機器の識別子とを対応付けて管理している。音声認識部３１において認識された音声において、機器名称管理テーブルに機器名として登録されている単語が含まれている場合は、その単語に対応する機器を特定する。テレビ、エアコンなど、一般的な機器の名称を機器名として管理していてもよいし、例えば、識別子「テレビ００１」のテレビに「マイケル」という名称を付し、識別子「エアコン００１」のエアコンに「キャシー」という名称を付すなど、機器にユーザが任意の名称を付して管理できる構成としてもよい。また、対応機器毎に複数の機器名を付与していてもよい。

逆に、認識結果の中に、機器名が含まれていない場合（Ｓ２０４でＮの場合）には、処理（Ｓ２０２）で抽出されたリモコン２の識別情報に基づいて、その識別情報に対応する機器１０を、ユーザが操作対象としている機器と特定する（Ｓ２０６）。このとき、例えば、図５Ｂに示すようなリモコン対応機器管理テーブルを用いて、ユーザが操作対象としている機器を特定する。リモコン対応機器管理テーブルでは、リモコン２と対応付けられている機器の識別子を管理している。本開示の一態様に係る音声操作システム１は、複数のリモコン２を含む構成であってもよく、図５Ｂに示すように機器毎に対応するリモコン２が存在するとしてもよい。なお、図５Ａおよび図５Ｂの機器名称管理テーブルおよびリモコン対応機器管理テーブルは、統合制御機器３において、記憶部３８に格納されているとしてもよい。

以下、具体的な例を用いて、機器特定部３４の動作を説明する。例えば、機器１０をテレビとし、宅内機器操作コマンドＤＢ３３を図２で示したものとする。ここで、宅内機器操作コマンドＤＢ３３は、各機器名に対応する機器の識別子を管理していてもよい。ユーザがテレビ専用の、音声入力のためのリモコン２に、「テレビ、２チャンネルに変えて」を発話した場合には、音声認識の結果として、機器名「テレビ」が得られる（Ｓ２０３）。次に、認識された機器名「テレビ」が、宅内機器操作コマンドＤＢ３３に含まれているかどうかを確認する（Ｓ２０４）。認識された機器名「テレビ」は、図２に示す宅内機器操作コマンドＤＢ３３に記憶されている機器名に含まれているので、この場合、ユーザが操作対象としている機器は、テレビであると特定する（Ｓ２０５）。ここで、例えば、図５Ａのような機器名と機器の識別子とを対応付けた機器名称管理テーブルを参照して、音声認識の結果として得られた機器名が示す機器を特定するとしてもよい。

同様に、ユーザが「２チャンネルに変えて」と、機器名を省略して発話した場合には、音声認識の結果としては、機器名なしが得られる（Ｓ２０３）。認識結果の中に機器名が含まれていないので（Ｓ２０４）、次に、リモコン２の識別情報に対応する機器を求める。リモコン２の識別情報に対応する機器はテレビであるので、この場合も、ユーザが操作対象としている機器は、テレビであると特定する（Ｓ２０６）。ここで、例えば、図５Ｂに示すようなリモコン２の識別情報と機器の識別子とを対応付けたリモコン対応機器管理テーブルを参照して、リモコン２の識別情報に対応する機器がテレビであることを特定する。

操作特定部３５は、音声認識部３１の認識処理（Ｓ２０３）で得られた操作名の妥当性を確認し（Ｓ２０７）、妥当であると判定した場合は、その操作名に対応する操作内容を、ユーザが操作対象の機器に対する目的の操作と特定する（Ｓ２０８）。

操作特定部３５の処理は、以下の手順で行う。

まず、処理（Ｓ２０５）または処理（Ｓ２０６）によって特定された機器名を用いて、宅内機器操作コマンドＤＢ３３を検索し、特定された機器に対応する操作名を全て読み出す。次に、音声認識部３１の認識処理（Ｓ２０３）で得られた操作名が、宅内機器操作コマンドＤＢ３３から読み出した操作名のいずれかと一致するかどうかを確認し、一致した場合には、操作名が妥当であると判定する（Ｓ２０７）。操作名が妥当であると判定された場合（Ｓ２０７でＹの場合）には、宅内機器操作コマンドＤＢ３３からその操作名に対応する操作内容を読み出し、その操作内容をユーザが操作対象の機器に対する目的の操作と特定する（Ｓ２０８）。

逆に、一致しない場合には、特定された機器の中に対応する操作が存在しないので、認識結果から得られた操作名は妥当ではないと判定し（Ｓ２０７でＮの処理）、ユーザが発話した音声コマンドに対する一連の処理を終了する。

例えば、機器１０をテレビとし、宅内機器操作コマンドＤＢ３３を図２で示したものとした時、ユーザが「テレビ、２チャンネルに変えて」と発話したなら、認識結果として、操作名は「２チャンネルに変えて」が得られる（Ｓ２０３）。次に、宅内機器操作コマンドＤＢ３３を用いて、既に特定された機器「テレビ」に、「２チャンネルに変えて」という操作名が登録されているかどうかを確認する（Ｓ２０７）。認識された操作名「２チャンネルに変えて」は、図２に示す宅内機器操作コマンドＤＢ３３に記憶されている操作名に含まれているので、この場合、ユーザの目的の操作内容は、「２チャンネルを選局」と特定する（Ｓ２０８）。

制御情報生成部３６は、処理（Ｓ２０５）または処理（Ｓ２０６）で特定された機器と、処理（Ｓ２０８）で特定された操作内容に基づいて、宅内機器操作コマンドＤＢ３３に記憶されている各機器の制御情報を検索し、操作対象機器を遠隔制御するための制御情報を求める（Ｓ２０９）。

例えば、機器１０をテレビとし、宅内機器操作コマンドＤＢ３３を図２で示したものとした場合、ユーザの音声コマンド「テレビ、２チャンネルに変えて」が正しく認識されて、機器を「テレビ」、操作内容を「２チャンネルを選局」と特定されたなら、宅内機器操作コマンドＤＢ３３に基づいて、制御情報は、（Ｃｈａｎｎｅｌ、２）が求められる。

送信部３７は、ホームネットワークを介して、処理（Ｓ２０５）または処理（Ｓ２０６）で特定された機器に、処理（Ｓ２０９）で求めた制御情報を送信する（Ｓ２１０）。

以上が、リモコン２から送信された音声とリモコン送信情報が入力されたときの統合制御機器３の動作である。

最後に、機器１０〜１２の動作を説明する。なお、機器１０〜１２は、それぞれ同様の動作をするので、以下、機器１０を例にとって説明する。

機器１０では、まず、通信部１０１が、ホームネットワークを介して、リモコン２や統合制御機器３から制御情報を受信する。そして、制御部１０２が受信した制御情報に基づいて、対応する操作を実行する。

例えば、機器１０をテレビとした場合、ユーザがリモコン２に、音声コマンド「テレビ、２チャンネルに変えて」を発話したときには、統合制御機器３からの制御情報（Ｃｈａｎｎｅｌ、２）を通信部１０１が受信する。そして、受信した制御情報に基づいて、制御部１０２がテレビのチャンネルを２チャンネルに変更する。

以上説明したように、本発明の例示的な実施の形態に係る複数機器の音声操作システム１は、機器特定部３４が、ユーザが発話した音声コマンドの認識結果から機器名を特定できなかった場合には、リモコン２から出力されたリモコン操作情報の中のリモコン識別情報を抽出し、リモコン識別情報に対応づけられている機器１０を、ユーザが操作対象としている機器であると特定する。これにより、ホームネットワーク上にある複数の機器１０〜１２に、リモコン２を用いた音声操作が行えるとともに、複数の機器のうち、リモコン２に対応付けられた特定の機器１０に関しては、機器名を省略した音声操作が可能となる。

例えば、機器１０をテレビ、機器１１をビデオ、機器１２をエアコンとし、リモコン２は、テレビの対応付けられた専用の音声入力リモコンだとする。ユーザが、リモコン２を用いて、ビデオやエアコンを音声操作する場合には、「ビデオ、録画」「エアコン、冷房をつけて」等、機器名をつけた音声コマンドを発話する必要があるが、テレビには、「音量を上げて」等、テレビと言う機器名を発しなくても操作が可能となる。なお、本実施の形態では、「テレビ、音量を上げて」のように、機器名をつけた音声コマンドでもテレビの音声操作は可能である。

よって、例えば、ビデオやエアコンと比較してテレビの音声操作の使用頻度が高い場合、もしくは、音声操作はテレビしか行わない場合には、特定の機器であるテレビには、その機器名を発話する必要がなくなるので、ユーザの煩雑さを軽減できるとともに、テレビに対する迅速な操作指示が可能となる。すなわち、複数の機器に対する音声操作が可能であることに加えて、複数の機器の中の特定の機器に、機器名を指定する発話を省略した迅速な操作指示が可能となる。

また、例えば、既存の音声入力リモコンによる音声認識テレビを利用していたユーザが、ホームネットワークを介して、ビデオやエアコン等を統合制御可能なシステムを導入した場合でも、ユーザは、テレビ専用の音声入力リモコンを用いて既存の音声認識テレビを操作すれば、テレビは、機器名を省略した音声コマンドを受け付けてくれる。よって、テレビには、システム導入前と同一の操作を行うことが可能であり、機器名をつけずに発話する等の誤操作を減らすことが可能となる。つまり、ユーザは、新しく音声操作可能になったエアコンやビデオ等のテレビ以外の他の機器に対してのみ、機器名をつけた音声コマンドを発話すればよいということを覚えればよいので、統合制御システムの音声操作を簡単に学習することが可能である。

（実施の形態２）
本実施の形態では、上記実施の形態１に係る複数機器の音声操作システム１の変形例を説明する。

図６は、本実施の形態にかかる複数機器の音声操作システム１１１のブロック構成を示す。

本実施形態の音声操作システム１１１は、第１の実施形態の音声操作システム１と、ほぼ同様の構成である。両者の相違点は、第１の実施形態の音声操作システム１の統合制御機器３に、さらに機器操作履歴記憶部３９が設けられている点である。このため、第２の実施形態の音声操作システム１１１では、第１の実施形態の音声操作システム１と共通する構成には第１の実施形態と同様の符号を付している。

以下では、第１の実施形態と異なる構成を主として説明して、第１の実施形態と共通する構成に関しては説明を省略する。

第１の実施形態の統合制御装置に新たに追加された機器操作履歴記憶部３９は、機器特定部３４で特定された操作対象の機器名を記憶する。

また、機器特定部３４は、宅内機器操作コマンドＤＢ３３に記憶されている機器名、音声認識部３１から得られた機器名、操作情報解析部３２から得られたリモコン２の識別情報及び、機器操作履歴記憶部３８に記憶されている機器名を用いて、ユーザの操作対象機器を特定する。操作特定部３５は、機器特定部３４により特定された機器名と音声認識部３１から得られた操作名に基づいて、宅内機器操作コマンドＤＢ３３に記憶されている各機器の操作名を検索し、操作対象機器に対する操作内容を特定する。そして、操作内容が特定された場合には、機器名を機器操作履歴記憶部３９に記憶する。

以下、第２の実施形態において、以上のように構成された複数機器の音声操作システム１１１に関し、ユーザが機器１０〜１２を音声操作するときの動作を説明する。なお、以下では、第１の実施形態との相違点を主に説明し、重複する説明は省略する。具体的には、リモコン２の動作は、第１の実施形態のフローチャート（図３）におけるＳ１０１〜Ｓ１０６までの処理と同一の処理であるので、ここでは説明を省略する。また、機器１０〜１２の動作も第１の実施形態と同一の処理であるので、説明を省略する。

図７は、本実施の形態による統合制御機器３の処理の手順を示す。以下、図７を用いて、統合制御機器３の動作を説明する。なお、第２の実施の形態において、受信部３０、音声認識部３１、操作情報解析部３２、操作特定部３５、制御情報生成部３６、送信部３７の動作は、第１の実施形態と同一である。よって、図７において、冒頭の処理は、第１の実施形態のフローチャート（図４）のＳ２０１からＳ２０３までの処理と同一の処理であるので、上記処理の説明は省略する。また、Ｓ３１２、Ｓ３１３の処理は、第１の実施形態のフローチャート（図４）のＳ２０９、Ｓ２１０の処理と同一の処理であるので、上記処理に関しても説明を省略する。ここでは、第１の実施形態と異なる動作を行う機器特定部３４、操作特定部３５の処理Ｓ４〜Ｓ１１に関し、詳しく説明する。

機器特定部３４は、宅内機器操作コマンドＤＢ３３に記憶されている機器名を参照し、音声認識部３１から出力された認識結果の中に機器名が含まれているかどうかを確認する（Ｓ３０４）。認識結果の中に、宅内機器操作コマンドＤＢ３３に記憶されている機器名が含まれている場合（Ｓ３０４でＹの場合）には、その機器名を有する機器を、ユーザが操作対象としている機器と特定する（Ｓ３０５）。ここで、図５Ａに示すような機器名称管理テーブルを参照して、音声認識部３１における認識結果が示す機器名から機器を特定してもよい。

一方、認識結果の中に、機器名が含まれていない場合（Ｓ３０４でＮの場合）には、次に、機器操作履歴記憶部３９に機器名が既に記憶されているかどうかを確認する（Ｓ３０６）。機器操作履歴記憶部３９に機器名が既に記憶されている場合（Ｓ３０６でＹの場合）には、機器操作履歴記憶部３９に記憶されている機器名を有する機器を、ユーザが操作対象としている機器と特定する（Ｓ３０７）。逆に、機器操作履歴記憶部３９に機器名が記憶されていない場合（Ｓ３０６でＮの場合）には、処理（図４のＳ２０２）で抽出されたリモコン２の識別情報に基づいて、その識別情報に対応する機器１０を、ユーザが操作対象としている機器と特定する（Ｓ３０８）。

操作特定部３５は、音声認識部３１の認識処理（図４のＳ２０３）で得られた操作名の妥当性を確認し（Ｓ３０７）、妥当であると判定した場合は、その操作名に対応する操作内容を、ユーザが操作対象の機器に対する目的の操作と特定する（Ｓ３０８）。

操作特定部３５の処理は、以下の手順で行う。

まず、処理（Ｓ３０５）、処理（Ｓ３０７）、処理（Ｓ３０８）のいずれかによって特定された機器名を用いて、宅内機器操作コマンドＤＢ３３を検索し、特定された機器に対応する操作名を全て読み出す。ここで、処理（Ｓ３０８）は、図４のＳ２０６と同様の処理である。次に、音声認識部３１の認識処理（図４のＳ２０３）で得られた操作名が、宅内機器操作コマンドＤＢ３３から読み出した操作名のいずれかと一致するかどうかを確認し、一致した場合には、操作名が妥当であると判定する（Ｓ３０９）。操作名が妥当であると判定された場合（Ｓ３０９でＹの場合）には、宅内機器操作コマンドＤＢ３３からその操作名に対応する操作内容を読み出し、その操作内容をユーザが操作対象の機器に対する目的の操作と特定する（Ｓ３１０）。その後、処理（Ｓ３０５）、処理（Ｓ３０７）、処理（Ｓ３０８）のいずれかで特定された機器名を機器操作履歴記憶部３９に記憶する（Ｓ３１１）。

逆に、一致しない場合には、特定された機器の中に対応する操作が存在しないので、認識結果から得られた操作名は妥当ではないと判定し（Ｓ３０９でＮの処理）、ユーザが発話した音声コマンドに対する一連の処理を終了する。

以下、具体的な例を用いて、機器特定部３４、操作特定部３５の動作を説明する。例えば、機器１０をテレビ、機器１１をビデオとし、宅内機器操作コマンドＤＢ３３を図２で示したものとする。

ユーザがテレビ専用の音声入力リモコン２に「ビデオ、２チャンネルに変えて」と発話した場合には、音声認識の結果として、機器名「ビデオ」、操作名「２チャンネルに変えて」が得られる（図４のＳ２０３）。機器特定部３４では、認識結果の中に機器名が含まれているので、次に、認識された機器名「ビデオ」が、宅内機器操作コマンドＤＢ３３に含まれているかどうかを確認する（Ｓ３０４）。認識された機器名「ビデオ」は、図２に示す宅内機器操作コマンドＤＢ３３に記憶されている機器名に含まれているので、この場合、ユーザが操作対象としている機器は、ビデオであると特定する（Ｓ３０５）。

次に、操作特定部３５では、宅内機器操作コマンドＤＢ３３を用いて、既に特定された機器「ビデオ」に「２チャンネルに変えて」という操作名が登録されているかどうかを確認する（Ｓ９）。認識された操作名「２チャンネルに変えて」は、図２に示す宅内機器操作コマンドＤＢ３３に記憶されている操作名に含まれているので、この場合、ユーザの目的の操作内容は、「２チャンネルを選局」と特定する（Ｓ３１０）。そして、処理（Ｓ３０５）で特定した機器名「ビデオ」を機器操作履歴記憶部３９に記憶する。

その後、制御情報生成部３６、送信部３７及び、機器１１は第１の実施形態と同一の動作を行い、その結果、機器１１であるビデオのチャンネルは、２チャンネルに変更される。

次に、続けて、ユーザが、リモコン２に「録画」を発話した場合の動作を説明する。このとき、音声認識の結果として、機器名なし、操作名「録画」が得られる（図４のＳ２０３）。認識結果の中に機器名が含まれていないので（Ｓ３０４）、機器特定部３４は、機器操作履歴記憶部３９に機器名が記憶されているかどうかを確認する（Ｓ３０６）。一つ前のユーザの音声コマンドの発話の際に、機器操作履歴記憶部３９には、機器名として「ビデオ」が記憶されているので（Ｓ３０６でＹの処理）、この場合、ユーザが操作対象としている機器がビデオであると特定する（Ｓ３０７）。

そして、操作特定部３５では、宅内機器操作コマンドＤＢ３３を用いて、既に特定された機器「ビデオ」に「録画」という操作名が登録されているかどうかを確認する（Ｓ３０９）。認識された操作名「録画」は、図２に示す宅内機器操作コマンドＤＢ３３に記憶されている操作名に含まれているので、この場合、ユーザの目的の操作内容は、「録画」と特定する（Ｓ３１０）。そして、処理（Ｓ３０５）で特定した機器名「ビデオ」を機器操作履歴記憶部３９に記憶する。

その後、制御情報生成部３６、送信部３７及び、機器１１は第１の実施形態と同一の動作を行い、その結果、機器１１であるビデオにおいて、現在放送中の２チャンネルの番組の録画が開始される。

以上説明したように、本発明の例示的な第２の実施の形態に係る複数機器の音声操作システム１１１は、機器操作履歴記憶部３９が、ユーザが発話した音声コマンドから、機器特定部３４及び操作特定部３５によって特定された機器名が記憶されており、もし、機器特定部３４が、ユーザが発話した音声コマンドの認識結果から機器名を特定できなかった場合には、機器操作履歴記憶部３９に記憶されている機器名に対応する機器を、ユーザが操作対象としている機器であると特定する。但し、機器操作履歴記憶部３９に機器名が記憶されていない場合は、第１の実施形態と同様に、リモコン２から出力されたリモコン操作情報の中のリモコン識別情報を抽出し、リモコン識別情報に対応づけられている機器１０を、ユーザが操作対象としている機器であると特定する。

これにより、本発明の例示的な第２の実施形態では、第１の実施形態と同様に、ホームネットワーク上にある複数の機器１０〜１２に、リモコン２を用いた音声操作が行えるとともに、複数の機器のうち、リモコン２に対応付けられた特定の機器１０に関しては、機器名を省略した音声操作が可能である。更に、リモコン２に対応付けられた特定の機器１０以外の機器１１や機器１２に関しても、一度、機器名をつけた音声コマンドを発話すれば、同一の機器を続けて音声操作する場合には、機器名を省略した音声操作が可能となる。すなわち、複数の機器に対する音声操作が可能であることに加えて、複数の機器の中の特定の機器に、機器名を指定する発話を省略した迅速な操作指示が可能となる。

例えば、機器１０をテレビ、機器１１をビデオ、機器１２をエアコンとし、リモコン２は、テレビの対応付けられた専用の音声入力リモコンだとする。第１の実施の形態では、ユーザが、リモコン２を用いて、ビデオを音声操作する場合には、「ビデオ、２チャンネルに変えて」、「ビデオ、録画」等、機器名をつけて常に音声コマンドを発話する必要があるが、本実施の形態では、「ビデオ、２チャンネルに変えて」といえば、機器名であるビデオが機器操作履歴記憶部３９に記憶されるので、続けて同一の機器を操作する場合には、機器名を省略した音声コマンド「録画」だけで、操作が可能となる。

よって、リモコン２に対応付けられた特定の機器以外でも、同一の機器を続けて音声操作する場合には、その機器名を発話する必要がなくなるので、ユーザの煩雑さをさらに軽減することができ、各機器に対する迅速な操作指示が可能となる。

なお、第２の実施の形態に係る機器操作履歴記憶部３９に記憶された機器名は、機器名が記憶された後、一定時間更新されることがなかったら、消去するようにしてもよい。また、受信部３０に音声が一定時間入力されることがなかったら、消去するようにしてもよい。

（実施の形態３）
本実施の形態では、上記実施の形態１に係る複数機器の音声操作システム１の変形例を説明する。

図８は、本実施の形態にかかる、複数機器の音声操作システム１１２のブロック構成を示す。

図８に示すように、本実施形態の音声操作システム１１２は、操作対象の機器１０、機器１１、及び機器１２と、リモコン２と、機器１０〜１２を音声操作する統合制御機器３及び、音声入力機器４を含む。なお、本実施形態における機器１０〜１２、統合制御機器３は、第１の実施形態の音声操作システム１に関連して説明した構成とほぼ同一である。相違点は、リモコン２の構成及び、新たに音声入力機器４が設けられている点である。このため、第３の実施形態の音声操作システム１１２では、第１の実施形態の音声操作システム１と共通する構成には第１の実施形態と同様の符号を付している。

以下では、主として第１の実施形態と異なる構成であるリモコン２、音声入力機器４を説明し、第１の実施形態と共通する構成の説明は省略する。

リモコン２は、第１の実施形態と同様に、機器１０に対応付けられたリモコンとする。一般的には、機器１０単体を購入したときに付属している機器１０専用のリモコンであり、リモコン２には、機器１０に対応付けられていることを示す識別情報が割り当てられているものとする。

リモコン２は、図８に示すように、操作検出部２１、操作情報生成部２２、送信部２３、動作検出部２４から構成される。リモコン２の上面には、第１の実施形態と同様に、機器１０の各機能を実行するための複数の操作ボタンが配置されている。但し、本実施例では、第１の実施形態と異なり、ユーザの音声を入力する収音部２０及び音声入力開始ボタンは配置されない。

操作検出部２１は、リモコン２の各操作ボタンに対するユーザの操作を検出し、各操作ボタンに対応する信号を出力する。

動作検出部２４は、ユーザのリモコンに対する動作を検出し、検出した動作に対応する信号を出力する。ここで、検出する動作は、ユーザがリモコンを使用している動作であり、具体的には、ユーザがリモコンを把持している、または、動かしている動作である。これらの動作を検出するため、リモコン２は、例えば、筐体外面にタッチセンサが貼り付けられていたり、筐体内部に加速度センサやジャイロセンサ等のモーションセンサが内蔵されていたりする。そして、これらのセンサからの信号を認識することによって、ユーザがリモコンを使用している動作の検出を行う。

操作情報生成部２２は、リモコン２の識別情報と、操作検出部２１及び動作検出部２４から受信した信号に基づいて、リモコン操作情報を生成する。送信部２３は、操作情報生成部２２から得られるリモコン操作情報を、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び無線ＬＡＮ等の通信方式により、機器１０〜１２や統合制御機器３に送信する。

音声入力機器４は、収音部４１と送信部４２から構成される。収音部４１が、ユーザの音声を入力し、送信部４２が、有線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）及び無線ＬＡＮ等の通信方式により、収音部４１で入力した音声を統合制御機器３に送信する。なお、音声入力機器４は、収音部４１がユーザの音声を入力できる範囲であれば、宅内のどこにでも設置できる。例えば、機器１０を音声操作する場合には、機器１０が設置されている部屋の天井や照明、または、機器１０の上部に設置してもよい。

以下、第３の実施形態において、以上のように構成された複数機器の音声操作システム１１２に関し、ユーザが機器１０〜１２を音声操作するときの動作を説明する。なお、以下では、第１の実施形態との相違点を主に説明し、重複する説明は省略する。具体的には、統合制御機器３の動作は、第１の実施形態のフローチャート（図４）におけるＳ２０１〜Ｓ２１０までの処理と同一の処理であるので、ここでは説明を省略する。また、機器１０〜１２の動作も第１の実施形態と同一の処理であるので、説明を省略する。

図９は、本実施の形態におけるリモコン２の処理の手順を示す。以下、図９を用いて、リモコン２の動作を説明する。

例えば、ユーザがリモコン２を把持したり、動かしたりした場合、動作検出部２４が、リモコン２に対するユーザのこれらの動作を検出し、動作検出信号を操作情報生成部２２に出力する（Ｓ４０１）。操作情報生成部２２は、動作検出部２４から動作検出信号を受信すると、操作検出部２１から得られた信号に基づく操作情報とリモコン２を示す識別情報を合わせた情報をリモコン操作情報として生成する（Ｓ４０２）。送信部２３は、操作情報生成部２２から得られたリモコン操作情報を統合制御機器３や機器１０〜１２に送信する（Ｓ４０３）。動作検出部２４は、ユーザのリモコン２に対する動作が続いているかどうかを常にチェックし（Ｓ４０４）、ユーザのリモコンに対する動作が停止したと判断した場合には、動作検出信号の出力を停止する。同時に、送信部２３は、リモコン操作情報の送信を停止する（Ｓ４０５）。なお、ユーザのリモコン２に対する動作停止の判定は、例えば、リモコン２に備えられた把持センサやモーションセンサの出力レベルが一定値以下になった状態が一定時時間継続した場合に、ユーザのリモコン２に対する動作が停止したと判定すればよい。

次に、音声入力機器４の動作を説明する。音声入力機器４では、収音部４１が、ユーザが発話した常に音声を入力し、送信部４２が、収音した音声を統合制御機器３に送信する。

以上説明したように、本発明の例示的な実施の形態に係る複数機器の音声操作システムでは、第１の実施形態同様に、機器特定部３４が、ユーザが発話した音声コマンドの認識結果から機器名を特定できなかった場合には、リモコン２から出力されたリモコン操作情報の中のリモコン識別情報を抽出し、リモコン識別情報に対応づけられている機器１０を、ユーザが操作対象としている機器であると特定する。但し、第１の実施形態と異なり、音声を入力する収音部４１とリモコン２が分離しているため、操作対象の機器がリモコン２に対応付けられた機器１０であることを特定するために必要なリモコン２の識別情報は、動作検出部２４が、リモコン２に対するユーザの動作を検知することによって出力されるようになっている。

これにより、本発明の例示的な第３の実施形態では、第１の実施形態と同様に、ホームネットワーク上にある複数の機器１０〜１２に、リモコン２とは違う場所に配置された音声入力機器４を用いた音声操作が行えるとともに、複数の機器のうち、リモコン２に対応付けられた特定の機器１０に関しては、リモコン２をユーザが把持すれば、機器名を省略した音声操作が可能である。

よって、第１の実施例と同様に、複数機器の中で特定の機器の使用頻度が高い場合、もしくは、音声操作を特定の機器しか行わない場合には、その機器名を発話する必要がなくなるので、ユーザの煩雑さを軽減できるとともに、特定の機器に対する迅速な操作指示が可能となる。

なお、第３の実施の形態において、統合制御機器３は、第１の実施の形態の統合制御機器を用いて説明したが、第２の実施の形態、つまり、機器操作履歴記憶部３９を備えた統合制御機器を用いてもよい。

また、第３の実施の形態において、リモコン２は、リモコン２の上面に配置された操作ボタンを検出する操作検出部２１を備えた構成としているが、なくてもよい。この場合、リモコン２は、従来の一般的なリモコンとは異なり、ユーザがリモコン２を握ったり、動かしたりした動作を、動作検出部２４が検知したときに、その情報をリモコン操作情報として機器１０〜１２や統合制御機器３に送信するようになる。

なお、上記各実施の形態において、リモコン２に対応付けられた機器１０と統合制御機器３は、別々の機器として構成されているが、統合制御機器３が、機器１０の構成要素である制御部１０２を含む構成にしてもよい。この場合、統合制御機器３において、制御部１０２は、制御情報生成部３６から出力された制御情報に基づいて、対応する操作を実行することになる。具体的に説明すると、上記第１の実施の形態の説明において、機器１０をテレビ、機器１１をビデオ、機器１２をエアコンとした例を示したが、統合制御機器３自体がテレビ、ビデオ、または、エアコンの機能をもっていてもよいということである。

また、上記各実施の形態において、リモコン２は、機器１０に対応付けられたリモコンと設定したが、ホームネットワークと統合制御機器３に接続された機器であれば、どの機器に対応付けられていてもよい。

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

さらに、上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、及びＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、及びＲＡＭなどから構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカード又はモジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

また、本発明の例示的な態様として、上記に示す方法が挙げられる。また、本発明の他の態様として、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、上記コンピュータプログラムからなるデジタル信号であるとしてもよい。

さらに、本発明のさらに他の例示的な態様は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、ＵＳＢメモリ、ＳＤカードなどのメモリカード、又は半導体メモリなどに記録したものも含む。また、本発明の例示的な態様は、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。

また、本発明の例示的な態様は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線或いは有線通信回線、インターネットを代表とするネットワーク、又はデータ放送等を経由して伝送するものも含む。

また、本発明の例示的な態様は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサが上記コンピュータプログラムに従って動作するようなコンピュータシステムを含む。

また、本発明の例示的な態様は、上記プログラム或いは上記デジタル信号を上記記録媒体に記録して移送することにより、又は、上記プログラム或いは上記デジタル信号を、上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより上記装置が実現される場合も含む。

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、上記コンテンツ管理方法に含まれる複数のステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

以上、一つまたは複数の態様に係るコンテンツの管理装置の実施の形態を説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本開示は、同一宅内に配置された複数の対象機器に接続され、前記複数の対象機器を管理する機器管理システムにおける機器制御方法に有用である。

１、１１１、１１２ 音声操作システム
２ リモコン
３ 統合制御機器
４ 音声入力機器
１０、１１、１２ 機器
２０ 収音部
２１ 操作検出部
２２ 操作情報生成部
２３ 送信部
３０ 受信部
３１ 音声認識部
３２ 操作情報解析部
３３ 宅内機器コマンドデータベース（ＤＢ）
３４ 機器特定部
３５ 操作特定部
３６ 制御情報生成部
３７ 送信部
３８ 記憶部
３９ 機器操作履歴記憶部
４１ 収音部
４２ 送信部
１０１ 通信部
１０２ 制御部

Claims (10)

1. 同一宅内に配置された複数の対象機器に接続され、前記複数の対象機器を管理する機器管理システムにおける機器制御方法であって、
   ネットワークを介して、前記複数の対象機器の中の特定対象機器と対応付けられた音声入力装置から、前記複数の対象機器の中の一以上の対象機器に対する操作指示を表す第１音声情報を含む指示情報を受信し、
   前記受信した指示情報に含まれる前記第１音声情報から前記操作指示を認識し、前記指示情報に前記操作指示による操作対象を表す第２音声情報が含まれるか否かを判断し、
   前記指示情報に前記第２音声情報が含まれない場合は、前記音声入力装置に対応する前記特定対象機器に、前記ネットワークを介して、前記認識された操作内容を実行させる制御コマンドを送信し、また、前記指示情報に前記第２音声情報が含まれる場合は、前記操作対象に対応する対象機器に、前記ネットワークを介して、前記制御コマンドを送信する、
   機器制御方法。
2. 前記指示情報は、前記音声入力装置を識別する識別情報を含み、
   前記識別情報と前記特定対象機器の機器ＩＤとを対応づけた第１データベースを参照して、前記特定対象機器を前記操作対象に対応する対象機器として特定し、
   前記特定対象機器に前記制御コマンドを送信する、
   請求項１に記載の機器制御方法。
3. 前記第２音声情報は、前記複数の対象機器のいずれかの対象機器を表す情報をさらに含み、
   前記複数の対象機器の各々に対応する機器ＩＤと前記第２音声情報とを対応づけた第２データベースを参照して、前記第２音声情報が表す対象機器を特定し、
   前記特定した対象機器に前記制御コマンドを送信する、
   請求項１から請求項２のいずれか一に記載の機器制御方法。
4. 前記音声入力装置は、物理ボタンまたはタッチパネルを備え、
   前記物理ボタンまたは前記タッチパネルを用いて入力される前記一の対象機器への操作指示を、無線通信を用いて送信する、
   請求項１に記載の音声機器操作方法。
5. 同一宅内に配置された複数の対象機器に接続され、前記複数の対象機器を管理する機器管理システムにおける機器制御方法であって、
   前記複数の対象機器の中の特定対象機器に対応付けられたリモートコントローラをユーザが使用している場合、ネットワークを介して、前記リモートコントローラから当該リモートコントローラを識別するリモコン識別情報を受信し、
   前記ネットワークを介して、前記機器管理システムに接続された音声入力装置から、前記複数の対象機器の中の一以上の対象機器に対する操作指示を表す第１音声情報を含む指示情報を受信し、
   前記受信した指示情報に含まれる前記第１音声情報から前記操作指示を認識し、前記指示情報に前記操作指示による操作対象を表す第２音声情報が含まれるか否かを判断し、
   前記指示情報に前記第２音声情報が含まれない場合は、前記受信したリモコン識別情報に基づいて、前記リモートコントローラに対応する前記特定対象機器を特定し、前記特定対象機器に、前記ネットワークを介して、前記認識された操作内容を実行させる制御コマンドを送信し、また、前記指示情報に前記第２音声情報が含まれる場合は、前記操作対象に対応する対象機器に、前記ネットワークを介して、前記制御コマンドを送信する、
   機器制御方法。
6. 前記第２音声情報は、前記複数の対象機器のいずれかの対象機器を表す情報をさらに含み、
   前記リモコン識別情報と前記特定対象機器の機器ＩＤとを対応づけた第１データベースを参照して、前記特定対象機器を前記操作対象に対応する対象機器として特定し、
   前記特定対象機器に前記制御コマンドを送信する、
   請求項５に記載の機器制御方法。
7. 前記第２音声情報は、前記複数の対象機器のいずれかの対象機器を表す情報をさらに含み、
   前記複数の対象機器の各々に対応する機器ＩＤと前記第２音声情報とを対応づけた第２データベースを参照して、前記第２音声情報が表す対象機器を前記操作対象に対応する対象機器として特定し、
   前記特定した対象機器に前記制御コマンドを送信する、
   請求項５から請求項６のいずれか一に記載の機器制御方法。
8. 同一宅内に配置された複数の対象機器に接続され、前記複数の対象機器を管理する機器管理システムであって、
   前記機器管理システムを管理する管理装置は、
   ネットワークを介して、前記複数の対象機器の中の特定対象機器と対応付けられた音声入力装置から、前記複数の対象機器の中の一以上の対象機器に対する操作指示を表す第１音声情報を含む指示情報を受信し、
   前記受信した指示情報に含まれる前記第１音声情報から前記操作指示を認識し、前記指示情報に前記操作指示による操作対象を表す第２音声情報が含まれるか否かを判断し、
   前記指示情報に前記第２音声情報が含まれない場合は、前記音声入力装置に対応する前記特定対象機器に、前記ネットワークを介して、前記認識された操作内容を実行させる制御コマンドを送信し、また、前記指示情報に前記第２音声情報が含まれる場合は、前記操作対象に対応する対象機器に、前記ネットワークを介して、前記制御コマンドを送信し、
   前記音声入力装置は、
   前記複数の対象機器の中の一以上の対象機器に対する操作指示を表す第１音声情報を含む指示情報を送信する、
   機器管理システム。
9. 請求項８に記載の機器管理システムに接続される音声入力装置。
10. 制御機器のコンピュータによって実行されるコンピュータプログラムであって、
    前記制御機器は、同一宅内に配置された複数の対象機器を、音声を利用して操作する音声操作システムに含まれており、
    前記コンピュータプログラムは前記コンピュータに、
    ネットワークおよび前記制御機器の受信部を介して、前記複数の対象機器の中の特定対象機器と対応付けられた音声入力装置から、前記複数の対象機器の中の一以上の対象機器に対する操作指示を表す第１音声情報を含む指示情報を利用して受信させ、
    前記受信した指示情報に含まれる前記第１音声情報から前記操作指示を認識させ、
    前記指示情報に前記操作指示による操作対象を表す第２音声情報が含まれるか否かを判断させ、
    前記指示情報に前記第２音声情報が含まれない場合は、前記音声入力装置に対応する前記特定対象機器に、前記ネットワークを介して、前記認識された操作内容を実行させる制御コマンドを送信し、また、前記指示情報に前記第２音声情報が含まれる場合は、前記操作対象に対応する対象機器に、前記制御機器の送信部および前記ネットワークを介して、前記制御コマンドを送信させる、
    コンピュータプログラム。

Images