JP7284793B2 - 音声操作支援システム、音声操作システム、音声処理装置、音声操作支援装置、音声操作支援方法及びプログラム - Google Patents

Description

本発明は、音声操作支援システム、音声操作システム、音声処理装置、音声操作支援装置、音声操作支援方法及びプログラムに関する。

従来、宅内に設置された音声入力装置を介して入力されたユーザの音声を宅外のサーバにより認識し、その認識結果に基づいて、宅内の家電機器を制御するシステムに関し、様々な提案がなされている（例えば、特許文献１）。

近年、この種のシステムでは、音声入力装置を販売するメーカによって運営され、音声認識を行うサーバ（以下、第１サーバという。）と、家電機器を販売するメーカによって運営され、家電機器の制御を行うサーバ（以下、第２のサーバという。）との協調によって音声操作サービスを提供する構成が進展しつつある。

具体的には、上記のシステムにおいて、第１サーバと、複数の異なるメーカそれぞれに対応する複数の第２サーバとがインターネットを介して接続され、メーカの違いに依存しない共通の音声操作により、メーカが異なる同種の家電機器（例えば、エアコン）に対して同様の制御を行えるようにしている。

国際公開第２０１４／１７１１４４号

しかしながら、上記の共通の音声操作は、電源のオン／オフ、運転の開始／終了等の基本的な操作に対応するものに限定されている。このため、ユーザは、家電機器に対して、当該メーカ固有の操作を容易に行うことができず、保有する家電機器を十分に活用できていないというのが実情である。

本発明は、上記実情に鑑みてなされたものであり、家電機器の十分な活用が図れる音声操作支援システム等を提供することを目的とする。

上記目的を達成するため、本発明に係る音声操作支援システムは、
音声入出力装置からユーザの音声に基づく第１音声データを受信する音声データ受信手段と、
前記受信された第１音声データが、家電機器の操作についての問合せを示す場合、家電機器の機種毎に、当該機種に対する固有の操作について、説明を示す情報を対応付けた操作説明情報データベースを参照して、前記問合せに対する回答情報を生成する回答情報生成手段と、
前記家電機器の固有の操作の使用状況に基づいて、当該固有の操作を前記ユーザに促すアドバイス情報を生成するアドバイス情報生成手段と、
前記回答情報に基づく音声を示す第２音声データを前記音声入出力装置に送信し、前記アドバイス情報に基づく音声を示す第３音声データを前記音声入出力装置に送信する音声データ送信手段と、を備える。

本発明によれば、家電機器の十分な活用が図れる。

本発明の実施の形態１に係る音声操作支援システムを包含した音声操作システムの全体構成を示す図 実施の形態１に係る音声入出力装置のハードウェア構成を示すブロック図 実施の形態１に係る音声入出力装置の機能構成を示すブロック図 実施の形態１に係る音声処理装置のハードウェア構成を示すブロック図 実施の形態１に係る音声処理装置が備える二次記憶装置について説明するための図 実施の形態１に係る音声処理装置が備える二次記憶装置に記憶される機器操作情報ＤＢについて説明するための図 実施の形態１に係る音声処理装置が備える二次記憶装置に記憶される顧客機器情報ＤＢについて説明するための図 実施の形態１に係る機器制御装置のハードウェア構成を示すブロック図 実施の形態１に係る機器制御装置が備える二次記憶装置について説明するための図 実施の形態１に係る機器制御装置が備える二次記憶装置に記憶される機器操作情報ＤＢについて説明するための図 実施の形態１に係る機器制御装置が備える二次記憶装置に記憶される顧客機器情報ＤＢについて説明するための図 実施の形態１に係る音声操作支援装置のハードウェア構成を示すブロック図 実施の形態１に係る音声操作支援装置が備える二次記憶装置について説明するための図 実施の形態１に係る音声操作支援装置が備える二次記憶装置に記憶される操作説明情報ＤＢ（エアコン）について説明するための図 実施の形態１に係る音声操作支援装置が備える二次記憶装置に記憶される操作説明情報ＤＢ（テレビ）について説明するための図 実施の形態１に係る音声操作支援装置が備える二次記憶装置に記憶される機器情報ＤＢについて説明するための図 実施の形態１に係る音声処理装置の機能構成を示すブロック図 実施の形態１において、操作情報の構成を示す図 実施の形態１において、ユーザの発話内容と、生成される操作情報との対応関係の一例を示す図 実施の形態１において、要求情報の構成を示す図 実施の形態１において、要求番号を説明するための図 実施の形態１において、ユーザの発話内容と、生成される要求情報との対応関係の一例を示す図 実施の形態１において、音声処理の手順を示すフローチャート 実施の形態１において、操作情報生成処理の手順を示すフローチャート 実施の形態１において、要求情報生成処理の手順を示すフローチャート 実施の形態１に係る機器制御装置の機能構成を示すブロック図 実施の形態１に係る音声操作支援装置の機能構成を示すブロック図 実施の形態１において、要求情報と、生成される回答情報との対応関係の一例を示す図 実施の形態１において、音声操作支援処理の手順を示すフローチャート 本発明の実施の形態２に係る音声操作支援システムを包含した音声操作システムの全体構成を示す図 実施の形態２に係る音声処理装置の機能構成を示すブロック図 実施の形態２において、第２要求情報の構成を示す図 実施の形態２において、要求番号を説明するための図 実施の形態２において、ユーザの発話内容と、生成される第２要求情報との対応関係の一例を示す図 実施の形態２に係る音声操作支援装置が備える二次記憶装置について説明するための図 実施の形態２に係る音声操作支援装置が備える二次記憶装置に記憶される操作実績情報ＤＢについて説明するための図 実施の形態２に係る音声操作支援装置の機能構成を示すブロック図 実施の形態２において、利用傾向について説明するための図 実施の形態２において、利用傾向について説明するための図 実施の形態２において、第２要求情報と、生成されるアドバイス情報との対応関係の一例を示す図 本発明の実施の形態３に係る音声操作支援システムを包含した音声操作システムの全体構成を示す図 実施の形態３に係る音声処理装置が備える二次記憶装置について説明するための図 実施の形態３に係る音声処理装置が備える二次記憶装置に記憶される顧客機器情報ＤＢについて説明するための図 実施の形態３に係る音声処理装置が備える二次記憶装置に記憶される操作履歴ＤＢについて説明するための図 実施の形態３に係る音声処理装置が備える二次記憶装置に記憶される操作履歴ＤＢについて説明するための図 実施の形態３に係る音声処理装置が備える二次記憶装置に記憶される操作シーケンスＤＢについて説明するための図 実施の形態３に係る音声処理装置の機能構成を示すブロック図 実施の形態３において、連続指標を算出するための各パラメータについて説明するための図 実施の形態３において、連続操作テーブルの一例を示す図

以下、本発明の実施の形態について図面を参照して詳細に説明する。

実施の形態１．
図１は、本発明の実施の形態１に係る音声操作支援システムを包含した音声操作システム１の全体構成を示す図である。音声操作システム１は、家屋Ｈに設置された家電機器２を音声操作により制御できるようにしたシステムであり、１又は複数の家電機器２と、音声入出力装置３と、ホームゲートウェイ４と、音声処理装置５と、機器制御装置６と、音声操作支援装置７とを備える。また、実施の形態１に係る音声操作支援システムは、ユーザによる音声操作を支援するためのシステムであり、音声入出力装置３と、ホームゲートウェイ４と、音声処理装置５と、音声操作支援装置７とにより構成される。

各家電機器２は、エアコン、テレビ、ＩＨ（Induction Heating）調理器等であり、家屋Ｈ（敷地も含む）内に設置される。各家電機器２は、いわゆるＩｏＴ（Internet of Things）機器、情報家電、ネット家電、スマート家電等と称され、ブロードバンドルータとしての機能を有するホームゲートウェイ４を介してインターネットに接続される。

音声入出力装置３は、本発明に係る音声入出力装置の一例である。音声入出力装置３は、ユーザの発話により入力された音声に基づいて様々なサービスを提供する装置であり、いわゆるＡＩスピーカ（スマートスピーカともいう。）である。音声入出力装置３は、図２に示すように、マイク３０と、Ａ／Ｄコンバータ３１と、スピーカ３２と、通信インタフェース３３と、ＣＰＵ（Central Processing Unit）３４と、ＲＯＭ（Read Only Memory）３５と、ＲＡＭ（Random Access Memory）３６と、二次記憶装置３７とを備える。これらの構成部は、バス３８を介して相互に接続される。

マイク３０は、ユーザが発した音声を入力し、入力した音声からアナログ音声信号を生成して、Ａ／Ｄコンバータ３１に出力する。Ａ／Ｄコンバータ３１は、マイク３０から出力されたアナログ音声信号からノイズを除去し、デジタル音声信号を生成し、ＣＰＵ３４に供給する。スピーカ３２は、ＣＰＵ３４から供給されたデジタル音声信号に対応する音声を出力する。

通信インタフェース３３は、ホームゲートウェイ４と有線又は無線にて通信接続し、ホームゲートウェイ４を介して、インターネットに接続される音声処理装置５と通信するためのネットワークカードを備える。

ＣＰＵ３４は、当該音声入出力装置３を統括的に制御する。ＣＰＵ３４によって実現される音声入出力装置３の機能の詳細については後述する。ＲＯＭ３５は、複数のファームウェア及びこれらのファームウェアの実行時に使用されるデータを記憶する。ＲＡＭ３６は、ＣＰＵ３４の作業領域として使用される。

二次記憶装置３７は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリ又はＨＤＤ（Hard Disk Drive）を含んで構成される。二次記憶装置３７は、音声入出力プログラムと、かかる音声入出力プログラムの実行時に使用されるデータとを記憶する。音声入出力プログラムは、ユーザの音声を入力し、入力した音声に基づく音声データを音声処理装置５に送信する処理と、音声処理装置５から音声データを受信し、受信した音声データに基づく音声を出力する処理とが記述されたプログラムである。

音声入出力装置３は、機能的には、図３に示すように、音声入力部３００と、送信部３０１と、受信部３０２と、音声出力部３０３とを備える。これらの機能部は、ＣＰＵ３４が二次記憶装置３７に記憶されている上記の音声入出力プログラムを実行することで実現される。

音声入力部３００は、ユーザが発話した音声を入力し、入力した音声に基づく音声データを生成する。詳細には、音声入力部３００は、ユーザの音声を示すアナログ音声信号にＰＣＭ（Pulse Code Modulation: パルス符号変調）を適用してデジタル音声信号に変換し、さらに非可逆圧縮を適用することにより音声データを生成する。

送信部３０１は、音声入力部３００により生成された音声データをホームゲートウェイ４を介して音声処理装置５に送信する。

受信部３０２は、音声処理装置５から送信された音声データをホームゲートウェイ４を介して受信する。音声出力部３０３は、受信部３０２により受信された音声データに基づく音声を出力する。

図１に戻り、音声処理装置５は、本発明に係る音声処理装置の一例である。音声処理装置５は、音声入出力装置３のメーカ、販売会社等によって設置され、運用されるサーバコンピュータであり、インターネットに接続される。音声処理装置５は、音声入出力装置３及び後述する機器制御装置６と協調して、家電機器２に対する音声操作を実現する。また、音声処理装置５は、音声入出力装置３及び後述する音声操作支援装置７と協調して、音声操作を支援するサービスをユーザに提供する。音声処理装置５は、図４に示すように、通信インタフェース５０と、ＣＰＵ５１と、ＲＯＭ５２と、ＲＡＭ５３と、二次記憶装置５４とを備える。これらの構成部は、バス５５を介して相互に接続される。

通信インタフェース５０は、インターネットに接続して、ホームゲートウェイ４、機器制御装置６、音声操作支援装置７等の他の装置と通信するための装置である。ＣＰＵ５１は、当該音声処理装置５を統括的に制御する。ＣＰＵ５１によって実現される音声処理装置５の機能の詳細については後述する。

ＲＯＭ５２は、複数のファームウェアとこれらのファームウェアの実行時に使用されるデータを記憶する。ＲＡＭ５３は、ＣＰＵ５１の作業領域として使用される。

二次記憶装置５４は、ＥＥＰＲＯＭ、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリ又はＨＤＤを含んで構成される大容量の記憶装置である。二次記憶装置５４は、図５に示すように、音声処理プログラム５４０と、機器操作情報ＤＢ５４１と、顧客情報ＤＢ５４２と、顧客機器情報ＤＢ５４３とを記憶する。なお、この他にも、二次記憶装置５４は、音声認識のためのデータベースである音声認識ＤＢ等を記憶する。

音声処理プログラム５４０は、音声操作サービスを実現するための音声処理に関するプログラムである。音声処理プログラム５４０には、音声データ解析処理、機器操作関連処理、操作支援関連処理等が記述されている。

音声データ解析処理には、音声入出力装置３から送信された音声データを上記の音声認識ＤＢを使用して解析し、音声の内容を取得する処理が含まれる。機器操作関連処理には、取得した音声の内容に基づいて家電機器２に対する操作情報を生成し、機器制御装置６に送信する処理と、機器制御装置６からの結果情報に基づく音声データを音声入出力装置３に送信する処理とが含まれる。操作支援関連処理には、家電機器２の操作についてのユーザからの問い合わせに対する回答を要求するための要求情報を音声操作支援装置７に送信する処理と、音声操作支援装置７からの回答情報に基づく音声データを音声入出力装置３に送信する処理とが含まれる。

機器操作情報ＤＢ５４１は、家電機器２の機種毎に、当該機種に対応する全ての操作に関する情報が登録されたデータベースである。詳細には、図６に示すように、機器操作情報ＤＢ５４１には、家電機器２の機種毎に、操作番号５４１０、カテゴリ５４１１、操作名称５４１２、設定内容５４１３等の項目を含むレコードが登録されている。本実施の形態において、機種とは、当該家電機器２が備える本質的な機能に基づいた種類（例えば、エアコン、テレビ、ＩＨ調理器等）を意味する。

操作番号５４１０には、操作番号が格納される、操作番号とは、当該機種において、操作毎に一意に割り振られた番号である。カテゴリ５４１１には、操作番号５４１０に格納された操作番号に対応するカテゴリ名が格納される。カテゴリ名とは、当該機種における当該操作の性質上の分類を示す名称である。例えば、家電機器２の機種がエアコンの場合、カテゴリ５４１１には、“基本操作”、“省エネ操作”及び“見守り操作”の内の何れか１つが格納される。また、例えば、家電機器２の機種がテレビの場合、カテゴリ５４１１には、“基本操作”、“省エネ操作”及び“ダビング操作”の内の何れか１つが格納される。

なお、本実施の形態において、カテゴリ名が“基本操作”に該当する操作（例えば、エアコンでは、１：運転開始、２：運転終了）は、当該機種に属する家電機器２に対するメーカ間で共通の操作であることを意味する。つまり、“基本操作”に該当する操作については、当該音声操作サービスに協賛する全てのメーカの当該機種に属する全ての家電機器２で対応可能であることを意味する。

一方、カテゴリ名が“基本操作”以外に該当する操作（例えば、エアコンでは、３：スマートストップ、４：ハイブリッド運転設定、５：高温見守り、６：低温見守り、７：快眠見守り）は、上記の全てのメーカの内の何れか１つのメーカの当該機種に属する家電機器２で対応可能である、即ち、当該メーカの固有の操作であることを意味する。

操作名称５４１２には、操作名称が格納される。操作名称とは、操作番号５４１０に格納された操作番号に対応する操作の名称であり、ユーザが当該操作を行うために発話する音声の内容でもある。設定内容５４１３には、設定内容が格納される。設定内容とは、当該操作の際、当該家電機器２に対して設定が可能な内容である。機器操作情報ＤＢ５４１は、例えば、ＯＡｕｔｈ２．０により、音声処理装置５と機器制御装置６とが適宜連携動作することで、機器制御装置６が保持する機器操作情報ＤＢとリンクされる。これにより、機器操作情報ＤＢ５４１の内容が更新される。

図５に戻り、顧客情報ＤＢ５４２は、音声操作サービスに加入している各顧客の個人情報が登録されたデータベースである。顧客情報ＤＢ５４２には、各顧客の氏名、住所、性別、生年月日、当該顧客宅（即ち、当該顧客の家屋Ｈ）に設置されている音声入出力装置３のＩＰ（Internet Protocol）アドレス等の情報が登録されている。

顧客機器情報ＤＢ５４３は、各顧客宅に設置されている全ての家電機器２に関する情報が登録されたデータベースである。詳細には、図７に示すように、顧客機器情報ＤＢ５４３には、顧客毎に、機器ＩＤ５４３０、機種名称５４３１、型名５４３２、設置場所５４３３、対応操作５４３４等の項目を含むレコードが当該顧客宅に設置されている全ての家電機器２の台数分登録されている。

機器ＩＤ５４３０には、当該家電機器２の機器ＩＤが格納される。機器ＩＤとは、当該音声操作サービスにおいて、各家電機器２を識別するために割り振られたＩＤ（identification）である。機種名称５４３１には、当該家電機器２が属する機種の名称（例えば、“エアコン”、“テレビ”、“ＩＨ調理器”等）が格納される。型名５４３２には、当該家電機器２の型名（型番ともいう。）が格納される。設置場所５４３３には、当該家電機器２の設置場所を示す名称（例えば、“リビング”、“寝室”、“キッチン”等）が格納される。対応操作５４３４には、当該家電機器２に対して操作可能な全ての操作の操作番号が格納される。

顧客情報ＤＢ５４２及び顧客機器情報ＤＢ５４３は、例えば、ＯＡｕｔｈ２．０により、音声処理装置５と機器制御装置６とが適宜連携動作することで、機器制御装置６が保持する顧客情報ＤＢ及び顧客機器情報ＤＢとリンクされる。これにより、顧客情報ＤＢ５４２及び顧客機器情報ＤＢ５４３の内容が更新される。

図１に戻り、機器制御装置６は、家電機器２のメーカ、販売会社等によって設置され、運用されるサーバコンピュータであり、インターネットに接続される。機器制御装置６は、音声処理装置５と協調して、家電機器２に対する音声操作を実現する。

機器制御装置６は、図８に示すように、通信インタフェース６０と、ＣＰＵ６１と、ＲＯＭ６２と、ＲＡＭ６３と、二次記憶装置６４とを備える。これらの構成部は、バス６５を介して相互に接続される。

通信インタフェース６０は、インターネットに接続して、ホームゲートウェイ４、音声処理装置５等の他の装置と通信するための装置である。ＣＰＵ６１は、当該機器制御装置６を統括的に制御する。ＣＰＵ６１によって実現される機器制御装置６の機能の詳細については後述する。

ＲＯＭ６２は、複数のファームウェアとこれらのファームウェアの実行時に使用されるデータを記憶する。ＲＡＭ６３は、ＣＰＵ６１の作業領域として使用される。

二次記憶装置６４は、ＥＥＰＲＯＭ、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリ又はＨＤＤを含んで構成される大容量の記憶装置である。二次記憶装置６４は、図９に示すように、機器制御プログラム６４０と、機器操作情報ＤＢ６４１と、顧客情報ＤＢ６４２と、顧客機器情報ＤＢ６４３とを記憶する。

機器制御プログラム６４０は、音声処理装置５と協調して家電機器２に対する音声操作を実現するためプログラムである。機器制御プログラム６４０には、音声処理装置５からの操作情報に基づいて、対応する家電機器２を制御する処理、当該家電機器２の制御結果を示す結果情報を音声処理装置５に送信する処理等が記述されている。

機器操作情報ＤＢ６４１は、自社の家電機器２の操作に関する情報が登録されたデータベースである。詳細には、図１０に示すように、機器操作情報ＤＢ６４１には、家電機器２の機種毎に、型名６４１０、操作番号６４１１、操作名称６４１２、設定内容６４１３等の項目を含むレコードが登録されている。型名６４１０には、当該家電機器２の型名が格納される。操作番号６４１１には、操作番号が格納される。操作名称６４１２には、操作番号６４１１に格納された操作番号に対応する操作名称が格納される。設定内容６４１３には、当該操作に対応する設定内容が格納される。機器操作情報ＤＢ６４１の各レコードの内容は、例えば、図示しないＤＢ構築部により、各機種の家電機器２の取扱説明書のデータから自動的に生成され、各レコードに設定されるようにしてもよい。

上述したように、例えば、ＯＡｕｔｈ２．０により、機器制御装置６と音声処理装置５とが適宜連携動作することで、機器制御装置６の機器操作情報ＤＢ６４１と、音声処理装置５の機器操作情報ＤＢ５４１とがリンクされる。これにより、音声処理装置５の機器操作情報ＤＢ５４１の内容が更新される。

図９に戻り、顧客情報ＤＢ６４２は、自社の家電機器２の購入者であって、当該音声操作サービスに加入している各顧客の個人情報が登録されたデータベースである。顧客情報ＤＢ６４２には、各顧客の氏名、住所、性別、生年月日等の情報が登録されている。

顧客機器情報ＤＢ６４３は、各顧客宅に設置されている自社の家電機器２に関する情報が登録されたデータベースである。詳細には、図１１に示すように、顧客機器情報ＤＢ６４３には、顧客毎に、機器ＩＤ６４３０、機種名称６４３１、型名６４３２、設置場所６４３３、対応操作６４３４、通信アドレス６４３５等の項目を含むレコードが当該顧客宅に設置されている自社の家電機器２の台数分登録されている。

機器ＩＤ６４３０には、当該家電機器２に割り振られた機器ＩＤが格納される。機種名称６４３１には、当該家電機器２が属する機種の名称が格納される。型名６４３２には、当該家電機器２の型名が格納される。設置場所６４３３には、当該家電機器２の設置場所を示す名称が格納される。対応操作６４３４には、当該家電機器２に対して操作可能な全ての操作の操作番号が格納される。通信アドレス６４３５には、当該家電機器２のＩＰアドレスが格納される。

家電機器２を購入したユーザは、スマートフォン、タブレット端末等に予めインストールされた音声操作サービスを利用するためのアプリケーションプログラム（以下、音声操作アプリという。）を起動し、自己の個人情報及び家電機器２に関する情報を機器制御装置６に登録するための予め定められた手続（以下、登録手続という。）を行う。これにより、当該ユーザの個人情報及び当該ユーザ宅の家電機器２に関する情報が、当該スマートフォン、タブレット端末等から機器制御装置６に送信される。上記の音声操作アプリは、機器制御装置６、その他のプログラム配布サーバ等から当該スマートフォン、タブレット端末等にダウンロードすることができる。

上記の登録手続において、機種の名称、型名及びＩＰアドレスは、上記の音声操作アプリを起動したスマートフォン、タブレット端末等によって、ホームゲートウェイ４を介した通信により当該家電機器２から取得される。

上述したように、例えば、ＯＡｕｔｈ２．０により、機器制御装置６と音声処理装置５とが適宜連携動作することで、機器制御装置６の顧客情報ＤＢ６４２及び顧客機器情報ＤＢ６４３と、音声処理装置５の顧客情報ＤＢ５４２及び顧客機器情報ＤＢ５４３とがリンクされる。これにより、音声処理装置５の顧客情報ＤＢ５４２及び顧客機器情報ＤＢ５４３の内容が更新される。

図１に戻り、音声操作支援装置７は、本発明に係る音声操作支援装置の一例である。音声操作支援装置７は、当該音声操作サービスに協賛する複数のメーカの共同によって、あるいは、第三者機関によって運用されるサーバコンピュータであり、インターネットに接続される。音声操作支援装置７は、音声入出力装置３及び音声処理装置５と協調して、音声操作支援サービスを実現する。音声操作支援装置７は、図１２に示すように、通信インタフェース７０と、ＣＰＵ７１と、ＲＯＭ７２と、ＲＡＭ７３と、二次記憶装置７４とを備える。これらの構成部は、バス７５を介して相互に接続される。

通信インタフェース７０は、インターネットに接続して、音声処理装置５等の他の装置と通信するための装置である。ＣＰＵ７１は、当該音声操作支援装置７を統括的に制御する。ＣＰＵ７１によって実現される音声操作支援装置７の機能の詳細については後述する。ＲＯＭ７２は、複数のファームウェアとこれらのファームウェアの実行時に使用されるデータを記憶する。ＲＡＭ７３は、ＣＰＵ７１の作業領域として使用される。

二次記憶装置７４は、ＥＥＰＲＯＭ、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリ又はＨＤＤを含んで構成される大容量の記憶装置である。二次記憶装置７４は、図１３に示すように、音声操作支援プログラム７４０と、操作説明情報ＤＢ７４１と、機器情報ＤＢ７４２とを記憶する。二次記憶装置７４は、本発明に係る記憶装置の一例である。

音声操作支援プログラム７４０は、音声操作の支援に関する処理が記述されたプログラムである。操作説明情報ＤＢ７４１は、家電機器２の機種毎の各操作について、ユーザに説明するための情報が登録されたデータベースである。詳細には、図１４，１５に示すように、操作説明情報ＤＢ７４１には、家電機器２の機種毎に、操作番号７４１０、カテゴリ７４１１、操作名称７４１２、概略説明７４１３、詳細説明７４１４、注意事項７４１５等の項目を含むレコードが登録されている。操作説明情報ＤＢ７４１の各レコードの内容は、例えば、図示しないＤＢ構築部により、各機種の家電機器２の取扱説明書のデータから自動的に生成され、各レコードに設定されるようにしてもよい。

操作番号７４１０には、操作番号が格納される。カテゴリ７４１１には、操作番号７４１０に格納された操作番号に対応するカテゴリ名が格納される。操作名称７４１２には、当該操作番号に対応する操作名称が格納される。概略説明７４１３には、当該操作についての簡易的な説明を示す情報が格納される。詳細説明７４１４には、当該操作についての詳細な説明を示す情報が格納される。注意事項７４１５には、当該操作について注意すべき事項を示す情報が格納される。

図１３に戻り、機器情報ＤＢ７４２は、全ての顧客の家電機器２に関する情報が登録されたデータベースである。詳細には、図１６に示すように、機器情報ＤＢ７４２には、機器ＩＤ７４２０と、機種名称７４２１、設置場所７４２２、対応操作７４２３等の項目を含むレコードが各顧客宅に設置されている全ての家電機器２の総台数分登録されている。

機器ＩＤ７４２０には、当該家電機器２に割り振られた機器ＩＤが格納される。機種名称７４２１には、当該家電機器２が属する機種の名称が格納される。設置場所７４２２には、当該家電機器２の設置場所を示す名称が格納される。対応操作７４２３には、当該家電機器２に対して操作可能な全ての操作の操作番号が格納される。機器情報ＤＢ７４２は、例えば、ＯＡｕｔｈ２．０により、音声操作支援装置７と機器制御装置６とが適宜連携動作することで、機器制御装置６が保持する顧客機器情報ＤＢ６４３とリンクされる。これにより、機器情報ＤＢ７４２の内容が更新される。

続いて、音声処理装置５の機能について説明する。図１７に示すように、音声処理装置５は、機能的には、音声データ受信部５００と、音声データ解析部５０１と、操作情報生成部５０２と、操作情報送信部５０３と、要求情報生成部５０４と、要求情報送信部５０５と、結果情報受信部５０６と、音声データ生成部５０７と、音声データ送信部５０８と、回答情報受信部５０９とを備える。これらの機能部は、ＣＰＵ５１が二次記憶装置５４に記憶されている音声処理プログラム５４０を実行することで実現される。

音声データ受信部５００は、本発明に係る音声データ受信手段の一例である。音声データ受信部５００は、音声入出力装置３からホームゲートウェイ４を介して送信された音声データを受信する。当該音声データは、本発明に係る第１音声データの一例である。音声データ解析部５０１は、音声データ受信部５００により受信された音声データを解析して、ユーザの発話内容を示すテキストデータ（以下、音声内容データという。）を生成する。音声データ解析部５０１は、生成した音声内容データが家電機器２に対する操作を示す場合、当該音声内容データを操作情報生成部５０２に供給する。一方、生成した音声内容データが家電機器２の操作についての問合せを示す場合、音声データ解析部５０１は、当該音声内容データを要求情報生成部５０４に供給する。

操作情報生成部５０２は、音声データ解析部５０１から供給された音声内容データと、機器操作情報ＤＢ５４１と、顧客情報ＤＢ５４２と、顧客機器情報ＤＢ５４３とに基づいて操作情報を生成する。操作情報には、図１８に示すように、機器ＩＤ５０２０、操作番号５０２１、設定内容５０２２等の項目が含まれている。機器ＩＤ５０２０には、対象となる家電機器２の機器ＩＤが格納される。操作番号５０２１には、対象となる操作に対応する操作番号が格納される。設定内容５０２２には、当該操作においてユーザが指示した設定内容が格納される。

操作情報生成部５０２は、音声内容データに含まれる場所及び機種のそれぞれを示すキーワードから、当該顧客宅における当該音声操作の対象となる家電機器２を同定する。例えば、音声内容データに、“リビング”及び“エアコン”が含まれている場合、操作情報生成部５０２は、機器ＩＤが“Ｒ１１１”の家電機器２を当該音声操作の対象の家電機器２として同定する。

また、操作情報生成部５０２は、同定した家電機器２の機器ＩＤと、音声内容データに含まれる操作名称及び／又は設定内容を示すキーワード（例えば、“運転開始”、“運転終了”、“電源オン”、“電源オフ”、“高温見守りオン”等）とから、操作番号及び／又は設定内容を同定する。図１９に、ユーザの発話内容と、生成される操作情報との対応関係の一例を示す。

操作情報送信部５０３は、操作情報生成部５０２により生成された操作情報を機器制御装置６に送信する。

要求情報生成部５０４は、音声データ解析部５０１から供給された音声内容データと、機器操作情報ＤＢ５４１と、顧客情報ＤＢ５４２と、顧客機器情報ＤＢ５４３とに基づいて要求情報を生成する。要求情報には、図２０に示すように、機器ＩＤ５０４０、操作番号５０４１、カテゴリ５０４２、要求番号５０４３等の項目が含まれている。機器ＩＤ５０４０には、対象となる家電機器２の機器ＩＤが格納される。操作番号５０４１には、対象となる操作に対応する操作番号が格納される。ただし、操作を指定しない問合せの場合、操作番号５０４１には、予め定めたダミーデータが格納される。

カテゴリ５０４２には、対象となるカテゴリ名が格納される。ただし、カテゴリを指定しない問合せの場合、カテゴリ５０４２には、予め定めたダミーデータが格納される。要求番号５０４３には、要求番号が格納される。要求番号とは、図２１に示すように、要求内容毎に一意に割り振られた番号である。

要求情報生成部５０４は、音声内容データに含まれる場所及び機種のそれぞれを示すキーワードから、当該顧客宅における当該問合せの対象となる家電機器２を同定する。例えば、音声内容データに、“リビング”及び“エアコン”が含まれている場合、要求情報生成部５０４は、機器ＩＤが“Ｒ１１１”の家電機器２を当該問合せの対象となる家電機器２として同定する。要求情報生成部５０４は、同定した機器ＩＤを機器ＩＤ５０４０に格納する。

要求情報生成部５０４は、音声内容データに、操作名称又はカテゴリ名を示すキーワードが存在するか否かを判定する。何れのキーワードも存在しない場合、要求情報生成部５０４は、要求番号５０４３に“１００”を格納する。また、要求情報生成部５０４は、操作番号５０４１及びカテゴリ５０４２のそれぞれにダミーデータを格納する。

音声内容データにカテゴリ名を示すキーワードが存在する場合、要求情報生成部５０４は、要求番号５０４３に“１０１”を格納する。また、要求情報生成部５０４は、操作番号５０４１にダミーデータを格納し、カテゴリ５０４２に当該カテゴリ名を示すキーワードを格納する。

音声内容データに操作名称を示すキーワードが存在する場合、要求情報生成部５０４は、同定した家電機器２の機器ＩＤと、当該操作名称とに基づいて、操作番号を同定する。要求情報生成部５０４は、同定した操作番号を操作番号５０４１に格納する。要求情報生成部５０４は、音声内容データに“詳しく”又は“注意事項”が存在するか否かを判定する。何れも存在しない場合、要求情報生成部５０４は、要求番号５０４３に“１０２”を格納し、カテゴリ５０４２にダミーデータを格納する。

音声内容データに“詳しく”が存在する場合、要求情報生成部５０４は、要求番号５０４３に“１０３”を格納し、カテゴリ５０４２にダミーデータを格納する。音声内容データに“注意事項”が存在する場合、要求情報生成部５０４は、要求番号５０４３に“１０４”を格納し、カテゴリ５０４２にダミーデータを格納する。

以上のようにして要求情報生成部５０４は、ユーザの発話内容に応じた要求情報を生成する。図２２に、ユーザの発話内容と、生成される要求情報との対応関係の一例を示す。

要求情報送信部５０５は、要求情報生成部５０４が生成した要求情報を音声操作支援装置７に送信する。要求情報生成部５０４及び要求情報送信部５０５は、本発明に係る回答要求手段の一例である。

結果情報受信部５０６は、機器制御装置６から結果情報を受信する。結果情報とは、先に送信した操作情報に従って、対象の家電機器２が正常に操作されたか否かを示す情報である。結果情報受信部５０６は、受信した結果情報を音声データ生成部５０７に供給する。音声データ生成部５０７は、結果情報受信部５０６から供給された結果情報に基づいて、公知の音声合成処理により音声データを生成し、生成した音声データを音声データ送信部５０８に供給する。当該音声データは、本発明に係る第２音声データの一例である。音声データ送信部５０８は、音声データ生成部５０７から供給された音声データを音声入出力装置３に送信する。音声データ送信部５０８は、本発明に係る音声データ送信手段の一例である。

回答情報受信部５０９は、音声操作支援装置７から回答情報を受信する。回答情報とは、先に送信した要求情報に応答して音声操作支援装置７が生成した情報であり、ユーザの問合せに対する回答を示す情報である。回答情報受信部５０９は、受信した回答情報を音声データ生成部５０７に供給する。音声データ生成部５０７は、回答情報受信部５０９から供給された回答情報に基づいて、公知の音声合成処理により音声データを生成し、生成した音声データを音声データ送信部５０８に供給する。音声データ送信部５０８は、音声データ生成部５０７から供給された音声データを音声入出力装置３に送信する。

図２３は、音声処理装置５が実行する音声処理の手順を示すフローチャートである。音声入出力装置３から送信された音声データが音声データ受信部５００により受信されると（ステップＳ１０１；ＹＥＳ）、音声データ解析部５０１は、当該音声データを解析して（ステップＳ１０２）、音声内容データを生成する。

音声データ解析部５０１が生成した音声内容データが、家電機器２に対する操作を示す場合（ステップＳ１０３；ＹＥＳ）、音声処理装置５は、操作情報生成処理を実行する（ステップＳ１０４）。一方、上記の音声内容データが、家電機器２に対する操作を示すものではない、即ち、家電機器２の操作についての問合せを示す場合（ステップＳ１０３；ＮＯ）、音声処理装置５は、要求情報生成処理を実行する（ステップＳ１０５）。

図２４は、操作情報生成処理の手順を示すフローチャートである。操作情報生成部５０２は、音声データ解析部５０１が生成した音声内容データに、操作情報を生成する際に必要となる情報が不足しているか否かを判定する（ステップＳ２０１）。

例えば、音声内容データに、対象となる家電機器２の機種を示すキーワード及び設置場所を示すキーワードの内の何れかが含まれていない場合、操作情報生成部５０２は、必要となる情報が不足していると判定する。

必要な情報が不足していない場合（ステップＳ２０１；ＮＯ）、操作情報生成部５０２は、上述したようにして操作情報を生成する（ステップＳ２０２）。操作情報送信部５０３は、操作情報生成部５０２が生成した操作情報を機器制御装置６に送信する（ステップＳ２０３）。

結果情報受信部５０６は、機器制御装置６から結果情報を受信する（ステップＳ２０４）。音声データ生成部５０７は、結果情報受信部５０６が受信した結果情報に基づく音声データを生成する（ステップＳ２０５）。

一方、必要な情報が不足している場合（ステップＳ２０１；ＹＥＳ）、操作情報生成部５０２は、不足している情報に関し、ユーザに問い合わせるための問合せ情報を生成する（ステップＳ２０６）。例えば、問合せ情報には、“操作対象のエアコンは、リビングのエアコン、寝室のエアコンの内のどちらでしょうか？”等のテキストデータが含まれている。

音声データ生成部５０７は、操作情報生成部５０２が生成した問合せ情報に基づく音声データを生成する（ステップＳ２０７）。

音声データ送信部５０８は、音声データ生成部５０７が生成した音声データを音声入出力装置３に送信する（ステップＳ２０８）。その後、図２３のフローチャートのステップＳ１０１に戻る。

なお、問合せ情報に基づく音声データを音声入出力装置３に送信した場合、ユーザから補足情報を示す回答が得られると、音声処理装置５は、当該補足情報と、先に生成した音声内容データとに基づいて操作情報を生成し、機器制御装置６に送信する。

図２５は、要求情報生成処理の手順を示すフローチャートである。要求情報生成部５０４は、音声データ解析部５０１が生成した音声内容データに、要求情報を生成する際に必要となる情報が不足しているか否かを判定する（ステップＳ３０１）。

例えば、音声内容データに、対象となる家電機器２の機種を示すキーワード及び設置場所を示すキーワードの内の何れかが含まれていない場合、要求情報生成部５０４は、必要となる情報が不足していると判定する。

必要な情報が不足していない場合（ステップＳ３０１；ＮＯ）、要求情報生成部５０４は、上述したようにして要求情報を生成する（ステップＳ３０２）。要求情報送信部５０５は、要求情報生成部５０４が生成した要求情報を音声操作支援装置７に送信する（ステップＳ３０３）。

回答情報受信部５０９は、音声操作支援装置７から回答情報を受信する（ステップＳ３０４）。音声データ生成部５０７は、回答情報受信部５０９が受信した回答情報に基づく音声データを生成する（ステップＳ３０５）。

一方、必要な情報が不足している場合（ステップＳ３０１；ＹＥＳ）、要求情報生成部５０４は、不足している情報に関し、ユーザに問い合わせるための問合せ情報を生成する（ステップＳ３０６）。例えば、問合せ情報には、“お尋ねのエアコンは、リビングのエアコン、寝室のエアコンのうちのどちらでしょうか？”等のテキストデータが含まれている。

音声データ生成部５０７は、要求情報生成部５０４が生成した問合せ情報に基づく音声データを生成する（ステップＳ３０７）。

音声データ送信部５０８は、音声データ生成部５０７が生成した音声データを音声入出力装置３に送信する（ステップＳ３０８）。その後、図２３のフローチャートのステップＳ１０１に戻る。

なお、問合せ情報に基づく音声データを音声入出力装置３に送信した場合、ユーザから補足情報を示す回答が得られると、音声処理装置５は、当該補足情報と、先に生成した音声内容データとに基づいて要求情報を生成し、音声操作支援装置７に送信する。

続いて、機器制御装置６の機能について説明する。図２６に示すように、機器制御装置６は、機能的には、操作情報受信部６００と、制御指令生成部６０１と、制御指令送信部６０２と、応答データ受信部６０３と、結果情報送信部６０４とを備える。これらの機能部は、ＣＰＵ６１が機器制御プログラム６４０を実行することで実現される。

操作情報受信部６００は、音声処理装置５から送信された操作情報（図１８参照）を受信する。制御指令生成部６０１は、操作情報受信部６００が受信した操作情報と、機器操作情報ＤＢ６４１と、顧客機器情報ＤＢ６４３とに基づいて、対象の家電機器２を制御するための制御指令を生成する。制御指令送信部６０２は、制御指令生成部６０１が生成した制御指令を当該家電機器２に送信する。制御指令生成部６０１は、本発明に係る制御指令生成手段の一例であり、制御指令送信部６０２は、本発明に係る制御指令送信手段の一例である。

応答データ受信部６０３は、制御指令送信部６０２が制御指令を送信した後、送信先の家電機器２から送られてくる応答データを受信する。かかる応答データには、制御指令に従った動作を行ったか否かを示す情報が含まれている。応答データに、制御指令に従った動作を行ったことを示す情報が含まれている場合、応答データ受信部６０３は、当該家電機器２が正常に操作されたことを結果情報送信部６０４に通知する。

一方、応答データに、制御指令に従った動作を行っていないことを示す情報が含まれている場合、応答データ受信部６０３は、当該家電機器２が正常に操作されていないことを結果情報送信部６０４に通知する。また、応答データ受信部６０３は、制御指令が家電機器２に送信された後、予め定めた時間が経過しても当該家電機器２から応答データを受信できなかった場合、当該家電機器２が正常に操作されていないことを結果情報送信部６０４に通知する。

結果情報送信部６０４は、応答データ受信部６０３から通知された内容に従った結果情報を音声処理装置５に送信する。

続いて、音声操作支援装置７の機能について説明する。図２７に示すように、音声操作支援装置７は、機能的には、要求情報受信部７００と、要求情報解析部７０１と、回答情報生成部７０２と、回答情報送信部７０３とを備える。これらの機能部は、ＣＰＵ７１が音声操作支援プログラム７４０を実行することで実現される。

要求情報受信部７００は、音声処理装置５から送信された要求情報（図２０参照）を受信する。要求情報解析部７０１は、要求情報受信部７００が受信した要求情報を操作説明情報ＤＢ７４１と、機器情報ＤＢ７４２とを参照して解析する。詳細には、要求情報解析部７０１は、要求情報の機器ＩＤ５０４０、操作番号５０４１、カテゴリ５０４２及び要求番号５０４３のそれぞれに格納されているデータを取り出す。また、要求情報解析部７０１は、機器情報ＤＢ７４２を参照して、機器ＩＤ５０４０に格納されている機器ＩＤの家電機器２が対応する全ての操作番号を取得する。

要求情報解析部７０１は、取り出した各データ（ただし、ダミーデータは除く）と、取得した全ての操作番号とを含む解析結果情報を回答情報生成部７０２に供給する。また、要求情報解析部７０１は、当該要求情報で示される問合せ内容の正否をチェックし、チェック結果を回答情報生成部７０２に通知する。詳細には、操作番号５０４１に操作番号が格納されている場合、要求情報解析部７０１は、当該操作番号が、当該家電機器２に対応しているか否かをチェックする。当該操作番号が、当該家電機器２に対応している場合、要求情報解析部７０１は、問合せ内容が正しいことを示すチェック結果を回答情報生成部７０２に通知する。一方、当該操作番号が、当該家電機器２に対応していない場合、要求情報解析部７０１は、問合せ内容が不正であることを示すチェック結果を回答情報生成部７０２に通知する。

また、要求情報解析部７０１は、カテゴリ５０４２にカテゴリ名が格納されている場合、操作説明情報ＤＢ７４１を参照して、当該カテゴリ名が、当該家電機器２に対応しているか否かをチェックする。当該カテゴリ名が、当該家電機器２に対応している場合、要求情報解析部７０１は、問合せ内容が正しいことを示すチェック結果を回答情報生成部７０２に通知する。一方、当該カテゴリ名が、当該家電機器２に対応していない場合、要求情報解析部７０１は、問合せ内容が不正であることを示すチェック結果を回答情報生成部７０２に通知する。

また、要求情報解析部７０１は、操作番号５０４１及びカテゴリ５０４２の何れにもダミーデータが格納されている場合、要求番号５０４３に“１００”が格納されているか否かをチェックする。要求番号５０４３に“１００”が格納されている場合、即ち、要求内容が「全操作説明」である場合、要求情報解析部７０１は、問合せ内容が正しいことを示すチェック結果を回答情報生成部７０２に通知する。一方、要求番号５０４３に“１００”以外の要求番号が格納されている場合、即ち、要求内容が「全操作説明」以外である場合、要求情報解析部７０１は、問合せ内容が不正であることを示すチェック結果を回答情報生成部７０２に通知する。

回答情報生成部７０２は、本発明に係る回答情報生成手段の一例である。回答情報生成部７０２は、要求情報解析部７０１から供給された解析結果情報と、要求情報解析部７０１から通知されたチェック結果と、操作説明情報ＤＢ７４１と、に基づいて、ユーザの問合せに対する回答を示す回答情報を生成する。図２８に、要求情報と、生成される回答情報との対応関係の一例を示す。

回答情報送信部７０３は、回答情報生成部７０２が生成した回答情報を音声処理装置５に送信する。回答情報生成部７０２及び回答情報送信部７０３は、本発明に係る回答手段の一例である。

図２９は、音声操作支援装置７が実行する音声操作支援処理の手順を示すフローチャートである。音声処理装置５から送信された要求情報が要求情報受信部７００により受信されると（ステップＳ４０１；ＹＥＳ）、要求情報解析部７０１は、当該要求情報を解析する（ステップＳ４０２）。

要求情報解析部７０１は、当該要求情報から取り出したダミーデータを除く各データと、当該要求情報で示される家電機器２が対応する全ての操作番号とを含む解析結果情報を回答情報生成部７０２に供給する。また、要求情報解析部７０１は、当該要求情報で示される問合せ内容の正否を示すチェック結果を回答情報生成部７０２に通知する。

回答情報生成部７０２は、要求情報解析部７０１から供給された解析結果情報と、要求情報解析部７０１から通知されたチェック結果と、操作説明情報ＤＢ７４１とに基づいて、回答情報を生成する（ステップＳ４０３）。

回答情報送信部７０３は、回答情報生成部７０２が生成した回答情報を音声処理装置５に送信する（ステップＳ４０４）。

以上説明したように、実施の形態１に係る音声操作支援システムによれば、音声処理装置５は、家電機器２の機種毎に、当該機種に対応する全ての操作に関する情報が登録された機器操作情報ＤＢ５４１を保持する。このため、メーカの違い及び操作のカテゴリに依らず、機器制御装置６に対して送信する操作情報のフォーマットを共通化することができ、より多くのメーカの当該音声操作サービスへの参加が期待できる。

また、音声操作支援装置７は、家電機器２の機種毎の各操作について、ユーザに説明するための情報が登録された操作説明情報ＤＢ７４１を保持する。そして、音声操作支援装置７は、ユーザから当該ユーザの家屋Ｈに設置されている家電機器２の操作についての問合せを音声処理装置５を介して受けると、かかる問合せに対して、音声で回答するための回答情報を生成する。このため、ユーザはメーカ間で共通の基本操作のみならず、当該家電機器２のメーカの固有の操作を容易に行うことができる。その結果、ユーザは、保有する家電機器２を十分に活用することが可能となる。そして、このように家電機器２が十分に活用されるサービスを提供することで、当該家電機器２の販売促進も図れる。

なお、音声操作支援装置７を備えずに、音声処理装置５に、音声操作支援装置７と同等の機能が含まれるようにしてもよいし、あるいは、機器制御装置６に、音声操作支援装置７と同等の機能が含まれるようにしてもよい。

また、音声処理装置５、機器制御装置６及び音声操作支援装置７を１つの装置で実現してもよい。

実施の形態２．
続いて、本発明の実施の形態２について説明する。なお、以下の説明において、実施の形態１と共通する構成要素等については、同一の符号を付し、その説明を省略する。

図３０は、本発明の実施の形態２に係る音声操作支援システムを包含した音声操作システム１Ａの全体構成を示す図である。音声操作システム１Ａは、１又は複数の家電機器２と、音声入出力装置３と、ホームゲートウェイ４と、音声処理装置５Ａと、機器制御装置６と、音声操作支援装置７Ａとを備える。また、実施の形態２に係る音声操作支援システムは、音声入出力装置３と、ホームゲートウェイ４と、音声処理装置５Ａと、音声操作支援装置７Ａとにより構成される。

音声処理装置５Ａのハードウェア構成は、実施の形態１の音声処理装置５と同様である（図４参照）。音声処理装置５Ａは、機能的には、図３１に示すように、音声データ受信部５００と、音声データ解析部５０１Ａと、操作情報生成部５０２と、操作情報送信部５０３と、要求情報生成部５０４Ａと、要求情報送信部５０５と、結果情報受信部５０６と、音声データ生成部５０７と、音声データ送信部５０８と、回答情報受信部５０９と、アドバイス情報受信部５１０とを備える。

音声データ解析部５０１Ａは、実施の形態１の音声処理装置５の音声データ解析部５０１と同様の処理を実行する。即ち、音声データ解析部５０１Ａは、音声データ受信部５００により受信された音声データを解析して、ユーザの発話内容を示す音声内容データを生成する。音声データ解析部５０１Ａは、生成した音声内容データが家電機器２に対する操作を示す場合、当該音声内容データを操作情報生成部５０２に供給する。

さらに、音声データ解析部５０１Ａは、生成した音声内容データが、家電機器２の操作についての問合せを示す場合、又は、家電機器２の操作についてのアドバイスの要求を示す場合、当該音声内容データを要求情報生成部５０４Ａに供給する。

音声データ解析部５０１Ａから供給された音声内容データが家電機器２の操作についての問合せを示す場合、要求情報生成部５０４Ａは、実施の形態１の音声処理装置５の要求情報生成部５０４と同様に、当該音声内容データと、機器操作情報ＤＢ５４１と、顧客情報ＤＢ５４２と、顧客機器情報ＤＢ５４３とに基づいて、当該問合せに対する回答を要求するための第１要求情報を生成する。この第１要求情報のフォーマットは、実施の形態１において要求情報生成部５０４が生成する要求情報と同様である（図２０参照）。

さらに、要求情報生成部５０４Ａは、音声データ解析部５０１Ａから供給された音声内容データが家電機器２の操作についてのアドバイスの要求を示す場合、当該音声内容データに基づいて、当該ユーザ宅の家電機器２の操作についてのアドバイスを要求するための第２要求情報を生成する。第２要求情報には、図３２に示すように、顧客ＩＤ５０４４、カテゴリ５０４５、要求番号５０４６等の項目が含まれている。顧客ＩＤ５０４４には、当該ユーザの顧客ＩＤが格納される。顧客ＩＤとは、当該音声操作サービスにおいて、各顧客を識別するために割り振られたＩＤである。

カテゴリ５０４５には、対象となるカテゴリ名が格納される。要求番号５０４６には、要求番号が格納される。本実施の形態における要求番号と要求内容との関係を図３３に示す。また、図３４に、ユーザの発話内容と、生成される第２要求情報との対応関係の一例を示す。要求情報送信部５０５は、要求情報生成部５０４Ａが生成した第１要求情報又は第２要求情報を音声操作支援装置７Ａに送信する。

アドバイス情報受信部５１０は、音声操作支援装置７Ａからアドバイス情報を受信する。アドバイス情報とは、先に送信した第２要求情報に応答して音声操作支援装置７Ａが生成した情報であり、ユーザが指定したカテゴリの操作についてのアドバイスを示す情報である。アドバイス情報受信部５１０は、受信したアドバイス情報を音声データ生成部５０７に供給する。音声データ生成部５０７は、アドバイス情報受信部５１０から供給されたアドバイス情報に基づいて、公知の音声合成処理により音声データを生成し、生成した音声データを音声データ送信部５０８に供給する。当該音声データは、本発明に係る第３音声データの一例である。音声データ送信部５０８は、音声データ生成部５０７から供給された音声データを音声入出力装置３に送信する。

続いて、音声操作支援装置７Ａについて説明する。音声操作支援装置７Ａのハードウェア構成は、実施の形態１の音声操作支援装置７と同様である（図１２参照）。但し、音声操作支援装置７Ａの二次記憶装置７４には、図３５に示すように、操作実績情報ＤＢ７４３がさらに記憶されている。操作実績情報ＤＢ７４３は、各顧客宅に設置されている各家電機器２の操作実績に関する情報が登録されたデータベースである。操作実績情報ＤＢ７４３は、図示しないＤＢ構築部により、操作説明情報ＤＢ７４１と機器情報ＤＢ７４２とに基づいて構築される。

詳細には、図３６に示すように、操作実績情報ＤＢ７４３には、顧客毎に、機器ＩＤ７４３０、機種名称７４３１、設置場所７４３２、操作番号７４３３、カテゴリ７４３４、操作名称７４３５、操作実績７４３６等の項目を含むレコードが当該顧客宅に設置されている全ての家電機器２の台数分登録されている。

機器ＩＤ７４３０には、当該家電機器２の機器ＩＤが格納される。機種名称７４３１には、当該家電機器２が属する機種の名称が格納される。設置場所７４３２には、当該家電機器２の設置場所を示す名称が格納される。操作番号７４３３には、操作番号が格納される。カテゴリ７４３４には、操作番号７４３３に格納された操作番号に対応するカテゴリ名が格納される。操作名称７４３５には、操作番号７４３３に格納された操作番号に対応する操作名称が格納される。

操作実績７４３６には、当該操作の実績が格納される。詳細には、操作実績７４３６には、当該操作の過去１年の操作回数が格納される。例えば、音声処理装置５Ａは、操作情報を機器制御装置６に送信する度に、当該操作情報に含まれる機器ＩＤと操作番号とが格納された操作実績通知を音声操作支援装置７Ａに送信する。音声操作支援装置７Ａは、音声処理装置５Ａから操作実績通知を受信すると、操作実績情報ＤＢ７４３における当該操作実績通知に対応するレコードの操作実績７４３６に格納されている操作回数をインクリメントする。あるいは、音声操作支援装置７Ａは、機器制御装置６から上記の操作実績通知と同様の通知を受信することで操作実績情報ＤＢ７４３を更新してもよい。

音声操作支援装置７Ａは、機能的には、図３７に示すように、要求情報受信部７００Ａと、要求情報解析部７０１と、回答情報生成部７０２と、回答情報送信部７０３と、アドバイス情報生成部７０４と、アドバイス情報送信部７０５とを備える。

要求情報受信部７００Ａは、音声操作支援装置７Ａから送信された第１要求情報（図２０参照）又は第２要求情報（図３２参照）を受信する。要求情報受信部７００Ａは、受信した第１要求情報を要求情報解析部７０１に供給し、受信した第２要求情報をアドバイス情報生成部７０４に供給する。

アドバイス情報生成部７０４は、本発明に係るアドバイス情報生成手段の一例である。アドバイス情報生成部７０４は、第２要求情報と、操作実績情報ＤＢ７４３とに基づいてアドバイス情報を生成する。詳細には、先ず、アドバイス情報生成部７０４は、当該顧客宅に設置されている各家電機器２について、指定されたカテゴリ名の操作の利用傾向を下記の式１により算出する。

利用傾向（％）＝当該カテゴリ名の操作の平均の操作回数÷基本操作における操作番号が“１”の操作の操作回数 （式１）

図３８は、“省エネ操作”の利用傾向の一例であり、図３９は、“見守り操作”の利用傾向の一例である。

アドバイス情報生成部７０４は、算出した利用傾向からアドバイスの対象となる家電機器２（以下、アドバイス対象という。）を選定する。例えば、ユーザが指定したカテゴリ名が、“省エネ操作”の場合、アドバイス情報生成部７０４は、当該ユーザ宅の全家電機器２の内、“省エネ操作”の利用傾向が５０％未満の家電機器２をアドバイス対象として選定する。

また、例えば、ユーザが指定したカテゴリ名が、“見守り操作”の場合、アドバイス情報生成部７０４は、当該ユーザ宅の全家電機器２の内、“見守り操作”の利用傾向が２０％未満の家電機器２をアドバイス対象として選定する。

そして、アドバイス情報生成部７０４は、選定したアドバイス対象と、ユーザが指定したカテゴリ名とに基づいてアドバイス情報を生成する。図４０に、第２要求情報と、生成されるアドバイス情報との対応関係の一例を示す。

以上説明したように、実施の形態２に係る音声操作支援システムによれば、音声操作支援装置７Ａは、ユーザが指定したカテゴリの操作についてのアドバイスを音声で伝えるためのアドバイス情報を生成する。これにより、ユーザは、保有する家電機器２を十分に活用することが可能となる。

なお、上記の実施の形態では、音声操作支援装置７Ａのアドバイス情報生成部７０４は、各家電機器２の各操作の過去１年の操作回数を管理することで、アドバイスの要否を判定していたが、管理する操作回数の期間は任意の設計事項である。

また、同一メーカの同種の異なる型名の家電機器２が、家屋Ｈに設置されている場合であって、基本操作以外のカテゴリの少なくとも一部の操作が共通している場合、アドバイス情報生成部７０４は、他の家電機器２における当該共通の操作の使用状況も勘案して、アドバイスの要否を判定してもよい。例えば、図３６に示すように、機器ＩＤがＲ１１１のリビングのエアコンと、機器ＩＤがＲ１１２の寝室のエアコンとは、省エネ操作が共通している。しかし、リビングのエアコンでは過去１年において省エネ操作の実績があるものの、寝室のエアコンでは過去１年において省エネ操作の実績がない。

上記の場合、アドバイス情報生成部７０４は、寝室のエアコンの省エネ操作の使用状況にかかわらず、省エネ操作に関するアドバイス情報の生成を行わないことが好ましい。これは、リビングのエアコンの省エネ操作の使用実績から、ユーザが、エアコンの省エネ操作を関知していることが判るためである。このようにして，アドバイスの要否を判定することで、より適正なアドバイスをユーザに伝えることが可能となる。

なお、音声操作支援装置７Ａを備えずに、音声処理装置５Ａに、音声操作支援装置７Ａと同等の機能が含まれるようにしてもよいし、あるいは、機器制御装置６に、音声操作支援装置７Ａと同等の機能が含まれるようにしてもよい。

また、音声処理装置５Ａ、機器制御装置６及び音声操作支援装置７Ａを１つの装置で実現してもよい。

実施の形態３．
続いて、本発明の実施の形態３について説明する。なお、以下の説明において、実施の形態１と共通する構成要素等については、同一の符号を付し、その説明を省略する。

図４１は、本発明の実施の形態３に係る音声操作支援システムを包含した音声操作システム１Ｂの全体構成を示す図である。音声操作システム１Ｂは、１又は複数の家電機器２と、音声入出力装置３と、ホームゲートウェイ４と、音声処理装置５Ｂと、機器制御装置６と、音声操作支援装置７とを備える。また、実施の形態３に係る音声操作支援システムは、音声入出力装置３と、ホームゲートウェイ４と、音声処理装置５Ｂと、音声操作支援装置７とにより構成される。

音声処理装置５Ｂのハードウェア構成は、実施の形態１の音声処理装置５と同様である（図４参照）。但し、音声処理装置５Ｂの二次記憶装置５４には、図４２に示すように、顧客機器情報ＤＢ５４３の替わりに顧客機器情報ＤＢ５４３Ａが記憶され、さらに、操作履歴ＤＢ５４４と、操作シーケンスＤＢ５４５とが記憶されている。

顧客機器情報ＤＢ５４３Ａは、顧客機器情報ＤＢ５４３と同様、各顧客宅に設置されている全ての家電機器２に関する情報が登録されたデータベースである。顧客機器情報ＤＢ５４３Ａに登録されるレコードには、顧客機器情報ＤＢ５４３と同様の項目に加え、さらに、図４３に示すように、対応操作シーケンス５４３５が含まれている。

対応操作シーケンス５４３５には、対応する操作シーケンス情報に関する情報が格納される。操作シーケンス情報とは、１つの家電機器２に対する音声操作により、他の１又は複数の家電機器２に対する操作を自動的に順次実行できるようにするための情報であり、後述する操作シーケンスＤＢ５４５に登録されている。対応操作シーケンス５４３５に格納される情報には、対応する操作シーケンス情報の登録番号、シーケンス番号等が格納される。登録番号、シーケンス番号については後述する。なお、対応する操作シーケンス情報が存在しない場合、対応操作シーケンス５４３５には、その旨を示す情報が格納される。

図４２に戻り、操作履歴ＤＢ５４４は、各顧客宅における音声操作の履歴が登録されたデータベースである。詳細には、図４４、図４５に示すように、操作履歴ＤＢ５４４には、顧客毎に、日時５４４０、操作者５４４１、機器ＩＤ５４４２、機種名称５４４３、設置場所５４４４、操作番号５４４５、操作名称５４４６、設定内容５４４７、連続指標５４４８等の項目を含むレコードが予め定めた期間分保存されている。

日時５４４０には、当該操作が行われた日時（年／月／日／時刻）を示す情報が格納される。操作者５４４１には、当該操作を行った操作者の名称が格納される。機器ＩＤ５４４２には、操作された家電機器２の機器ＩＤが格納される。機種名称５４４３には、当該家電機器２が属する機種の名称が格納される。設置場所５４４４には、当該家電機器２の設置場所を示す名称が格納される。操作番号５４４５には、当該操作の操作番号が格納される。操作名称５４４６には、当該操作の操作名称が格納される。設定内容５４４７には、当該操作において設定された設定内容が格納される。

連続指標５４４８には、連続指標が格納される．連続指標とは、１つ前の操作との連続性を示す指標である。連続指標の詳細については後述する。

図４２に戻り、操作シーケンスＤＢ５４５は、前述した操作シーケンス情報が登録されたデータベースである。操作シーケンス情報は、当該音声操作サービスを利用するユーザによって、上述した音声操作アプリを起動したスマートフォン、タブレット端末等を介した操作により、操作シーケンスＤＢ５４５に登録される。あるいは、操作シーケンス情報は、音声処理装置５Ｂによって、各顧客の操作履歴ＤＢ５４４に基づいて生成され、操作シーケンスＤＢ５４５に登録されるようにしてもよい。あるいは、操作シーケンス情報は、当該音声操作サービスの運営者により生成され、予め操作シーケンスＤＢ５４５に登録されていてもよい。

図４６に示すように、操作シーケンス情報ＤＢ５４５には、登録番号５４５０、時間帯５４５１、シーケンス番号５４５２、機種名称５４５３、設置場所５４５４、操作番号５４５５、操作名称５４５６、設定内容５４５７、説明５４５８等の項目を含むレコードが登録されている。１つの操作シーケンス情報は、複数のレコードで構成される。登録番号５４５０には、登録番号が格納される。登録番号は、当該操作シーケンス情報の操作シーケンス情報ＤＢ５４５への登録順番を示す。同じ操作シーケンス情報を構成するレコードに対しては、同一の登録番号が付与される。

時間帯５４５１には、当該操作シーケンス情報に基づく操作が有効となる時間帯を示す情報（以下、時間帯情報という。）が格納される。時間帯情報には、対象となる月と対象となる時刻の各々を示す情報が含まれる。同じシーケンス情報を構成する各レコードの時間帯５４５１には、同一の時間帯情報が格納される。

シーケンス番号５４５２には、シーケンス番号が格納される。シーケンス番号は、当該操作シーケンス情報における複数の操作において、当該操作が実行される順番を示す。機種名称５４５３には、当該操作の対象となる家電機器２の機種の名称が格納される。

設置場所５４５４には、当該家電機器２の設置場所を示す名称が格納される。操作番号５４５５には、当該操作の操作番号が格納される。操作名称５４５６には、当該操作の操作名称が格納される。設定内容５４５７には、当該操作において設定される設定内容が格納される。説明５４５８には、当該操作シーケンス情報についての説明を示す情報（以下、説明情報という。）が格納される。同じ操作シーケンス情報を構成する各レコードの説明５４５８には、同一の説明情報が格納される。

音声処理装置５Ｂは、機能的には、図４７に示すように、音声データ受信部５００と、音声データ解析部５０１Ｂと、操作情報生成部５０２Ａと、操作情報送信部５０３と、要求情報生成部５０４と、要求情報送信部５０５と、結果情報受信部５０６と、音声データ生成部５０７と、音声データ送信部５０８と、回答情報受信部５０９と、連続操作検出部５１１と、類似シーケンス検索部５１２と、シーケンス設定提案部５１３とを備える。

音声データ解析部５０１Ｂは、実施の形態１の音声処理装置５の音声データ解析部５０１と同様の処理を実行する。即ち、音声データ解析部５０１Ｂは、音声データ受信部５００により受信された音声データを解析して、ユーザの発話内容を示す音声内容データを生成する。音声データ解析部５０１Ｂは、生成した音声内容データが家電機器２に対する操作を示す場合、当該音声内容データを操作情報生成部５０２Ａに供給する。さらに、音声データ解析部５０１Ｂは、顧客情報ＤＢ５４２を参照して、発話したユーザ（即ち、操作者）を同定し、同定した操作者の名称も操作情報生成部５０２Ａに供給する。なお、顧客情報ＤＢ５４２には、各顧客宅における各ユーザの音声に関するデータが登録されているものとする。

また、音声データ解析部５０１Ｂは、生成した音声内容データが、操作シーケンス設定の提案に対する回答を示す場合、当該音声内容データをシーケンス設定提案部５１３に供給する。

操作情報生成部５０２Ａは、音声データ解析部５０１Ｂから供給された音声内容データと、機器操作情報ＤＢ５４１と、顧客情報ＤＢ５４２と、顧客機器情報ＤＢ５４３Ａと、操作シーケンスＤＢ５４５とに基づいて操作情報を生成する。

さらに、操作情報生成部５０２Ａは、当該操作の履歴を示すレコードを生成し、操作履歴ＤＢ５４４に登録する。その際、操作情報生成部５０２Ａは、当該操作の連続指標を算出し、連続指標５４４８に格納する。連続指標は、下記の式２により算出される。

上記の式２の各パラメータにおいて、［インターバル］は、前回の操作からの経過時間（分）である。［操作者］は、今回の操作者と前回の操作者とが同一の場合は“１”となり、異なる場合は“０”となる。［機器］は、今回操作した家電機器２と前回操作した家電機器２とが同一の場合は、“１”となり、異なる場合は“０”となる。［機種］は、今回操作した家電機器２の機種と前回操作した家電機器２の機種とが同一の場合は、“１”となり、異なる場合は“０”となる。［設置場所］は、今回操作した家電機器２の設置場所と前回操作した家電機器２の設置場所とが同一の場合は、“１”となり、異なる場合は“０”となる。

例えば、図４４で示される各操作において、上記の各パラメータの値は、図４８に示すようになる。

上記の式２において、各パラメータに乗する重みは、操作の連続性における当該パラメータの影響を勘案して設定されている。本例では、［インターバル］に対応する重みが最も大きく“１０”に設定され、［操作者］と［機種］に対応する重みが最も小さく、それぞれ“０．５”に設定されている。

なお、連続指標は、例えば、ディープラーニングのＲＮＮ（Recurrent Neural Network）を用いる等、様々な手法で導出することが可能である。

図４７に戻り、連続操作検出部５１１は、予め定めたタイミングで（例えば、一定時間毎に）操作履歴ＤＢ５４４をチェックして、連続性が認められる複数の操作（以下、連続操作という。）を検出する。詳細には、連続操作検出部５１１は、連続指標が予め定めた基準値（例えば、１０．００）以上の操作がある場合、当該操作の直前の操作と当該操作を連続操作として検出する。なお、連続指標が基準値以上の操作が連続する場合、連続操作には、３つ以上の操作が含まれることになる。

連続操作検出部５１１は、検出した連続操作に関する情報を図示しない連続操作テーブルに格納する。連続操作テーブルは、ＲＡＭ５３又は二次記憶装置５４に展開される。連続操作テーブルの一例を図４９に示す。

図４７に戻り、類似シーケンス検索部５１２は、連続操作検出部５１１により検出された連続操作に包含される操作シーケンス情報を検索する。詳細には、類似シーケンス検索部５１２は、連続操作テーブルから順次、連続操作をピックアップし、ピックアップした連続操作に包含される操作シーケンス情報を操作シーケンスＤＢ５４５から検索する。

例えば、図４９で示される連続操作テーブルでは、番号が“１”，“４”，“６”の各連続操作に、操作シーケンスＤＢ５４５（図４６参照）の登録番号“１”の操作シーケンス情報が包含されている。

連続操作テーブルの各連続操作について、上記の検索を行った結果、同一の操作シーケンス情報が、規定回数（例えば、３回）以上出現した場合、類似シーケンス検索部５１２は、当該操作シーケンス情報の登録番号をシーケンス設定提案部５１３に通知する。

シーケンス設定提案部５１３は、本発明に係るシーケンス設定提案手段の一例である。シーケンス設定提案部５１３は、通知された登録番号の操作シーケンス情報で示される一連の操作の設定（以下、シーケンス設定という。）を提案するための提案情報を生成する。提案情報には、操作シーケンスＤＢ５４５の当該登録番号に対応するレコードの説明５４５８から読み出した説明情報が含まれる。シーケンス設定提案部５１３は、生成した提案情報を音声データ生成部５０７に供給する。

音声データ生成部５０７は、シーケンス設定提案部５１３から供給された提案情報に基づいて、公知の音声合成処理により音声データを生成し、生成した音声データを音声データ送信部５０８に供給する。音声データ送信部５０８は、音声データ生成部５０７から供給された音声データを音声入出力装置３に送信する。

上記の提案に対して、ユーザから、“はい”、“ＯＫ”、“どうぞ”、“やって”等の肯定的回答が得られると、シーケンス設定提案部５１３は、当該顧客宅の当該複数の家電機器２について、シーケンス設定を行う。詳細には、シーケンス設定提案部５１３は、顧客機器情報ＤＢ５４３Ａにおける当該シーケンス設定の対象となる家電機器２に対応するレコードの対応操作シーケンス５４３５に、当該操作シーケンス情報に関する情報（登録番号、シーケンス番号等）を格納する。

操作情報生成部５０２Ａは、ユーザの音声操作に基づく音声内容データから操作情報を生成し、操作情報送信部５０３に供給すると、現在の日時と、顧客機器情報ＤＢ５４３Ａと、操作シーケンスＤＢ５４５とに基づいて、当該操作対象の家電機器２が、実行すべきシーケンス操作における最初の家電機器２に該当するか否かを判定する。例えば、現在の日時が、８月１日の午前６時であり、顧客機器情報ＤＢ５４３Ａにおける当該家電機器２に対応するレコードの対応操作シーケンス５４３５に登録番号“１”、シーケンス番号“１”が格納されている場合、操作情報生成部５０２Ａは、当該家電機器２が、実行すべきシーケンス操作における最初の家電機器２に該当すると判定する。

当該家電機器２が、実行すべきシーケンス操作における最初の家電機器２に該当すると判定すると、操作情報生成部５０２Ａは、同じ登録番号の“２”以降のシーケンス番号が設定されている家電機器２に対する操作情報を、シーケンス番号が若い順に生成し、操作情報送信部５０３に順次供給する。これにより、当該ユーザ宅において、例えば、７～９月の午前５～８時に音声操作により寝室のエアコンの運転が停止されると、リビングのエアコンの運転が自動的に開始されることになる。

以上説明したように、実施の形態３に係る音声操作支援システムによれば、音声処理装置５Ｂは、ユーザの日常の家電機器２に対する操作傾向から、複数の家電機器２に対する連続的な操作の設定、即ち、シーケンス設定をユーザに提案する。そして、ユーザが承諾すると、音声処理装置５Ｂは、当該連続的な操作を実現するためのシーケンス設定を行う。これにより、ユーザは、１回の音声操作で、複数の家電機器２に対し、各々所望の動作を連続的に実行させることができる。したがってユーザの利便性が高まる。

なお、音声処理装置５Ｂは、操作シーケンスＤＢ５４５を参照することなく、頻繁に連続操作される複数の家電機器２についてのシーケンス設定をユーザに提案してもよい。

また、音声処理装置５Ｂによるシーケンス設定の提案及び設定機能が、機器制御装置６又は音声操作支援装置７に含まれるようにしてもよい。

また、音声操作支援装置７を備えずに、音声処理装置５Ｂに、音声操作支援装置７と同等の機能が含まれるようにしてもよいし、あるいは、機器制御装置６に、音声操作支援装置７と同等の機能が含まれるようにしてもよい。

また、音声処理装置５Ｂ、機器制御装置６及び音声操作支援装置７を１つの装置で実現してもよい。

また、音声処理装置５Ｂによるシーケンス設定の提案及び設定機能が、実施の形態２の音声処理装置５Ａに含まれるようにしてもよい。

本発明は、上記の各実施の形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。

上記の各実施の形態では、音声処理装置５，５Ａ，５Ｂにおいて、ＣＰＵ５１によって二次記憶装置５４に記憶されている音声処理プログラム５４０が実行されることで、音声処理装置５，５Ａ，５Ｂの機能部（図１７、図３１、図４７参照）が実現された。しかし、音声処理装置５，５Ａ，５Ｂの機能部の全部又は一部が、専用のハードウェアで実現されるようにしてもよい。同様に、機器制御装置６の機能部（図２６参照）の全部又は一部が、専用のハードウェアで実現されるようにしてもよいし、音声操作支援装置７，７Ａの機能部（図２７、図３７）の全部又は一部が、専用のハードウェアで実現されるようにしてもよい。専用のハードウェアとは、例えば、単一回路、複合回路、プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、又は、これらの組み合わせである。

また、音声処理プログラム５４０、機器制御プログラム６４０、音声操作支援プログラム７４０は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、光磁気ディスク（Magneto-Optical Disc）、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、ＨＤＤ等のコンピュータ読み取り可能な記録媒体に格納して配布することも可能である。そして、このように配布した音声処理プログラム５４０、機器制御プログラム６４０、音声操作支援プログラム７４０を特定の又は汎用のコンピュータにインストールすることによって、当該コンピュータを音声処理装置５，５Ａ，５Ｂ、機器制御装置６、音声操作支援装置７，７Ａとして機能させることも可能である。

また、音声処理プログラム５４０、機器制御プログラム６４０、音声操作支援プログラム７４０をインターネット上の図示しないサーバが有する記憶装置に格納しておき、当該サーバから音声処理装置５，５Ａ，５Ｂ、機器制御装置６、音声操作支援装置７，７Ａに音声処理プログラム５４０、機器制御プログラム６４０、音声操作支援プログラム７４０がダウンロードされるようにしてもよい。

本発明は、広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能である。また、上述した実施の形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。

本発明は、宅内に設置された家電機器をユーザの音声で制御するシステムに好適に採用され得る。

１，１Ａ，１Ｂ 音声操作システム、２ 家電機器、３ 音声入出力装置、４ ホームゲートウェイ、５，５Ａ，５Ｂ 音声処理装置、６ 機器制御装置、７，７Ａ 音声操作支援装置、３０ マイク、３１ Ａ／Ｄコンバータ、３２ スピーカ、３３，５０，６０，７０ 通信インタフェース、３４，５１，６１，７１ ＣＰＵ、３５，５２，６２，７２ ＲＯＭ、３６，５３，６３，７３ ＲＡＭ、３７，５４，６４，７４ 二次記憶装置、３８，５５、６５，７５ バス、３００ 音声入力部、３０１ 送信部、３０２ 受信部、３０３ 音声出力部、５００ 音声データ受信部、５０１，５０１Ａ，５０１Ｂ 音声データ解析部、５０２，５０２Ａ 操作情報生成部、５０３ 操作情報送信部、５０４，５０４Ａ 要求情報生成部、５０５ 要求情報送信部、５０６ 結果情報受信部、５０７ 音声データ生成部、５０８ 音声データ送信部、５０９ 回答情報受信部、５１０ アドバイス情報受信部、５１１ 連続操作検出部、５１２ 類似シーケンス検索部、５１３ シーケンス設定提案部、６００ 操作情報受信部、６０１ 制御指令生成部、６０２ 制御指令送信部、６０３ 応答データ受信部、６０４ 結果情報送信部、７００，７００Ａ 要求情報受信部、７０１ 要求情報解析部、７０２ 回答情報生成部、７０３ 回答情報送信部、７０４ アドバイス情報生成部、７０５ アドバイス情報送信部

Claims (12)

1. 音声入出力装置からユーザの音声に基づく第１音声データを受信する音声データ受信手段と、
   前記受信された第１音声データが、家電機器の操作についての問合せを示す場合、家電機器の機種毎に、当該機種に対する固有の操作について、説明を示す情報を対応付けた操作説明情報データベースを参照して、前記問合せに対する回答情報を生成する回答情報生成手段と、
   前記家電機器の固有の操作の使用状況に基づいて、当該固有の操作を前記ユーザに促すアドバイス情報を生成するアドバイス情報生成手段と、
   前記回答情報に基づく音声を示す第２音声データを前記音声入出力装置に送信し、前記アドバイス情報に基づく音声を示す第３音声データを前記音声入出力装置に送信する音声データ送信手段と、を備える、音声操作支援システム。
2. 音声入出力装置からユーザの音声に基づく第１音声データを受信する音声データ受信手段と、
   前記受信された第１音声データが、家電機器の操作についての問合せを示す場合、家電機器の機種毎に、当該機種に対する固有の操作について、説明を示す情報を対応付けた操作説明情報データベースを参照して、前記問合せに対する回答情報を生成する回答情報生成手段と、
   前記回答情報に基づく音声を示す第２音声データを前記音声入出力装置に送信する音声データ送信手段と、
   前記家電機器の操作履歴に基づいて、異なる家電機器に対する連続的な操作の設定を前記ユーザに提案するシーケンス設定提案手段と、を備える、音声操作支援システム。
3. 音声入出力装置からユーザの音声に基づく第１音声データを受信する音声データ受信手段と、
   家電機器の機種毎に、当該機種に対する固有の操作について、説明を示す情報を対応付けた操作説明情報データベースと、
   前記受信された第１音声データが、前記家電機器の操作についての問合せを示す場合、前記操作説明情報データベースを参照して、前記問合せに対する回答情報を生成する回答情報生成手段と、
   前記回答情報に基づく音声を示す第２音声データを前記音声入出力装置に送信する音声データ送信手段と、を備え、
   前記操作説明情報データベースが保持する情報は、前記家電機器の取扱説明書のデータから自動的に生成される、音声操作支援システム。
4. 請求項１から３の何れか１項に記載の音声操作支援システムと、
   前記受信された第１音声データが、前記家電機器に対する操作を示す場合、前記第１音声データで示される操作内容に基づいて、前記家電機器を制御するための制御指令を生成する制御指令生成手段と、
   前記制御指令を前記家電機器に送信する制御指令送信手段と、を備える、音声操作システム。
5. 音声入出力装置からユーザの音声に基づく第１音声データを受信する音声データ受信手段と、
   前記受信された第１音声データが、家電機器の操作についての問合せを示す場合、前記問合せの回答を示す回答情報を音声操作支援装置に要求する回答要求手段と、
   前記音声操作支援装置から得られた前記回答情報に基づく音声を示す第２音声データを前記音声入出力装置に送信する音声データ送信手段と、
   前記家電機器の操作履歴に基づいて、異なる家電機器に対する連続的な操作の設定を前記ユーザに提案するシーケンス設定提案手段と、を備える、音声処理装置。
6. 家電機器の機種毎に、当該機種に対する固有の操作について、説明を示す情報を対応付けた操作説明情報データベースを記憶する記憶装置と、
   前記操作説明情報データベースを参照して、前記家電機器の操作についての音声処理装置からの問合せに対する回答情報を生成し、前記音声処理装置に送信する回答手段と、
   前記家電機器の固有の操作の使用状況に基づいて、当該固有の操作をユーザに促すアドバイス情報を生成し、前記音声処理装置に送信するアドバイス情報生成手段と、を備える、音声操作支援装置。
7. 家電機器の機種毎に、当該機種に対する固有の操作について、説明を示す情報を対応付けた操作説明情報データベースを記憶する記憶装置と、
   前記操作説明情報データベースを参照して、前記家電機器の操作についての音声処理装置からの問合せに対する回答情報を生成し、前記音声処理装置に送信する回答手段と、を備え、
   前記操作説明情報データベースが保持する情報は、前記家電機器の取扱説明書のデータから自動的に生成される、音声操作支援装置。
8. 音声データ受信手段が、音声入出力装置からユーザの音声に基づく第１音声データを受信し、
   回答情報生成手段が、前記受信された第１音声データが、家電機器の操作についての問合せを示す場合、家電機器の機種毎に、当該機種に対する固有の操作について、説明を示す情報を対応付けた操作説明情報データベースを参照して、前記問合せに対する回答情報を生成し、
   アドバイス情報生成手段が、前記家電機器の固有の操作の使用状況に基づいて、当該固有の操作を前記ユーザに促すアドバイス情報を生成し、
   音声データ送信手段が、前記回答情報に基づく音声を示す第２音声データを前記音声入出力装置に送信し、前記アドバイス情報に基づく音声を示す第３音声データを前記音声入出力装置に送信する、音声操作支援方法。
9. 音声データ受信手段が、音声入出力装置からユーザの音声に基づく第１音声データを受信し、
   回答情報生成手段が、前記受信された第１音声データが、家電機器の操作についての問合せを示す場合、家電機器の機種毎に、当該機種に対する固有の操作について、説明を示す情報を対応付けた操作説明情報データベースを参照して、前記問合せに対する回答情報を生成し、
   音声データ送信手段が、前記回答情報に基づく音声を示す第２音声データを前記音声入出力装置に送信し、
   シーケンス設定提案手段が、前記家電機器の操作履歴に基づいて、異なる家電機器に対する連続的な操作の設定を前記ユーザに提案する、音声操作支援方法。
10. 音声データ受信手段が、音声入出力装置からユーザの音声に基づく第１音声データを受信し、
    回答情報生成手段が、前記受信された第１音声データが、家電機器の操作についての問合せを示す場合、家電機器の機種毎に、当該機種に対する固有の操作について、説明を示す情報を対応付けた操作説明情報データベースを参照して、前記問合せに対する回答情報を生成し、
    音声データ送信手段が、前記回答情報に基づく音声を示す第２音声データを前記音声入出力装置に送信する、音声操作支援方法であって、
    前記操作説明情報データベースが保持する情報は、前記家電機器の取扱説明書のデータから自動的に生成される、音声操作支援方法。
11. 家電機器の機種毎に、当該機種に対する固有の操作について、説明を示す情報を対応付けた操作説明情報データベースを記憶する記憶装置を備えるコンピュータを、
    前記操作説明情報データベースを参照して、前記家電機器の操作についての音声処理装置からの問合せに対する回答情報を生成し、前記音声処理装置に送信する回答手段、
    前記家電機器の固有の操作の使用状況に基づいて、当該固有の操作をユーザに促すアドバイス情報を生成し、前記音声処理装置に送信するアドバイス情報生成手段、として機能させる、プログラム。
12. コンピュータを、
    音声入出力装置からユーザの音声に基づく第１音声データを受信する音声データ受信手段、
    前記受信された第１音声データが、家電機器の操作についての問合せを示す場合、前記問合せの回答を示す回答情報を音声操作支援装置に要求する回答要求手段、
    前記音声操作支援装置から得られた前記回答情報に基づく音声を示す第２音声データを前記音声入出力装置に送信する音声データ送信手段、
    前記家電機器の操作履歴に基づいて、異なる家電機器に対する連続的な操作の設定を前記ユーザに提案するシーケンス設定提案手段、として機能させる、プログラム。

Images