JP7432996B2 - 音声制御システムおよび音声制御装置 - Google Patents

Description

本発明は、音声により機器を制御する音声制御システムおよび音声制御装置に関するものである。

従来、ユーザが発した音声に基づいて、テレビなどの電子機器を制御する技術が知られている。また、特許文献１には、複雑な一連の操作または単調な一連の操作を特定の音声とともに記憶しておき、必要な時点で、その音声を発することによって予め記憶させておいた一連の操作を実行できる入力装置が提案されている。特許文献１の入力装置により、複雑な操作を音声入力という簡単な操作で実行することができる。

特開平７－１７５５６７号公報

特許文献１の入力装置では、記録モードにおいてまず音声を登録し、その後一連の操作を行って、音声と関連付けて登録する構成となっている。しかしながら、この場合には、一連の操作による結果を確認した後に登録することができない。例えば、誘導加熱調理器による調理手順を登録する際などは、料理の出来を確認してから調理手順を登録したいとの要望がある。

本発明は、上記のような課題を解決するものであり、過去の操作を容易に登録することができる音声制御システムおよび音声制御装置を提供することを目的とする。

本発明に係る音声制御システムは、一または複数の機器が受けた複数の操作に関する複数の操作情報を記憶する操作情報データベースと、音声により、指示文と、指示文および時間を示す用語を含む登録指示と、が入力される音声入力部と、音声入力部に登録指示が入力された場合に、操作情報データベースに記憶された複数の操作情報のうち、登録指示に含まれる時間に対応する一部を抽出する操作シーケンス登録部と、指示文と、抽出された複数の操作情報の一部とを関連付けて記憶する操作シーケンスデータベースと、を備える。

本発明に係る音声制御装置は、音声により、指示文と、指示文および時間を示す用語を含む登録指示と、が入力される音声入力部と、制御部と、を備え、制御部は、一または複数の機器が受けた複数の操作に関する複数の操作情報を記憶する操作情報データベースと、音声入力部に登録指示が入力された場合に、操作情報データベースに記憶された複数の操作情報のうち、登録指示に含まれる時間に対応する一部を抽出する操作シーケンス登録部と、指示文と、抽出された複数の操作情報の一部とを関連付けて記憶する操作シーケンスデータベースと、を有する。

本発明における音声制御システムおよび音声制御装置によれば、過去の操作を容易に登録することができ、利便性が向上する。

実施の形態１における音声制御システムの概略構成図である。 実施の形態１の音声制御装置による音声制御処理のフローチャートである。 実施の形態１における操作シーケンスＤＢの一例を示す図である。 実施の形態２における音声制御システムの概略構成図である。 実施の形態２の音声制御装置による音声制御処理のフローチャートである。 実施の形態２における操作シーケンスＤＢの変更例を示す図である。 実施の形態３における音声制御システムの概略構成図である。 実施の形態３の音声制御装置による音声制御処理のフローチャートである。 実施の形態４における音声制御システムの概略構成図である。 実施の形態５における音声制御システムの概略構成図である。 変形例における操作シーケンスＤＢの一例を示す図である。

以下、図面に基づいて本発明の実施の形態について説明する。なお、図１を含め、以下の図面では各構成の大きさの関係が実際のものとは異なる場合がある。また、図１を含め、以下の図面において、同一の符号を付したものは、同一またはこれに相当するものであり、このことは明細書の全文において共通することとする。さらに、明細書全文に表わされている構成要素の形態は、あくまでも例示であって、これらの記載に限定されるものではない。

実施の形態１．
図１は、実施の形態１における音声制御システム１００の概略構成図である。図１に示すように、本実施の形態の音声制御システム１００は、音声制御装置１と、複数の機器２とからなる。音声制御装置１と、機器２とは、家庭内ＬＡＮ（Local Area Network）を介して通信可能に接続される。なお、音声制御装置１と、機器２とは、赤外線通信またはBluetooth（登録商標）等の無線通信で通信可能に接続されてもよい。音声制御システム１００では、音声制御装置１に入力される音声に基づき、複数の機器２を制御することができる。

音声制御装置１は、例えば、スマートスピーカー（ＡＩスピーカー）であり、制御部１０と、音声入力部１１と、音声出力部１２と、コマンド送信部１３とを備える。制御部１０は、専用のハードウェア、またはメモリに格納されるプログラムを実行するＣＰＵ（Central Processing Unit）、プロセッサまたはマイクロコンピュータなどで構成される。制御部１０は、プログラムを実行することによって実現される機能部として、操作検出部１０１と、機器信号分析部１０２と、音声認識部１０３と、操作シーケンス登録部１０４と、制御コマンド生成部１０５とを有する。また、制御部１０は、ＲＡＭ、ＲＯＭまたはフラッシュメモリなどの不揮発性または揮発性のメモリからなる記憶部を備え、記憶部には、操作情報データベース１１１と操作シーケンスデータベース１１２とが記憶される。なお、以下の説明においては「データベース」を「ＤＢ」と略する。なお、記憶部を制御部１０とは別に設ける構成としてもよい。

操作検出部１０１は、音声制御装置１に接続される機器２がユーザによる操作を受けたことを示す機器信号を検出する。ユーザによる操作とは、例えば「レンジフードファンを起動する」、「ＩＨクッキングヒータを起動する」、「ＩＨクッキングヒータの右コイルの火力を７に調整する」等のユーザが機器２に対して直接行う操作である。また、操作検出部１０１は、機器２が操作を受けてから同じ機器２が別の操作を受けるまでの時間、すなわち操作継続時間を検出する。操作検出部１０１は、検出した機器信号と操作継続時間を機器信号分析部１０２へ出力する。機器信号分析部１０２は、受信した機器信号を分析して、機器２が受けた操作に関する操作情報を取得し、取得した操作情報を操作情報ＤＢ１１１に記憶する。操作情報は、同じ操作を再現するために生成されたデータであり、操作された機器２、機能および操作継続時間の情報を含む。また、機能が程度に関するものである場合、操作情報は操作レベルを含む。一例として、操作情報は、ＩＨクッキングヒータ（機器）、火力調整（機能）、火力７（操作レベル）および２０分（操作継続時間）である。なお、操作検出部１０１が機器２から受信した機器信号から操作情報を認識できる場合には、機器信号分析部１０２を省略してもよい。

音声認識部１０３は、音声入力部１１に入力される音声の音声認識を行う。操作シーケンス登録部１０４は、音声入力部１１に入力されるユーザからの登録指示に応じて、登録指示に含まれる指示文と、操作情報ＤＢ１１１に記憶された操作情報の一部と、を操作シーケンスとして操作シーケンスＤＢ１１２に記憶する。登録指示は、例えば「今の操作を『カレーを煮込んで』で登録して」などの音声であり、指示文は登録指示に含まれる「カレーを煮込んで」である。制御コマンド生成部１０５は、音声認識部１０３における音声認識結果に基づいて、制御コマンドを生成する。

操作情報ＤＢ１１１には、音声制御装置１に接続される全ての機器２が受けた操作情報が順次記憶される。操作情報ＤＢ１１１には、例えば１日などの予め設定された記憶期間分の機器２の操作情報が順次記憶される。そして、記憶期間を超えた操作情報は順次削除される。なお、記憶期間は、ユーザにより任意に変更されてもよい。または、操作情報ＤＢ１１１において、機器２の操作情報が順次記憶され、記憶された操作情報が上限数を超えた場合に、最も古い操作情報から順次削除されるようにしてもよい。記憶される操作情報の数はユーザによって任意に変更可能としてもよい。

操作シーケンスＤＢ１１２には、ユーザからの登録指示で登録するよう指示された一連の操作情報と、登録指示に含まれる指示文とが関連付けられて記憶される。

音声入力部１１は、マイクであり、音声出力部１２は、スピーカーである。また、コマンド送信部１３は、制御コマンド生成部１０５により生成された制御コマンドを、家庭内ＬＡＮを介して機器２に送信する通信インタフェースである。

機器２は、例えばＩＨ（Induction Heating）クッキングヒータ、レンジフード、空気調和機、空気洗浄機、テレビまたは照明などである。図１では、音声制御システム１００が２つの機器２を備える構成としたが、これに限定されるものではなく、１つまたは３つ以上の機器２を備えてもよい。

図２は、実施の形態１の音声制御装置１による音声制御処理のフローチャートである。本処理は、音声制御装置１の制御部１０により実行される。図２に示すように、まず、機器２がユーザにより操作されたか否かが判断される（Ｓ１）。ここでは、操作検出部１０１が機器信号を検出したか否かが判断される。そして、機器２がユーザにより操作されていない場合（Ｓ１：ＮＯ）、ステップＳ４へ移行する。一方、機器２がユーザにより操作された場合（Ｓ１：ＹＥＳ）、機器信号分析部１０２によって、機器信号が分析される（Ｓ２）。そして、分析により取得された操作情報が操作情報ＤＢ１１１に記憶される（Ｓ３）。

続いて、音声入力部１１に対する音声入力があったか否かが判断される（Ｓ４）。ここで、音声入力がない場合は（Ｓ４：ＮＯ）、ステップＳ１に戻る。一方、音声入力があった場合は（Ｓ４：ＹＥＳ）、音声認識部１０３により、入力された音声の音声認識が行われる（Ｓ５）。そして、操作シーケンス登録部１０４により、音声認識の結果、入力された音声が操作シーケンスの登録指示であるか否かが判断される（Ｓ６）。例えば、入力された音声が「今の操作を『カレーを煮込んで』で登録して」などの「登録して」との用語または「記憶して」との用語などを含む場合、登録指示であると判断される。

入力された音声が、操作シーケンスの登録指示である場合（Ｓ６：ＹＥＳ）、操作シーケンス登録部１０４により、登録指示に含まれる指示文が操作シーケンスＤＢ１１２に既に登録されているか否かが判断される（Ｓ７）。例えば「今の操作を『カレーを煮込んで』で登録して」との音声が入力された場合、操作シーケンス登録部１０４は、「カレーを煮込んで」が登録指示に含まれる指示文であると特定する。そして、操作シーケンス登録部１０４は、入力された指示文と同じ指示文が既に登録されていないか、操作シーケンスＤＢ１１２を検索する。そして、入力された指示文が既に登録されている場合（Ｓ７：ＹＥＳ）、既に登録済みであることをユーザに通知する（Ｓ８）。具体的には、音声出力部１２から「入力された指示文は、既に登録済みです」などの音声を出力する。その後は、ステップＳ４に戻り、新たな登録指示を待つ。

一方、入力された指示文が登録されていない場合（Ｓ７：ＮＯ）、入力された指示文が新しい指示文である場合、操作シーケンス登録部１０４により、操作情報ＤＢ１１１から指示文に対応する一連の操作情報が抽出される（Ｓ９）。操作シーケンス登録部１０４は、入力された登録指示における指示文の用語に基づいて、操作情報を抽出する対象となる機器を特定する。以下では、機器２が「レンジフード」、「ＩＨクッキングヒータ」、「炊飯器」、「扇風機」または「空気清浄機」の何れかである場合を考える。入力された音声が「今の操作を『カレーを煮込んで』で登録して」である場合、操作シーケンス登録部１０４は、『カレーを煮込んで』という指示文と、機器２との関連度を取得する。そして、操作シーケンス登録部１０４は、取得した関連度に応じて、抽出対象の機器であるか否かを判断する。

指示文と機器２との関連度は、例えば次のように求められる。操作シーケンス登録部１０４は、予め「調理」、「掃除」および「空調」などのカテゴリを設定し、「カレーを煮込む」が何れのカテゴリに属するかを判断する。「カレーを煮込む」は、「カレー」および「煮込む」との「調理」に関する用語を含むことから、「調理」のカテゴリに属すると判断される。また、操作シーケンス登録部１０４は、音声制御装置１に接続される機器２に対して、予め「調理」、「掃除」、「空調」のカテゴリごとに１点または０点の点数を設定しておく。例えば、ＩＨクッキングヒータは「調理」で１点、「掃除」で０点、「空調」で０点とする。また、空気清浄機は、「調理」で０点、「掃除」で１点、「空調」で１点とする。また、機器２ごとでは、「調理」のカテゴリにおいて、「ＩＨクッキングヒータ」が１点、「レンジフード」が１点、「炊飯器」が１点、「扇風機」が０点、「空気清浄機」が０点となる。

そして、指示文として「カレーを煮込んで」が入力された場合、操作シーケンス登録部１０４は、関連度が１点である「ＩＨクッキングヒータ」と、「レンジフード」と、「炊飯器」とを、抽出対象の機器と特定する。すなわち、関連度が０点である「扇風機」と「空気清浄機」の操作情報は抽出されない。

また、操作シーケンス登録部１０４は、入力された登録指示の用語に基づいて、操作情報の抽出範囲を特定する。例えば、操作シーケンス登録部１０４は、「カレー」との用語から、操作情報の抽出範囲を過去１時間とする。そして、操作情報ＤＢ１１１に記憶された操作情報のうち、抽出対象機器（「ＩＨクッキングヒータ」、「レンジフード」および「炊飯器」）の過去１時間の操作情報を一連の操作情報として抽出する。

なお、一連の操作情報の抽出方法は、上記に限定されるものではない。例えば、登録指示が、抽出対象となる機器の名称または操作情報の抽出範囲を指定する文言を含むものであってもよい。この場合、操作シーケンス登録部１０４は、登録指示に含まれる当該文言に基づいて一連の操作情報を抽出する。具体的には「今のＩＨクッキングヒータの操作を『煮込み』で登録して」との音声が入力された場合、操作シーケンス登録部１０４は、「ＩＨクッキングヒータ」との文言から、抽出対象機器を「ＩＨクッキングヒータ」と特定する。また、操作シーケンス登録部１０４は、「今の」との文言から、ＩＨクッキングヒータの直近の電源ＯＮから電源ＯＦＦまでの操作情報を一連の操作情報として抽出する。また、「２時間前からのＩＨクッキングヒータの操作を『煮込み』で登録して」との音声が入力された場合は、操作シーケンス登録部１０４は、ＩＨクッキングヒータの２時間前の操作情報から直近の操作情報までを一連の操作情報として抽出する。

また、抽出対象機器にＩＨクッキングヒータとレンジフードとが含まれる場合、レンジフードの操作情報の抽出範囲は、ＩＨクッキングヒータの操作情報の抽出範囲と連動させてもよい。例えば、ＩＨクッキングヒータの直近の電源ＯＮから電源ＯＦＦまでの操作情報を一連の操作情報として抽出する場合、ＩＨクッキングヒータの直近の電源ＯＮから電源ＯＦＦまでと同じ期間のレンジフードの操作情報を抽出するようにしてもよい。さらに、抽出した操作情報がユーザの意図したものであるか、ユーザに確認してもよい。具体的には、操作シーケンス登録部１０４による抽出後に、抽出した一連の操作情報を音声出力部１２から読み上げてもよい。そして、読み上げた後のユーザの指示に応じて、抽出範囲を変更してもよい。

続いて、操作シーケンス登録部１０４により、抽出した一連の操作情報と指示文とが関連づけられ、操作シーケンスとして操作シーケンスＤＢ１１２に登録される（Ｓ１０）。図３は、実施の形態１における操作シーケンスＤＢ１１２の一例を示す図である。図３に示すように、操作シーケンスＤＢ１１２には、「カレーを煮込んで」という指示文と、指示文に関連付けられた一連の操作情報が操作シーケンスとして登録される。各操作情報は、操作番号、機器、機能、操作レベル、操作継続時間を含む。図３に示すように、一つの指示文に対して、一つまたは複数の機器２の操作情報が、操作を行う順番に登録される。

図２に戻って、ステップＳ６において、入力された音声が、操作シーケンスの登録指示でない場合（Ｓ６：ＮＯ）、入力された音声が指示文であるか否かが判断される（Ｓ１１）。そして、入力された音声が指示文である場合は（Ｓ１１：ＹＥＳ）、制御コマンド生成部１０５により、操作シーケンスＤＢ１１２から、指示文に対応する操作シーケンスが抽出される（Ｓ１２）。そして、制御コマンド生成部１０５により、抽出された操作シーケンスに含まれる操作情報に対応する制御コマンドが生成される（Ｓ１３）。ここでは、複数の操作情報に対応する一つの制御コマンドが生成されてもよいし、複数の操作情報にそれぞれ対応する複数の制御コマンドが生成されてもよい。

そして、生成された制御コマンドがコマンド送信部１３から機器２に送信される（Ｓ１４）。制御コマンドを受信した機器２は、制御コマンドに従った動作を実行する。なお、入力された音声が指示文であって、指示文に対応する操作シーケンスが操作シーケンスＤＢ１１２に登録されていない場合は、音声出力部１２から操作シーケンスの登録をユーザに促す音声を出力してもよい。また、コマンド送信部１３から送信した制御コマンドを制御部１０の記憶部に記憶してもよい。一方、入力された音声が指示文でない場合（Ｓ１１：ＮＯ）、認識した音声に応じた制御動作が行われる（Ｓ１５）。

以上のように、本実施の形態では、ユーザが指示文を含む登録指示を発することにより、過去に行われた一連の操作シーケンスを登録することができる。これにより、操作の結果を確認した上で、過去の操作を容易に登録することができる。また、指示文を発することにより、操作シーケンスを実行することができる。これにより、料理の出来が良かった場合など、良い結果を得られた過去の一連の操作を容易に再現することができ、利便性が向上する。

実施の形態２．
次に、実施の形態２について説明する。図４は、実施の形態２における音声制御システム１００Ａの概略構成図である。実施の形態２では、音声制御装置１Ａの制御部１０が操作比較部１２１と操作変更部１２２とを有する点において、実施の形態１と相違する。音声制御装置１Ａのその他の構成は、実施の形態１と同様である。

操作比較部１２１と操作変更部１２２は、制御部１０がプログラムを実行することによって実現される機能部である。操作比較部１２１は、操作シーケンスの実行中に、ユーザによる機器２の操作が行われた場合、当該操作情報と、実行中の操作シーケンスの操作情報とを比較する。操作変更部１２２は、ユーザによる機器２の操作が、操作シーケンスの操作レベルを変更するものである場合、ユーザの操作に基づき、操作シーケンスＤＢ１１２に記憶された操作シーケンスを変更する。

図５は、実施の形態２の音声制御装置１Ａによる音声制御処理のフローチャートである。ステップＳ１からステップＳ１４までは、実施の形態１と同じである。ステップＳ１４にて、コマンド送信部１３から機器２に制御コマンドを送信した後、第１時間が経過したか否かが判断される（Ｓ２１）。第１時間は、直近の操作からの経過時間であり、操作情報にかかわらず予め定められた時間（例えば１０秒）とする。または、第１時間は、実行されている操作情報の操作継続時間に応じて設定されてもよく、例えば操作継続時間の１／５とされる。

第１時間が経過していない場合（Ｓ２１：ＮＯ）、機器２がユーザにより操作されたか否かが判断される（Ｓ２２）。ここでは、操作検出部１０１が機器信号を検出したか否かが判断される。そして、機器２がユーザにより操作されていない場合（Ｓ２２：ＮＯ）、ステップＳ２１へ戻る。一方、機器２がユーザにより操作された場合（Ｓ２２：ＹＥＳ）、機器信号分析部１０２によって、機器信号が分析される（Ｓ２３）。そして、分析により取得された操作情報が操作情報ＤＢ１１１に記憶される（Ｓ２４）。

続いて、操作比較部１２１により、現在実行中の操作シーケンスの操作情報と、ステップＳ２４で記憶された操作情報が比較され、ユーザによる操作が現在実行中の操作シーケンスの操作情報を変更するものであるか否かが判断される（Ｓ２５）。具体的には、操作比較部１２１は、実行中の操作情報と、新たに記憶された操作情報の「機器」および「機能」が同じで、「操作レベル」が異なる場合に、ユーザによる操作が実行中の操作シーケンスの操作情報を変更するものであると判断する。

ユーザによる操作が実行中の操作シーケンスの操作情報を変更するものである場合（Ｓ２５：ＹＥＳ）、操作変更部１２２により、操作シーケンスＤＢ１１２の実行中の操作シーケンスの操作情報が変更される（Ｓ２６）。

操作シーケンスの変更の具体例について図６を参照して説明する。図６は、実施の形態２における操作シーケンスＤＢ１１２の変更例を示す図である。図６では、「カレーを煮込んで」を指示文とする操作シーケンスが実行され、第１時間内に、機器２であるＩＨクッキングヒータの右コイルの火力を「８」にする操作が行われた場合の例を示す。この場合、まず操作検出部１０１により、機器信号が検出される。そして、機器信号分析部１０２により、機器信号が分析され、「機器」が「ＩＨクッキングヒータ」、「機能」が「右コイル火力調整」、「操作レベル」が「８」の操作情報が取得され、操作情報ＤＢ１１１に記憶される。このとき、現在実行中の操作シーケンスの操作情報と、新たに登録された操作情報は「機器」および「機能」が同じで、「操作レベル」が異なる。そのため、操作変更部１２２は、操作シーケンスＤＢ１１２に登録される、現在実行中の操作シーケンスの操作情報における「操作レベル」を「８」に変更する。

操作シーケンスの変更後は、ステップＳ２１に戻り、以降の処理が繰り返される。また、第１時間が経過した場合（Ｓ２１：ＹＥＳ）、実行中の操作シーケンスの次の操作情報に基づく制御が開始されたか否かが判断される（Ｓ２７）。そして、実行中の操作シーケンスの次の操作情報に基づく制御が開始された場合（Ｓ２７：ＹＥＳ）、ステップＳ２１に戻り、以降の処理が繰り返される。一方、実行中の操作シーケンスの次の操作情報に基づく制御が開始されていない場合（Ｓ２７：ＮＯ）、操作シーケンスが終了したか否かが判断される（Ｓ２８）。そして、操作シーケンスが終了していない場合（Ｓ２８：ＮＯ）、ステップＳ２７に戻り、次の操作情報に基づく制御の開始まで待機する。一方、操作シーケンスが終了した場合（Ｓ２８：ＹＥＳ）、ステップＳ１に戻る。

本実施の形態により、操作シーケンスの実行中、ユーザによる機器２の操作があった場合であって、当該操作が実行中の操作シーケンスの操作情報を変更するものである場合は、登録される操作シーケンスを新たな操作に基づき変更することができる。これにより、ユーザが直感的に操作シーケンスを変更することができ、より利便性が向上する。

実施の形態３．
次に、実施の形態３について説明する。図７は、実施の形態３における音声制御システム１００Ｂの概略構成図である。実施の形態３では、音声制御装置１Ｂの制御部１０が操作特定部１３１と、操作比較部１３２と、操作変更部１３３とを有する点において、実施の形態１と相違する。音声制御装置１Ｂのその他の構成は、実施の形態１と同様である。

操作特定部１３１と、操作比較部１３２と、操作変更部１３３とは、制御部１０がプログラムを実行することによって実現される機能部である。操作特定部１３１は、操作シーケンスの実行中に、操作レベルを変更する指示が音声入力された場合に、操作情報ＤＢ１１１を参照して、操作レベルの変更の対象となる操作情報を特定する。操作比較部１３２は、操作特定部１３１により特定された操作情報と、実行中の操作シーケンスにおける操作情報とを比較する。操作変更部１３３は、操作レベルの変更が操作シーケンスの操作情報に対するものである場合、当該変更指示に基づき操作シーケンスを変更する。

図８は、実施の形態３の音声制御装置１Ｂによる音声制御処理のフローチャートである。ステップＳ１からステップＳ１４までは、実施の形態１と同じである。ステップＳ１４にて、コマンド送信部１３から機器２に制御コマンドを送信した後、第１時間が経過したか否かが判断される（Ｓ３１）。第１時間は、直近の操作からの経過時間であり、操作情報にかかわらず予め定められた時間（例えば１０秒）とする。または、第１時間は、実行されている操作情報の操作継続時間に応じて設定されてもよく、例えば操作継続時間の１／５とされる。

第１時間が経過していない場合（Ｓ３１：ＮＯ）、音声入力部１１に対する音声入力があったか否かが判断される（Ｓ３２）。ここで、音声入力がない場合は（Ｓ３２：ＮＯ）、ステップＳ３１に戻る。一方、音声入力があった場合は（Ｓ３２：ＹＥＳ）、音声認識部１０３により、入力された音声の音声認識が行われる（Ｓ３３）。そして、音声認識の結果、入力された音声が操作レベルを変更する指示であるか否かが判断される（Ｓ３４）。例えば、入力された音声が「もっと上げて」など、「もっと」との用語または「上げて」などのレベルの増減を表す用語を含む場合、操作レベルの変更であると判断される。

入力された音声が操作レベルを変更する指示ではない場合は（Ｓ３４：ＮＯ）、ステップＳ６へ移行する。一方、入力された音声が操作レベルを変更する指示である場合（Ｓ３４：ＹＥＳ）、操作特定部１３１により、操作レベルの変更の対象となる操作情報が特定される（Ｓ３５）。操作特定部１３１は、操作レベルの変更指示が音声入力される直前に、操作情報ＤＢ１１１に登録された操作情報を操作レベルの変更対象として抽出する。また、操作特定部１３１により、抽出された操作情報が操作レベルの変更指示の内容に応じて変更され、操作情報ＤＢ１１１に記憶される（Ｓ３６）。

ここで操作レベルの変更幅は、音声入力された指示の内容によって異なるものとする。例えば、「上げて」との指示が入力された場合には、レベルを１単位分上げ、「もっと上げて」との指示文が入力された場合には、レベルを２単位分上げる。また、入力された指示に「上げて」または「下げて」などの具体的なレベルの変更方向が含まれず、例えば「今より」、「ちょっと」、「ちょい」または「もう少し」等の指示の場合には、最後に変更された操作レベルの方向に操作レベルを変更する。この場合も、操作レベルの変更幅を音声入力された指示の内容によって異なるものとする。例えば、「ちょい」、「ちょっと」等の場合にはレベルを１単位分変更し、「もっと」等の場合にはレベルを２単位分変更する。

また、制御コマンド生成部１０５により、変更後の操作情報に対応する制御コマンドが生成される（Ｓ３７）。ここでは、複数の操作情報に対応する一つの制御コマンドが生成されてもよいし、複数の操作情報にそれぞれ対応する複数の制御コマンドが生成されてもよい。そして、生成された制御コマンドがコマンド送信部１３から機器２に送信される（Ｓ３８）。機器２では、制御コマンドに従った動作が実行される。具体的には、機器２において、音声入力に従って操作レベルが変更される。

続いて、操作比較部１３２により、現在実行中の操作シーケンスの操作情報と、ステップＳ３６で登録された操作情報とが比較され、音声入力された変更指示が現在実行中の操作シーケンスの操作レベルを変更するものであるか否かが判断される（Ｓ３９）。具体的には、操作比較部１３２は、操作情報の「機器」および「機能」が同じで「操作レベル」が異なる場合に、音声入力された変更指示が現在実行中の操作シーケンスの操作レベルの変更指示であると判断する。

音声入力された変更指示が、実行中の操作シーケンスの操作レベルの変更指示である場合（Ｓ３９：ＹＥＳ）、操作変更部１３３により、操作シーケンスＤＢ１１２の実行中の操作シーケンスの操作情報が変更される（Ｓ４０）。この場合は、実施の形態２と同様に、操作シーケンスＤＢ１１２に登録される、現在実行中の操作シーケンスの操作情報の「操作レベル」が変更指示に応じて変更される。

操作シーケンスの変更後は、ステップＳ３１に戻り、以降の処理が繰り返される。また、第１時間が経過した場合（Ｓ３１：ＹＥＳ）、実施の形態２と同様のステップＳ２７およびＳ２８の処理が実行される。

本実施の形態により、操作シーケンスの実行中、音声による操作レベルの変更指示が入力された場合であって、当該変更指示が実行中の操作シーケンスの操作レベルを変更するものである場合は、登録される操作シーケンスを音声指示に基づき変更することができる。これにより、ユーザが直感的に操作シーケンスを変更することができ、より利便性が向上する。

実施の形態４．
次に、実施の形態４について説明する。図９は、実施の形態４における音声制御システム１００Ｃの概略構成図である。実施の形態４では、音声制御装置１Ｃが表示部１４と入力部１５とを備え、制御部１０が操作変更部１４１を有する点において、実施の形態１と相違する。音声制御装置１Ｃのその他の構成は、実施の形態１と同様である。

表示部１４は、例えば液晶ディスプレイである。入力部１５は、例えばキーボード、タッチキーまたはタッチパネルである。表示部１４は、図３に示すような操作シーケンスＤＢ１１２の登録内容を表示する。入力部１５は、表示部１４に表示された操作シーケンスの順序の変更、または不要な操作の削除などの入力を受け付ける。入力部１５に入力された内容は、制御部１０の操作変更部１４１に送信される。

操作変更部１４１は、制御部１０がプログラムを実行することによって実現される機能部である。操作変更部１４１は、入力部１５を介して入力される変更指示に基づき、操作シーケンスを変更する。

また、本実施の形態では、操作シーケンス登録部１０４による操作シーケンスの登録時に、抽出した操作情報がユーザの意図したものであるか、表示部１４に表示してユーザに確認してもよい。そして入力部１５を介して入力されるユーザの指示に応じて、抽出範囲を変更してもよい。または、表示部１４に操作情報ＤＢ１１１に記憶された操作情報を表示し、入力部１５を介して操作シーケンスとして抽出する操作情報を選択させてもよい。

本実施の形態により、ユーザの意図に応じて容易に操作シーケンスを変更することができ、より利便性が向上する。また、表示部１４および入力部１５を用いることで、操作シーケンスの複雑な変更も容易かつ確実に行うことができる。なお、表示部１４および入力部１５を、音声制御装置１Ｃとは別の外部機器（例えばスマートフォンなど）に設けてもよい。この場合には、音声制御装置１Ｃには外部機器との通信機能を設け、外部機器と通信することで、操作シーケンスの変更を行う。

実施の形態５．
次に、実施の形態５について説明する。図１０は、実施の形態５における音声制御システム１００Ｄの概略構成図である。実施の形態５の音声制御システム１００Ｄは、音声制御装置１Ｄと、機器２と、クラウドサーバ３と、端末装置４とからなる点において、実施の形態１と相違する。

音声制御装置１Ｄと、機器２と、端末装置４とは、家庭内ＬＡＮ（Local Area Network）を介して通信可能に接続される。なお、音声制御装置１Ｄと、機器２と、端末装置４とは、赤外線通信またはBluetooth（登録商標）等の無線通信で通信可能に接続されてもよい。また、音声制御装置１Ｄと、機器２と、端末装置４とは、インターネットを介してクラウドサーバ３に通信可能に接続される。

音声制御装置１Ｄは、例えば、スマートスピーカー（ＡＩスピーカー）であり、制御部１０Ａと、音声入力部１１と、音声出力部１２と、コマンド送信部１３とを備える。制御部１０Ａは、専用のハードウェア、またはメモリに格納されるプログラムを実行するＣＰＵ（Central Processing Unit）、プロセッサまたはマイクロコンピュータなどで構成される。制御部１０Ａは、クラウドサーバ３と連携し、音声入力部１１に入力された音声に対して音声認識を行うとともに、認識結果に基づいてコマンド送信部１３から機器２に制御コマンドを送信する。また、制御部１０Ａは、音声出力部１２による音声出力を制御する。音声入力部１１、音声出力部１２およびコマンド送信部１３の構成および機能は、実施の形態１と同様である。

クラウドサーバ３は、インターネット経由でサービスを提供するサーバである。クラウドサーバ３は、制御部１０を備える。制御部１０は、実施の形態１の音声制御装置１が備える制御部１０と同様である。すなわち、本実施の形態では、クラウドサーバ３により、操作検出部１０１と、機器信号分析部１０２と、音声認識部１０３と、操作シーケンス登録部１０４と、制御コマンド生成部１０５との機能が実行される。また、クラウドサーバ３が操作情報ＤＢ１１１と操作シーケンスＤＢ１１２とを記憶する、ＲＡＭ、ＲＯＭまたはフラッシュメモリなどの不揮発性または揮発性のメモリからなる記憶部を備える。

端末装置４は、ＰＣ、スマートフォン、または機器２のリモートコントローラなどである。端末装置４は、制御部４０と、表示部１４と、入力部１５とを備える。制御部４０は、専用のハードウェア、またはメモリに格納されるプログラムを実行するＣＰＵ（Central Processing Unit）、プロセッサまたはマイクロコンピュータなどで構成される。制御部４０は、クラウドサーバ３および音声制御装置１Ｄと連携し、表示部１４に操作シーケンスＤＢ１１２の登録内容を表示する。また、制御部４０は、入力部１５を介して入力される操作シーケンスの変更指示をクラウドサーバ３に送信する。表示部１４と入力部１５の構成は、実施の形態４と同様である。

上記のように、本実施の形態では、実施の形態１の音声制御装置１の構成または機能部の一部をクラウドサーバ３および端末装置４が備える構成とした。これにより、音声制御装置１Ｄを簡素化することができる。また、本実施の形態の音声制御システム１００Ｄは、図１０に示す構成に限定されるものではなく、実施の形態１～４の何れかの音声制御装置１～１Ｃの構成または機能部を、何れかの機器で実行すればよい。例えば、端末装置４が制御部１０の全てまたは一部、もしくは音声入力部１１および音声出力部１２を備えてもよい。

以上が本発明の実施の形態の説明であるが、本発明は、上記の実施の形態に限定されるものではなく、本発明の主旨を逸脱しない範囲で種々に変形することが可能である。例えば、実施の形態１では、一つの指示文に対して複数の操作情報が操作シーケンスとして登録される例について説明したが、一つの指示文に対して単一の操作情報を操作シーケンスとして登録してもよい。また、操作シーケンスＤＢ１１２は、図３の例に限定されるものではない。図１１は、変形例における操作シーケンスＤＢ１１２の一例を示す図である。本変形例では、図１１に示すように、操作シーケンスの操作情報が「機器」（図１１（ａ））、「機能」（図１１（ｂ））および操作の「程度」（図１１（ｃ））に分解されて登録される。

例えば、ＩＨクッキングヒータの右コイルの火力を７にした状態を２０分継続するという操作があった後に、「今の操作を『ＩＨクッキングヒータでお鍋をぐつぐつ煮て』で登録して」という音声が入力されたとする。この場合、操作シーケンス登録部１０４は、指示文を「ＩＨクッキングヒータ（機器）」と、「お鍋を／煮る（機能）」と、「ぐつぐつ（程度）」とに分解する。そして、登録指示があった直前の操作情報を、「ＩＨクッキングヒータ（機器）」と、「火力調節（機能）」と、「火力７、２０分（程度）」とに分解し、指示文と関連付けて操作シーケンスＤＢ１１２に登録する。

また、ＩＨクッキングヒータの右コイルの火力を４にした状態を６０分継続するという操作があった後に、「今の操作を『ＩＨでカレーをことこと煮て』で登録して」という音声が入力されたとする。この場合、操作シーケンス登録部１０４は、指示文を「ＩＨ（機器）」と、「カレーを／煮る（機能）」と、「ことこと（程度）」とに分解する。そして、登録指示があった直前の操作情報を「ＩＨクッキングヒータ（機器）」と、「火力調節（機能）」と、「火力＝４、６０分（程度：操作レベルと操作継続時間）」とに分解し、指示文と関連付けて操作シーケンスＤＢ１１２に登録する。

これにより、操作シーケンスＤＢ１１２には、図１１に示されるデータが登録される。図１１に示すように、「ＩＨクッキングヒータ」との指示、および「ＩＨ」との指示は、何れも同じ機器である「ＩＨクッキングヒータ」に関連付けられる。また、「お鍋を／煮る」との指示および「カレーを／煮る」との指示の何れも同じ機能である「火力調節」に関連付けられる。

本変形例では、ユーザから「ＩＨクッキングヒータでカレーをぐつぐつ煮て」との指示文が入力された場合、制御コマンド生成部１０５により指示文が「ＩＨクッキングヒータ（機器）」と、「カレーを／煮る（機能）」と、「ぐつぐつ（程度）」とに分解される。そして、操作シーケンスＤＢ１１２から、分解された指示文に対応する操作情報がそれぞれ抽出される。具体的には、「ＩＨクッキングヒータ（機器）」と、「火力調節（機能）」と、「火力７、２０分（程度）」が抽出される。そして、抽出された操作情報に対応する制御コマンドが生成され、機器２に送信される。これにより、操作シーケンスＤＢ１１２に「ＩＨクッキングヒータでカレーをぐつぐつ煮て」との指示文が登録されていない場合でも、音声指示に対応した操作を容易に実施することができる。また、音声入力される機器名、機能名、程度にばらつきがある場合でも、所望の操作を容易に実施することができる。

１、１Ａ、１Ｂ、１Ｃ、１Ｄ 音声制御装置、２ 機器、３ クラウドサーバ、４ 端末装置、１０、１０Ａ、４０ 制御部、１１ 音声入力部、１２ 音声出力部、１３ コマンド送信部、１４ 表示部、１５ 入力部、１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ 音声制御システム、１０１ 操作検出部、１０２ 機器信号分析部、１０３ 音声認識部、１０４ 操作シーケンス登録部、１０５ 制御コマンド生成部、１１１ 操作情報データベース、１１２ 操作シーケンスデータベース、１２１ 操作比較部、１２２ 操作変更部、１３１ 操作特定部、１３２ 操作比較部、１３３ 操作変更部、１４１ 操作変更部。

Claims (12)

1. 一または複数の機器が受けた複数の操作に関する複数の操作情報を記憶する操作情報データベースと、
   音声により、指示文と、前記指示文および時間を示す用語を含む登録指示と、が入力される音声入力部と、
   前記音声入力部に前記登録指示が入力された場合に、前記操作情報データベースに記憶された前記複数の操作情報のうち、前記登録指示に含まれる前記時間に対応する一部を抽出する操作シーケンス登録部と、
   前記指示文と、抽出された前記複数の操作情報の一部とを関連付けて記憶する操作シーケンスデータベースと、
   を備える音声制御システム。
2. 前記音声入力部に前記指示文が入力された場合に、前記操作シーケンスデータベースから前記指示文に関連付けられた前記複数の操作情報の一部を抽出し、抽出された前記複数の操作情報の一部を実施させるための制御コマンドを生成する制御コマンド生成部と、
   前記制御コマンドを前記一または複数の機器に送信するコマンド送信部と、
   をさらに備える請求項１に記載の音声制御システム。
3. 前記操作シーケンス登録部は、前記指示文に含まれる用語に基づき、前記一または複数の機器のうち、抽出対象となる機器を特定し、前記操作情報データベースに記憶された前記複数の操作情報のうち、特定された前記機器の操作情報を前記複数の操作情報の一部として抽出する請求項１または２に記載の音声制御システム。
4. 前記操作シーケンス登録部は、前記登録指示に含まれる用語に基づき、操作情報の抽出範囲を特定し、前記操作情報データベースに記憶された前記複数の操作情報のうち、前記抽出範囲内の操作情報を前記複数の操作情報の一部として抽出する請求項１～３の何れか一項に記載の音声制御システム。
5. 前記操作情報データベースは、
   前記操作情報データベースに記憶された前記複数の操作情報のうち、記憶期間を超えた操作情報を削除する、または前記操作情報データベースに記憶された前記複数の操作情報の数が上限数を超えた場合、最も古い操作情報を削除する請求項１～４の何れか一項に記載の音声制御システム。
6. 前記操作シーケンスデータベースに記憶された前記複数の操作情報の一部を変更する操作変更部をさらに備え、
   前記操作変更部は、前記複数の操作情報の一部を実行中の、前記一または複数の機器に対する操作もしくは前記音声入力部に入力される変更指示に基づき、前記複数の操作情報の一部を変更する請求項１～５の何れか一項に記載の音声制御システム。
7. 前記操作変更部は、直近の操作情報の実行から第１時間が経過するまでの間に前記一または複数の機器に対する操作があった場合であって、当該操作が実行中の前記操作情報の操作レベルを変更するものである場合、前記操作シーケンスデータベースに記憶された実行中の前記操作情報の前記操作レベルを変更する請求項６に記載の音声制御システム。
8. 前記操作変更部は、直近の操作情報の実行から第１時間が経過するまでの間に、前記音声入力部に操作レベルの変更を指示する音声入力があった場合であって、当該音声入力が実行中の前記操作情報の操作レベルを変更するものである場合、前記操作シーケンスデータベースに記憶された実行中の前記操作情報の前記操作レベルを変更する請求項６に記載の音声制御システム。
9. 前記操作シーケンスデータベースに記憶された前記指示文と、前記指示文に関連付けられた前記複数の操作情報の一部とを表示する表示部と、
   前記操作シーケンスデータベースに記憶された前記複数の操作情報の一部の変更指示が入力される入力部と、
   前記入力部に入力された前記変更指示に基づいて、前記操作シーケンスデータベースに記憶された前記複数の操作情報の一部を変更する操作変更部と、をさらに備える請求項１～５の何れか一項に記載の音声制御システム。
10. 前記操作シーケンス登録部は、前記指示文を、機器、機能および程度に分割し、抽出した前記複数の操作情報の一部を、前記機器、前記機能および前記程度に分割するものであり、
    前記操作シーケンスデータベースは、
    前記機器毎に、分割された前記指示文と、分割された前記複数の操作情報の一部とを関連付けて記憶し、
    前記機能毎に、分割された前記指示文と、分割された前記複数の操作情報の一部とを関連付けて記憶し、
    前記程度毎に、分割された前記指示文と、分割された前記複数の操作情報の一部とを関連付けて記憶する請求項１～９の何れか一項に記載の音声制御システム。
11. 音声により、指示文と、前記指示文および時間を示す用語を含む登録指示と、が入力される音声入力部と、
    制御部と、を備え、
    前記制御部は、
    一または複数の機器が受けた複数の操作に関する複数の操作情報を記憶する操作情報データベースと、
    前記音声入力部に前記登録指示が入力された場合に、前記操作情報データベースに記憶された前記複数の操作情報のうち、前記登録指示に含まれる前記時間に対応する一部を抽出する操作シーケンス登録部と、
    前記指示文と、抽出された前記複数の操作情報の一部とを関連付けて記憶する操作シーケンスデータベースと、
    を有する音声制御装置。
12. 一または複数の機器が受けた複数の操作に関する複数の操作情報を記憶する操作情報データベースと、
    音声により、指示文および前記指示文を含む登録指示が入力される音声入力部と、
    前記音声入力部に前記登録指示が入力された場合に、前記操作情報データベースに記憶された前記複数の操作情報の一部を抽出する操作シーケンス登録部と、
    前記指示文と、抽出された前記複数の操作情報の一部とを関連付けて記憶する操作シーケンスデータベースと、
    前記操作シーケンスデータベースに記憶された前記複数の操作情報の一部を変更する操作変更部と、を備え、
    前記操作変更部は、前記複数の操作情報の一部を実行中の、前記一または複数の機器に対する操作もしくは前記音声入力部に入力される変更指示に基づき、前記複数の操作情報の一部を変更する音声制御システム。

Images