JPWO2020165933A1 - 機器制御装置、機器制御システム、機器制御方法、及び機器制御プログラム - Google Patents

Abstract

機器制御装置（１００）は、ユーザ操作又は音声コマンドに基づく操作コマンドによって対象機器の動作を制御する装置であり、操作コマンドが入力されたときに、時間情報を取得し、ユーザ特定情報を生成し、操作コマンドに、ユーザ特定情報と時間情報とを含む第１のユーザ環境情報を関連付けることで得られたユーザ操作情報を、操作コマンドが入力される度に蓄積することで、複数のユーザ操作情報を含む操作履歴情報（１０４ａ）を記憶し、類似条件を満たす第１のユーザ環境情報を含む複数のユーザ操作情報をパターンコマンドとして記録し、１つ以上の単語を含む定型句からなる音声コマンドが発声されたときに、定型句からなる音声コマンドに基づく操作コマンドについてのユーザ特定情報と時間情報とを含む第２のユーザ環境情報に合致する第１のユーザ環境情報を含むパターンコマンドを選択し、選択されたパターンコマンドに基づいて対象機器の動作を制御する。

Description

本発明は、機器制御装置、機器制御システム、機器制御方法、及び機器制御プログラムに関する。

ユーザが発声する音声コマンドが示す語句とその語句に対応する対象機器の動作とが関連付けされている情報である音声操作情報を予め記憶し、この音声操作情報を参照することによって、ユーザが発声した音声コマンドを対象機器に対する操作コマンドとして認識する機器制御装置が知られている。また、機器制御装置に音声操作情報を登録する方法として、ユーザの操作を記憶し、記憶されている操作からなる操作履歴情報を参照して、操作頻度が高い操作に対応する音声コマンドを生成及び登録する方法が提案されている（例えば、特許文献１を参照）。

特開２０１０−７８８５１号公報（例えば、要約を参照）

しかしながら、上記従来の機器制御装置に対し音声コマンドによって所望の指示を入力するためには、ユーザは、登録されている音声コマンドを示す語句を記憶している必要がある。つまり、ユーザは、所望の操作コマンドに対応する音声コマンドを示す語句を思い出す必要がある。このため、音声コマンドの入力のために要求されるユーザの負担が大きいという課題がある。

本発明は、上記従来の課題を解決するためになされたものであり、音声コマンドの入力のために要求されるユーザの負担の軽減を可能にする機器制御装置、機器制御システム、機器制御方法、及び機器制御プログラムを提供することを目的とする。

本発明の一態様に係る機器制御装置は、ユーザ操作部から入力されたユーザ操作に基づく操作コマンド及びマイクから入力された音声コマンドに基づく操作コマンドの少なくとも一方によって対象機器の動作を制御する装置であって、前記操作コマンドが入力されたときの時刻及び曜日の少なくとも一方を含む時間情報を取得する時間情報取得部と、前記ユーザ操作を入力するユーザ及び前記音声コマンドを発声するユーザを示すユーザ特定情報を生成するユーザ特定情報生成部と、前記操作コマンドに、前記ユーザ特定情報と前記時間情報とを含む第１のユーザ環境情報を関連付けることで得られたユーザ操作情報を、前記操作コマンドが入力される度に蓄積することで、複数のユーザ操作情報を含む操作履歴情報を記憶するデータベース部と、予め決められた類似条件を満たす第１のユーザ環境情報を含む複数のユーザ操作情報をパターンコマンドとして前記データベース部に記録するパターンコマンド記録処理と、１つ以上の単語を含む定型句からなる前記音声コマンドが発声されたときに、前記定型句からなる前記音声コマンドに基づく前記操作コマンドについての前記ユーザ特定情報と前記時間情報とを含む第２のユーザ環境情報に合致する前記第１のユーザ環境情報を含む前記パターンコマンドを前記データベース部から選択する音声解析処理と、を行う解析部と、前記解析部によって選択された前記パターンコマンドに基づいて前記対象機器の動作を制御する機器制御部と、を有することを特徴とする。

本発明の他の態様に係る機器制御方法は、ユーザ操作部から入力されたユーザ操作に基づく操作コマンド及びマイクから入力された音声コマンドに基づく操作コマンドの少なくとも一方によって対象機器の動作を制御する方法であって、前記操作コマンドが入力されたときの時刻及び曜日の少なくとも一方を含む時間情報を取得するステップと、前記ユーザ操作を入力するユーザ及び前記音声コマンドを発声するユーザを示すユーザ特定情報を生成するステップと、前記操作コマンドに、前記ユーザ特定情報と前記時間情報とを含む第１のユーザ環境情報を関連付けることで得られたユーザ操作情報を、前記操作コマンドが入力される度に蓄積することで、複数のユーザ操作情報を含む操作履歴情報をデータベース部に記憶するステップと、予め決められた類似条件を満たす第１のユーザ環境情報を含む複数のユーザ操作情報をパターンコマンドとして前記データベース部に記録するステップと、１つ以上の単語を含む定型句からなる前記音声コマンドが発声されたときに、前記定型句からなる前記音声コマンドに基づく前記操作コマンドについての前記ユーザ特定情報と前記時間情報とを含む第２のユーザ環境情報に合致する前記第１のユーザ環境情報を含む前記パターンコマンドを前記データベース部から選択するステップと、選択された前記パターンコマンドに基づいて前記対象機器の動作を制御するステップと、を有することを特徴とする。

本発明によれば、音声コマンドの入力のためのユーザの負担を軽減することができる。

本発明の実施の形態に係る機器制御システムとしてのテレビ装置及び機器制御装置の構成を概略的に示すブロック図である。 本実施の形態に係る機器制御システム及び機器制御装置のハードウェア構成の例を示す図である。 本実施の形態に係る機器制御装置の動作を示すフローチャートである。 本実施の形態に係る機器制御装置における操作履歴情報の記録時の動作を示すフローチャートである。 本実施の形態に係る機器制御装置におけるパターンコマンドの記録時の動作を示すフローチャートである。 本実施の形態に係る機器制御装置におけるユーザに対する通知の動作を示すフローチャートである。 本実施の形態に係る機器制御装置における音声コマンドである定型句が入力されたときの動作を示すフローチャートである。 本実施の形態に係る機器制御装置におけるユーザに対する確認の通知の動作を示すフローチャートである。

以下に、本発明の実施の形態に係る機器制御装置、機器制御システム、機器制御方法、及び機器制御プログラムを、図面を参照しながら説明する。以下の説明では、機器制御システムがテレビ装置であり、対象機器がテレビ装置の構成の一部である場合を説明する。ただし、機器制御システムは、テレビ装置以外の機器であってもよい。例えば、機器制御システムは、スマートフォン、携帯電話、タブレット端末、カーナビゲーションシステム、などの電子機器であってもよい。また、以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。

《１》機器制御装置の概要
本実施の形態に係る機器制御装置は、ユーザ操作部から入力されたユーザ操作に基づく操作コマンド及びマイクから入力された音声コマンドに基づく操作コマンドの少なくとも一方によって対象機器の動作を制御する装置である。

本実施の形態に係る機器制御装置は、操作コマンドが入力されたときの時刻及び曜日の少なくとも一方を含む時間情報を取得する。また、本実施の形態に係る機器制御装置は、リモコンなどから操作コマンドを入力するユーザである第１のユーザを示す第１のユーザ特定情報を生成するユーザ認識部と、音声コマンドを発声するユーザである第２のユーザを示す第２のユーザ特定情報を生成する音声認識部とを有している。ユーザ認識部と音声認識部とは、ユーザ特定情報生成部としての機能を有している。したがって、ユーザ特定情報生成部は、ユーザ操作を入力するユーザ及び音声コマンドを発声するユーザを示すユーザ特定情報を生成する。

本実施の形態に係る機器制御装置は、操作コマンドに、ユーザ特定情報と時間情報とを含む第１のユーザ環境情報を関連付けることで得られたユーザ操作情報を、操作コマンドが入力される度に蓄積することで、複数のユーザ操作情報を含む操作履歴情報をデータベース部に格納する。

また、本実施の形態に係る機器制御装置は、予め決められた類似条件を満たす第１のユーザ環境情報を含む複数のユーザ操作情報をパターンコマンドとしてデータベース部に記録するパターンコマンド記録処理と、１つ以上の単語を含む定型句からなる音声コマンドが発声されたときに、定型句からなる音声コマンドに基づく操作コマンドについてのユーザ特定情報と時間情報とを含む第２のユーザ環境情報に合致する第１のユーザ環境情報を含むパターンコマンドをデータベース部から選択する音声解析処理とを行う。さらに、本実施の形態に係る機器制御装置は、選択されたパターンコマンドに基づいて対象機器の動作を制御する。

ここで、「類似条件」は、例えば、複数のユーザ操作情報に含まれる第１のユーザ特定情報が示すユーザが共通であることを条件として含む。また、「類似条件」は、例えば、複数のユーザ操作情報に含まれる時間情報が示す時刻が、予め決められた時刻範囲内であることを条件として含んでもよい。また、「類似条件」は、複数のユーザ操作情報に含まれる時間情報が示す曜日が共通であることを条件として含んでもよい。

また、本出願において、「定型句」は、対象機器の機能を示す用語を含まない。定型句の例は、「いつもの」などである。定型句は、指示代名詞を含む又は指示代名詞のみから構成されることができる。定型句を構成する指示代名詞の例は、「あれ」、「それ」などである。

また、「第２のユーザ環境情報に合致する第１のユーザ環境情報」は、例えば、第２のユーザ環境情報に含まれるユーザ特定情報が第１のユーザ環境情報に含まれるユーザ特定情報に一致し、且つ第２のユーザ環境情報に含まれる時間情報が示す時刻と第１のユーザ環境情報に含まれる時間情報が示す時刻との差が予め決められた閾値以下であることである。また、「第２のユーザ環境情報に合致する第１のユーザ環境情報」は、例えば、第２のユーザ環境情報に含まれるユーザ特定情報が第１のユーザ環境情報に含まれるユーザ特定情報に一致し、且つ第２のユーザ環境情報に含まれる時間情報が示す曜日が第１のユーザ環境情報に含まれる時間情報が示す曜日に一致することであってもよい。また、「第２のユーザ環境情報に合致する第１のユーザ環境情報」は、例えば、第２のユーザ環境情報に含まれるユーザ特定情報が第１のユーザ環境情報に含まれるユーザ特定情報に一致し、且つ第２のユーザ環境情報に含まれる時間情報が示す曜日が第１のユーザ環境情報に含まれる時間情報が示す曜日に一致し、且つ第２のユーザ環境情報に含まれる時間情報が示す時刻と第１のユーザ環境情報に含まれる時間情報が示す時刻との差が予め決められた閾値以下であることであってもよい。

本実施の形態に係る機器制御装置１００を用いれば、対象機器の機能を含まない曖昧な定型句からなる音声コマンドによって、対象機器を制御することができる。

《２》機器制御装置１００の構成
〈テレビ装置１０〉
図１は、本実施の形態に係る機器制御システムとしてのテレビ装置１０及び機器制御装置１００の構成を概略的に示すブロック図である。図１に示されるように、機器制御装置１００は、機器制御部１０１と、推定操作部１０２と、解析部１０３と、記憶装置としてのデータベース部１０４と、ユーザ認識部１０５と、音声認識部１０６と、音声合成部１０７とを有している。機器制御装置１００は、実施の形態１に係る機器制御方法を実施することができる装置である。

また、図１に示されるように、テレビ装置１０は、音声取得装置としてのマイク１１と、Ａ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）コンバータ１２と、音声出力装置としてのスピーカ１３と、Ｄ／Ａ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ）コンバータ１４と、ユーザ操作部としてのリモコン２０と、入力部１５と、撮像装置としてのカメラ１６と、表示装置としての表示部１７と、機器制御装置１００とを有している。機器制御装置１００の機器制御部１０１は、放送波を受信するチューナ、及び受信した放送波に基づく映像データ及び音声データを生成する処理回路、などを備えている。

マイク１１は、ユーザである話者が発声する音声指示である音声コマンドを受け取り、音声コマンドに対応するアナログ音声信号を生成する。Ａ／Ｄコンバータ１２は、マイク１１で生成されたアナログ音声信号をデジタル音声信号に変換する。

音声認識部１０６は、Ａ／Ｄコンバータ１２から出力されたデジタル音声信号から音声コマンドに対応するテキストデータを生成する。このテキストデータは、機器制御部１０１によって、音声コマンドに基づく操作コマンドに変換される。また、音声認識部１０６は、音声コマンドを発声したユーザの音声を分析して、このユーザを特定するユーザ特定情報であるユーザＩＤ（すなわち、ユーザ識別子）を生成する。音声認識部１０６は、テキストデータとともにユーザＩＤを、機器制御部１０１へ出力する。音声からユーザを特定するユーザＩＤを生成する技術は、話者識別と呼ばれる公知の技術である。なお、話者識別のために、ユーザの声の特徴を示す特徴情報とユーザＩＤとが、事前に音声認識部１０６に備えられるメモリに登録されていてもよい。音声コマンドに基づくユーザＩＤは、音声コマンドを発声したユーザを識別する識別情報である。

音声合成部１０７は、機器制御部１０１から受け取ったテキストデータに基づいてデジタル音声信号を合成する。このテキストデータは、例えば、ユーザに対して、音声コマンドによる入力が可能であることを通知する内容のデータである。

Ｄ／Ａコンバータ１４は、音声合成部１０７によって生成されたデジタル音声信号をアナログ音声信号に変換する。スピーカ１３は、アナログ音声信号に基づく音声を出力する。音声合成部１０７、Ｄ／Ａコンバータ１４、及びスピーカ１３は、ユーザに情報を通知する通知部を構成する。

リモコン２０は、ユーザによって操作されるユーザ操作部である。ただし、ユーザ操作部は、テレビ装置１０に備えられた操作部であってもよい。リモコン２０から入力された操作コマンドは、赤外線信号によって入力部１５に送信される。入力部１５は、赤外線センサを有し、赤外線センサで検出された赤外線信号に基づいて、操作コマンドに対応するユーザ操作信号を機器制御部１０１に出力する。このユーザ操作信号は、「ユーザ操作に基づく操作コマンド」の一例である。

カメラ１６は、リモコン２０を操作するユーザを撮影して、ユーザの画像情報をユーザ認識部１０５に提供する。ユーザ認識部１０５は、カメラ１６から取得した画像情報を元に、リモコン２０を操作しているユーザを特定するユーザ特定情報であるユーザＩＤを生成する。ユーザ認識部１０５は、例えば、リモコン２０によるキーイベント（すなわち、キーコード）の出力と連動してユーザ操作を行うユーザの識別を行い、ユーザ操作を行うユーザを示すユーザＩＤを機器制御部１０１へ出力する。画像情報に基づいてユーザを特定する方法としては、公知の顔認証技術などを用いることができる。なお、ユーザを識別するために、ユーザの顔の特徴を示す特徴情報とユーザＩＤとを、事前にユーザ認識部１０５のメモリに登録してもよい。ユーザＩＤは、ユーザ識別情報である。

表示部１７は、機器制御部１０１から受け取った映像データに基づく映像を表示する。表示部１７は、ユーザに情報を通知する通知部として使用されてもよい。

〈機器制御部１０１〉
機器制御部１０１は、テレビ装置１０の全体の動作を制御する。機器制御部１０１は、入力部１５からリモコン２０のキーイベントを、ユーザ認識部１０５からリモコン２０を操作するユーザの識別情報であるユーザＩＤを受け取る。また、機器制御部１０１は、音声認識部１０６から、テキストデータと、音声コマンドを発声したユーザの識別情報であるユーザＩＤとを受け取る。

機器制御部１０１は、入力部１５から出力されるリモコン２０のキーイベントを受け取り、そのときに表示部１７に表示されている画面との関連から、キーイベントの対象となる操作を割り出し、キーイベントが操作コマンドに該当するか否かを判断する。キーイベントが操作コマンドであるか否かの判断基準は、機器制御部１０１によって制御される制御対象が要求する機器の仕様によって異なる。

例えば、制御対象である表示部１７の画面に郵便番号の登録用の入力画面が表示されている状況で、リモコン２０で数字キーが押下された場合には、機器制御部１０１は、ユーザ操作を郵便番号の入力として扱い、郵便番号の入力が完了するまで、数字キーの押下を、操作コマンドの入力、すなわち、対象機器の動作命令の入力として扱わない。また、表示部１７の画面に何も表示されていない状況で、リモコン２０の数字キーが押下された場合には、機器制御部１０１は、ユーザ操作である数字キーの押下をチャンネルの選局として扱い、ユーザ操作が、予め決められた操作コマンドであると判断する。ユーザ操作が予め決められた操作コマンドであると判断された場合には、機器制御部１０１は、操作コマンドを示すユーザ操作信号と、ユーザ認識部１０５から受け取ったユーザＩＤと、ユーザ操作の時刻及び曜日の少なくとも一方を含む時間情報とを、解析部１０３へ出力する。

また、機器制御部１０１は、マイク１１から入力されたユーザの発話指示、すなわち、対象機器の機能を示す用語を含む音声指示である音声コマンドに基づいて、テレビ装置１０の動作を制御する機能を備えている。つまり、機器制御部１０１は、ユーザが発声する音声コマンドが示すフレーズとそのフレーズに対応する対象機器の動作とが関連付けされている情報である音声操作情報を予めデータベース部１０４などに記憶し、この音声操作情報を参照することによって、ユーザが発声した音声コマンドを対象機器に対する操作コマンドとして認識する機能を有している。例えば、機器制御部１０１は、マイク１１から入力されたユーザの音声コマンドが「音量を上げて。」である場合、発話指示の内容に応じた操作コマンドを生成して、この操作コマンド（すなわち、音声コマンドに基づく操作コマンド）に基づいて制御を行う機能を備えてもよい。このような、対象機器の機能を示す用語を含む音声コマンドによる対象機器の制御は、特許文献１に示されるように、公知の技術である。

また、本実施の形態に係る機器制御装置１００においては、機器制御部１０１は、ユーザから「いつもの」などの、機能を示す用語を含まない１つ以上の単語を含む定型句からなる音声コマンドとして使用することができる。機能を示す用語を含まない定型句の例は、「いつもの」の他に、「あれ」、「それ」などの指示代名詞、などである。機器制御部１０１は、機能を示す用語を含まない定型句の候補として、複数のテキストを予め機器制御装置１００内のメモリに登録している。入力された音声コマンドに対応するテキストデータが、登録されている定型句の候補のいずれかと一致する場合に、そのテキストデータを解析部１０３へ出力する。定型句の候補を記憶するメモリは、後述の図２に示されるメモリ２０１であってもよい。

〈解析部１０３〉
機器制御装置１００においては、解析部１０３は、リモコン２０によるユーザ操作の操作履歴及び音声コマンドによる操作履歴から、操作頻度の高い、一連の操作群を、曜日又は時刻などを含むユーザ環境情報毎に、パターンコマンドとして抽出する。パターンコマンドは、操作パターンである一連の操作コマンド群と、ユーザが当該一連の操作を実施した時点のユーザ環境情報とをまとめた情報である。パターンコマンドの抽出では、ユーザ毎に、曜日又は時刻、特定期間毎の操作又は、ある一定操作後に実施される操作など、定期的に実行される操作の中でパターン化されているユーザ操作情報をパターンコマンドとして取り出す。

操作コマンドは、例えば、リモコン２０から入力されたユーザ操作のうちの、予め決められた操作、及び音声コマンドのうちの、予め決められた音声コマンドである。操作コマンドは、リモコン２０から入力され機器制御部１０１を通して、又は音声コマンドに基づいて機器制御部１０１で生成されて解析部１０３に提供される。

また、本出願では、ユーザ環境情報は、機器制御部１０１から操作コマンドが出力された時点におけるユーザの環境を示すものであり、例えば、曜日及び時刻を含む時間情報と、ユーザＩＤとを含む。なお、時刻は、年月日情報を含んでもよい。

また、本出願では、操作履歴は、操作コマンドと、この操作コマンドが実行された時点におけるユーザ環境情報とを含む。

また、本出願では、パターンコマンドは、操作コマンド群から構成される。操作コマンド群は、複数の操作コマンドの時系列配列であり、複数の操作コマンドを実施した時点におけるユーザ環境情報をも含む。パターンコマンドは、複数回に渡って抽出された複数の操作コマンドから構成されるので、パターンコマンド内の操作コマンドの実行時刻の間には、ある程度の時間幅が存在する。したがって、操作コマンドに付随するユーザ環境情報に含まれる時刻としては、例えば、パターンコマンド内の複数の操作コマンドに付随する複数のユーザ環境情報に含まれる複数の時刻の平均時刻が用いられる。

解析部１０３によるデータベース部１０４からのパターンコマンドの読み出し（すなわち、抽出）は、ある特定の曜日、又はある特定の時刻、又はある特定の曜日における特定の時刻におけるユーザ環境情報下において、定期的に実行される処理である。解析部１０３によるデータベース部１０４からのパターンコマンドの読み出しは、ユーザ毎で、且つ操作コマンド毎で実施される。解析部１０３は、あるユーザ環境情報下において、パターンコマンド内の操作コマンドの各々が、ある一定時間内に、ある一定頻度で出現した場合に、一連の操作コマンドの各々は、一定のパターンを持つ操作コマンド、すなわち、パターンコマンドであると判断する。解析部１０３は、一連の操作コマンドの間の実行時刻の間隔の閾値、及びパターンコマンドの出現回数の閾値を設けて、これらをパターン抽出時の基準として用いる。

本実施の形態では、解析部１０３は、パターンコマンドの検出を、操作コマンドのレベルにて実施するが、リモコン２０のキーイベント又は音声コマンドに基づく操作コマンドの入力など、すべての情報を操作コマンドとして扱い、この操作コマンドに基づいてパターンコマンドを抽出してもよい。また、解析部１０３は、ユーザの識別を行わずに、パターンコマンドの抽出を行ってもよい。

データベース部１０４は、解析部１０３が機器制御部１０１から提供された操作コマンドと、この操作コマンドの実行時におけるユーザ環境情報と、解析部１０３が抽出したパターンコマンドとを記憶する。

解析部１０３は、機器制御部１０１から提供された操作コマンドとユーザ環境情報とをデータベース部１０４に、順次、操作履歴として記録する。ユーザ環境情報に含まれる時刻情報は、例えば、時間情報取得部１０１ａから提供される。また、解析部１０３は、予め決められた時間毎に、データベース部１０４から操作履歴を読み出し、ユーザ毎に、予め決められた一定期間内において操作パターンが類似している１つ以上の操作コマンドからなる操作コマンド群を抽出し、この操作コマンド群をパターンコマンドとしてデータベース部１０４に登録する。

解析部１０３は、機器制御部１０１から出力される操作コマンドと、出力された時点でのユーザ環境情報とを関連付けて時系列配列として、ある一定数の時系列配列を保持する。また、解析部１０３は、ユーザ毎に、機器制御部１０１から出力される操作コマンドを常時、監視し、一連の操作コマンドから構成される操作コマンド群と、その操作コマンド群に基づく動作の実行時のユーザ環境情報とを、データベース部１０４に記憶されているパターンコマンドの操作コマンド及びユーザ環境情報と比較する。解析部１０３は、操作コマンド群とユーザ環境情報とが、データベース部１０４に記憶されているパターンコマンドの操作コマンド及びユーザ環境情報と類似している場合に、ユーザに対する通知を実行する。この通知は、同じユーザ環境情報下においてユーザ操作が、習慣的な操作として、ある一定回数を超えて実行され、対象機器がパターンコマンドとして認識したことをユーザに示すためのものである。この通知は、基本的に１回のみ行われる。また、解析部１０３は、音声による通知の代わりに、又は音声による通知に加えて、表示部１７の画面による通知を行ってもよい。

ユーザに対する通知は、「いつもの操作ですね」などの、機能を示す用語を含まないフレーズを用いて、当該操作を習慣的な操作として対象機器が認識していることを通知する。これにより、ユーザは、以後、対象機器に対して、一連の操作を指示する際に、「いつもの」などの定型句からなる音声コマンドで指示することができることを把握できる。このため、ユーザは、個別にパターンコマンド固有のコマンド名を記憶する必要がない。したがって、定型句からなる音声コマンドで操作指示することができ、ユーザの操作負担を軽減することができる。

この通知後、ユーザから「いつもの」など、対象機器の機能を示す用語を含まない定型句からなる音声コマンドを使用して操作指示が行われると、解析部１０３は、機器制御部１０１から出力されるテキストデータである「いつもの」を受け付け、この指示を受けた際のユーザ環境情報と、データベース部１０４に記録されているパターンコマンドのユーザ環境情報とを比較する。解析部１０３は、類似しているユーザ環境情報を保持するパターンコマンドを検出して、ある一定の確度で一致した場合に、推定操作部１０２にパターンコマンドを出力する。

また、解析部１０３は、機器制御部１０１から出力された操作コマンドにおけるユーザ環境情報から、そのユーザ環境情報に該当するパターンコマンドをデータベース部１０４から取り出す。解析部１０３は、取り出したパターンコマンドの前段の一部が、前記時系列配列内の操作コマンドとユーザ環境情報に類似した場合に、その都度、操作コマンドがユーザへパターンコマンドとして検知できたことをユーザに通知してもよい。つまり、現在のユーザによって現在の操作コマンドが入力されたときに、解析部１０３は、現在のユーザの現在のユーザ環境情報に一致する、データベース部１０４に記憶されているユーザ環境情報を有するパターンコマンドを読み出し、現在の操作コマンドが、読み出されたパターンコマンドに含まれる操作コマンドに類似しているか否かを判断し、類似していると判断した場合に、音声合成部１０７に、定型句によって入力可能なパターンコマンドが存在していることを通知部に通知させてもよい。ここで、現在の操作コマンドが、読み出されたパターンコマンドに含まれる操作コマンドに類似しているとは、現在の操作コマンドと、パターンコマンドに含まれる操作コマンドとが、いずれも、同じ種類の操作（例えば、チャンネルの選局、音量の調整、など）である場合である。

ユーザに対する通知において、機器制御部１０１は、「いつもの操作ですね。」のように、機能を示す用語を含まない定型句を用いた操作案内を実施する。また、音声出力による通知に加えて、表示部１７の画面上に通知情報を表示することで操作案内を通知してもよい。これにより、当該操作が「いつもの」などの機能を示す用語を含まない定型句からなる音声コマンドを使用して指示できる操作であることを、ユーザが忘れた場合にも、対象機器側から「いつもの操作ですね」などの機能を示す用語を含まない定型句を用いて通知される。このため、「いつもので」など、簡単な返答で操作を実行することができ、ユーザの操作負担を軽減することができる。

〈推定操作部１０２〉
推定操作部１０２は、解析部１０３から出力されたパターンコマンドに基づいて、操作コマンドを推定し、機器制御部１０１に推定された操作コマンドの実行を順次指示する。推定操作部１０２は、パターンコマンドを用いて操作する際には、ユーザ環境情報の各操作コマンドの時刻に対応する時刻に指示を出力する。

推定操作部１０２がパターンコマンドに対応する推定された操作コマンドの実行を順次指示している間に、ユーザによるリモコン２０の操作、すなわち、割り込み操作があった場合、機器制御装置１００は、割り込み操作を行ったユーザの意図を推定する。つまり、推定操作部１０２は、パターンコマンドが、ユーザの意図したものと異なっているかどうかを判断する。この判断は、パターンコマンドの操作コマンド毎に、当該操作コマンドを拒絶するリモコン操作を予め登録しておき、この登録情報を参照して行われる。例えば、推定操作部１０２は、録画番組の再生時におけるボリュームの上げ・下げの操作、又は早送り・巻戻しの操作などは、選択されたパターンコマンドに対応する操作コマンドを拒絶するリモコン操作とみなさないことができる。

これにより、ユーザから「いつもの」など、機能を示す用語を含まない定型句からなる音声コマンドが発声されて、推定操作部１０２によって推定されたパターンコマンドを実行している際に、ユーザからの操作の割り込みがあった場合に、機器制御装置１００は、パターンコマンドの一連の操作における追加操作であるのか、推定したパターンコマンドの中断をユーザが希望するものなのかを、判断することができる。このため、ユーザが選択されたパターンコマンドを拒絶する意思がない場合に、ユーザの希望に反してパターンコマンドに基づく処理の実行を中止することがなくなり、ユーザの操作負担を軽減することができる。

〈ハードウェア構成〉
図２は、本実施の形態に係る機器制御装置１００のハードウェア構成の例を示す図である。図２において、図１に示される構成要素と同じ構成要素には、図１に示される符号と同じ符号が付される。図２に示されるように、機器制御装置１００は、フラッシュメモリなどのメモリ２０１と、情報処理部としてのプロセッサ２０２と、記憶装置２０３とを備えている。メモリ２０１は、フラッシュＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。機器制御装置１００は、例えば、電子機器の一部である。機器制御装置１００は、コンピュータであってもよい。メモリ２０１は、プロセッサ２０２によって実行されるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、本実施の形態に係る機器制御プログラムなどのアプリケーションプログラム、ファームウェア、などを記録することができる。記憶装置２０３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又は半導体記憶装置で構成される。

図１に示される機器制御装置１００の全体又は一部は、ソフトウェアとしてのプログラムを格納するメモリ２０１と、メモリ２０１に格納されたプログラムを実行するプロセッサ２０２とを用いて実現することができる。また、図１におけるデータベース部１０４は、図２における記憶装置２０３によって実現することができる。

《３》機器制御装置１００の動作
図３は、本実施の形態に係る機器制御装置１００の動作を示すフローチャートである。本実施の形態に係る機器制御装置１００は、ユーザ操作部であるリモコン２０から入力され、入力部１５で取得された操作コマンドに基づいて対象機器の動作を制御することができる。また、機器制御装置１００は、マイク１１から入力された音声コマンドに基づいて対象機器の動作を制御することができる。本実施の形態に係る機器制御装置１００においては、音声コマンドとして、対象機器の機能を示す用語を含む具体的な命令文による音声コマンドだけでなく、対象機器の機能を示す用語を含まない曖昧な表現である定型句からなる音声コマンドを用いることができる。対象機器の機能を示す用語を含む具体的な命令文の例は、「ボリュームを上げて下さい。」、「チャンネル４に変えて下さい。」、などである。対象機器の機能を示す用語を含まない曖昧な表現である定型句の例は、「いつもの」、「いつものやつ」、などのフレーズ、「あれ」、「それ」などの指示代名詞、である。

図３に基づいて、本実施の形態に係る機器制御装置１００の主要な動作を説明する。先ず、ステップＳ１において、リモコン２０によるユーザ操作に基づく操作コマンドが入力されると又は音声コマンドに基づく操作コマンドが入力されると、解析部１０３は、機器制御部１０１を通して、操作コマンド、操作コマンドを入力したユーザを示すユーザＩＤ、及びこの操作コマンドが入力されたときの時刻及び曜日を含む時間情報を受け取り、操作コマンド、ユーザＩＤ、及び時間情報を互いに関連付けることで得られたユーザ操作情報を、データベース部１０４に操作履歴情報１０４ａとして格納する。解析部１０３は、ユーザ操作情報を蓄積する動作を、操作コマンドが入力される度に行う。

次のステップＳ２において、解析部１０３は、データベース部１０４に記録されている操作履歴情報１０４ａからユーザ操作情報を抽出し、抽出された複数のユーザ操作情報のうちの、予め決められた類似条件を満たすユーザ操作情報を、パターンコマンドとしてデータベース部１０４に記録する。

予め決められた類似条件は、例えば、以下の（１）〜（３）のいずれかである。
（１）ユーザＩＤが共通であり、時間情報に含まれる時刻の差が予め決められた範囲内であること。
（２）ユーザＩＤが共通であり、時間情報に含まれる曜日が共通であること。
（３）ユーザＩＤが共通であり、時間情報に含まれる曜日が共通であり、時間情報に含まれる時刻の差が予め決められた範囲内であること。

次のステップＳ３において、機器制御部１０１は、パターンコマンドの入力操作を、音声コマンドである曖昧な定型句からなる音声コマンドの発声によって実行可能であることをユーザに通知する。通知は、音声合成部１０７によって生成された合成音声信号に基づいてスピーカ１３から出力される合成音声によって行われる。また、通知は、表示部１７に表示される映像によって行われてもよい。

次のステップＳ４において、音声コマンドである曖昧な定型句からなる音声コマンドが発声されたときに、解析部１０３は、発声された定型句からなる音声コマンドに対応するパターンコマンドをデータベース部１０４から読み出し、推定操作部１０２は、このパターンコマンドに対応する操作コマンドを推定し、推定されたパターンコマンドを機器制御部１０１に提供する。機器制御部１０１は、推定操作部１０２から受け取ったパターンコマンドにしたがって対象機器を制御する。

図４は、本実施の形態に係る機器制御装置１００における操作履歴情報の記録時の動作を示すフローチャートである。図４は、図３におけるステップＳ１の処理の詳細を示す。

先ず、ステップＳ１１において、ユーザによりリモコン２０が操作されると、機器制御部１０１は、入力部１５を介して入力されたユーザ操作信号を受け取る。

次のステップＳ１２において、機器制御部１０１は、受信したユーザ操作信号が予め決められた操作コマンドに基づく信号であるか否かを判断する。つまり、機器制御部１０１は、ユーザ操作信号が操作履歴情報１０４ａとして記録されるべき操作コマンド、すなわち、予め決められた操作コマンドに基づく信号であるか否かを判断する。

ユーザ操作信号が予め決められた操作コマンドに基づく信号である場合（ステップＳ１２における判断が「はい」である場合）、処理はステップＳ１３に進み、ユーザ操作信号が予め決められた操作コマンドに基づく信号でない場合（ステップＳ１２における判断が「いいえ」である場合）、処理はステップＳ１１に戻る。

処理がステップＳ１３に進んだ場合、解析部１０３は、機器制御部１０１から操作コマンドと、ユーザＩＤと時間情報とを含むユーザ環境情報と、を受け取る。

次のステップＳ１４において、解析部１０３は、操作コマンドとユーザ環境情報とを関連付けて得られたユーザ操作情報を、データベース部１０４に操作履歴情報１０４ａとして記録する。つまり、データベース部１０４に記録される操作履歴情報１０４ａは、ユーザ操作に基づく操作コマンドとユーザ環境情報とを関連付けて得られたユーザ操作情報のみから構成されてもよい。ただし、データベース部１０４に記録される操作履歴情報１０４ａは、ユーザ操作に基づく操作コマンドとユーザ環境情報とを関連付けて得られたユーザ操作情報と、音声コマンドに基づく操作コマンドとユーザ環境情報とを関連付けて得られたユーザ操作情報との両方を含むことが望ましい。なお、データベース部１０４に記録される操作履歴情報１０４ａは、音声コマンドに基づく操作コマンドとユーザ環境情報とを関連付けて得られたユーザ操作情報のみから構成することも可能である。

図５は、本実施の形態に係る機器制御装置１００におけるパターンコマンドの記録時の動作を示すフローチャートである。図５は、図３におけるステップＳ２の処理の詳細を示す。なお、パターンコマンドは、対象機器の機能を示す用語を含まない音声コマンドである曖昧な定型句によって、入力操作を行うことが可能なコマンドである。

先ず、ステップＳ２１において、解析部１０３は、予め決められた時間毎にデータベース部１０４を参照して、データベース部１０４に操作履歴情報１０４ａが有るか否かを判断する。

操作履歴情報１０４ａが有る場合（ステップＳ２１における判断が「はい」である場合）、処理はステップＳ２２に進み、操作履歴情報１０４ａが無い場合（ステップＳ２１における判断が「いいえ」である場合）、ステップＳ２１の処理が再度行われる。

処理がステップＳ２２に進んだ場合、解析部１０３は、データベース部１０４に記録されている操作履歴情報１０４ａから、予め決められた一定期間内の操作履歴であるユーザ操作情報を読み出す。

次のステップＳ２３において、解析部１０３は、読み出されたユーザ操作情報がパターンコマンドの条件を満たすか否かを判断する。つまり、解析部１０３は、読み出されたユーザ操作情報が、ユーザによって繰り返し実行されたユーザ操作についてのユーザ操作情報であり、ユーザ操作情報は類似するユーザ環境情報を含んでおり、繰り返し実行回数が予め決められた基準回数を越えたユーザ操作についての複数のユーザ操作情報（すなわち、ユーザ操作情報群）からなる、パターンコマンドであるか否かを判断する。

ユーザ操作情報群がパターンコマンドの条件を満たす場合（ステップＳ２３における判断が「はい」である場合）、処理はステップＳ２４に進み、ユーザ操作情報群がパターンコマンドの条件を満たさない場合（ステップＳ２３における判断が「いいえ」である場合）、処理はステップＳ２１に戻る。

処理がステップＳ２４に進んだ場合、解析部１０３は、データベース部１０４に、一連のユーザ操作情報群とそのユーザ環境情報であるユーザＩＤ及び時間情報とを、パターンコマンドとして記録する。

図６は、本実施の形態に係る機器制御装置１００におけるユーザに対する通知の動作を示すフローチャートである。図６は、図３におけるステップＳ３の詳細を示す。

先ず、ステップＳ３１において、ユーザによりリモコン２０が操作されると、機器制御部１０１は、入力部１５を介して入力されたユーザ操作信号を受け取る。

次のステップＳ３２において、機器制御部１０１は、受信したユーザ操作信号が予め決められた操作コマンドに基づく信号であるか否かを判断する。

ユーザ操作信号が予め決められた操作コマンドに基づく信号である場合（ステップＳ３２における判断が「はい」である場合）、処理はステップＳ３３に進み、ユーザ操作信号が予め決められた操作コマンドに基づく信号でない場合（ステップＳ３２における判断が「いいえ」である場合）、処理はステップＳ３１に戻る。

処理がステップＳ３３に進んだ場合、解析部１０３は、機器制御部１０１から操作コマンドと、ユーザＩＤと時間情報とを含むユーザ環境情報と、を受け取る。

次のステップＳ３４において、解析部１０３は、データベース部１０４からパターンコマンドを読み出す。

次のステップＳ３５において、解析部１０３は、読み出されたパターンコマンドを参照し、入力された現時点における操作コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドが有るか否かを判断する。つまり、解析部１０３は、現時点における操作コマンドのユーザ環境情報と合致するユーザ環境情報を含むパターンコマンドが有るか否かを判断する。

操作コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドが有る場合（すなわち、ステップＳ３５における判断が「はい」である場合）、処理はステップＳ３６に進み、操作コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドが無い場合（すなわち、ステップＳ３５における判断が「いいえ」である場合）、処理はステップＳ３１に戻る。

処理がステップＳ３６に進んだ場合、解析部１０３は、現在の操作コマンドが、パターンコマンドと類似しているか否かを判断する。

操作コマンドがパターンコマンドに類似している場合（すなわち、ステップＳ３６における判断が「はい」である場合）、処理はステップＳ３７に進み、操作コマンドがパターンコマンドに類似していない場合（すなわち、ステップＳ３６における判断が「いいえ」である場合）、処理はステップＳ３１に戻る。

処理がステップＳ３７に進んだ場合、解析部１０３は、機器制御部１０１に、合成音声による通知を実行させる。つまり、解析部１０３は、ユーザに対して「いつもの操作ですね」と合成音声で通知するように、機器制御部１０１に指示する。

図７は、本実施の形態に係る機器制御装置１００における音声コマンドである定型句が入力されたときの動作を示すフローチャートである。図６は、図３におけるステップＳ４の詳細を示す。

先ず、ステップＳ４１において、ユーザにより音声コマンドである定型句が発声されると、機器制御部１０１は、マイク１１、Ａ／Ｄコンバータ１２、音声認識部１０６を介して音声コマンドに対応するテキストデータを受け取る。定型句は、制御対象の機能を示す用語を含まない音声コマンドであり、例えば、「いつもの」、「あれ」、などである。

次のステップＳ４２において、解析部１０３は、機器制御部１０１から定型句のテキストデータを受け取る。

次のステップＳ４３において、解析部１０３は、データベース部１０４からパターンコマンドを読み出す。

次のステップＳ４４において、解析部１０３は、読み出されたパターンコマンドを参照し、入力された現時点における音声コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドが有るか否かを判断する。つまり、解析部１０３は、現時点における音声コマンドのユーザ環境情報と合致するユーザ環境情報を含むパターンコマンドが有るか否かを判断する。

音声コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドが有る場合（すなわち、ステップＳ４４における判断が「はい」である場合）、処理はステップＳ４５に進み、音声コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドが無い場合（すなわち、ステップＳ４４における判断が「いいえ」である場合）、処理はステップＳ４１に戻る。

処理がステップＳ４５に進んだ場合、解析部１０３は、音声コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドを推定操作部１０２に出力する。つまり、解析部１０３は、音声コマンドのユーザ環境情報と合致するユーザ環境情報を含むパターンコマンドを推定操作部１０２に出力する。

次のステップＳ４６において、推定操作部１０２は、受け取ったパターンコマンドに対応する操作コマンドを機器制御部１０１に出力する。次のステップＳ４７において、機器制御部１０１は、推定操作部１０２から受け取った操作コマンドに基づいて対象機器の動作を制御する。

図８は、本実施の形態に係る機器制御装置１００におけるパターンコマンドの確認の通知の処理を示すフローチャートである。

先ず、ステップＳ５１において、ユーザによりリモコン２０が操作されると、機器制御部１０１は、入力部１５を介して入力されたユーザ操作信号を受け取る。

次のステップＳ５２において、機器制御部１０１は、受信したユーザ操作信号が予め決められた操作コマンドに基づく信号であるか否かを判断する。

ユーザ操作信号が予め決められた操作コマンドに基づく信号である場合（すなわち、ステップＳ５２における判断が「はい」である場合）、処理はステップＳ５３に進み、ユーザ操作信号が予め決められた操作コマンドに基づく信号でない場合（すなわち、ステップＳ５２における判断が「いいえ」である場合）、処理はステップＳ５１に戻る。

処理がステップＳ５３に進んだ場合、解析部１０３は、機器制御部１０１から操作コマンドと、ユーザＩＤと時間情報とを含むユーザ環境情報と、を受け取る。

次のステップＳ５４において、解析部１０３は、データベース部１０４からパターンコマンドを読み出す。

次のステップＳ５５において、解析部１０３は、読み出されたパターンコマンドを参照し、入力された現時点における操作コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドが有るか否かを判断する。つまり、解析部１０３は、現時点における操作コマンドのユーザ環境情報と合致するユーザ環境情報を含むパターンコマンドが有るか否かを判断する。

操作コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドが有る場合（すなわち、ステップＳ５５における判断が「はい」である場合）、処理はステップＳ５６に進み、操作コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドが無い場合（すなわち、ステップＳ５５における判断が「いいえ」である場合）、処理はステップＳ５１に戻る。

処理がステップＳ５６に進んだ場合、解析部１０３は、現在の操作コマンドが、パターンコマンドの前段の一部と類似しているか否かを判断する。つまり、現在のユーザによって現在の操作コマンドが入力されたときに、解析部１０３は、現在のユーザの現在のユーザ環境情報に一致する、データベース部１０４に記憶されているユーザ環境情報を有するパターンコマンドを読み出し、現在の操作コマンドが、読み出されたパターンコマンドに含まれる操作コマンドに類似しているか否かを判断する。

操作コマンドがパターンコマンドの前段の一部、すなわち、パターンコマンドに含まれる操作コマンドに類似している場合（すなわち、ステップＳ５６における判断が「はい」である場合）、処理はステップＳ５７に進み、操作コマンドがパターンコマンドの前段の一部に類似していない場合（すなわち、ステップＳ５６における判断が「いいえ」である場合）、処理はステップＳ５１に戻る。

処理がステップＳ５７に進んだ場合、解析部１０３は、機器制御部１０１に、合成音声による通知を実行させる。つまり、解析部１０３は、ユーザに対して「いつもの操作ですか？」と合成音声で確認の通知を行うように、機器制御部１０１に指示する。

《４》機器制御装置１００の効果
以上に説明したように、本実施の形態に係る機器制御装置１００、機器制御システム１０、機器制御方法、又は機器制御プログラムを用いれば、リモコン２０からのユーザ入力操作と予め決められた音声コマンドによる音声入力操作に加えて、対象機器の機能を含まない曖昧な定型句である音声コマンドによって、対象機器を制御することができる。

また、音声コマンドである定型句として「いつもの」、「さっきの」、などの決まり文句、及び「あれ」、「それ」、などの指示代名詞を用いることができるので、ユーザは、音声コマンドの内容を記憶している必要がない。このためユーザの負担を軽減することができる。

１０ テレビ装置、 １１ マイク、 １２ Ａ／Ｄコンバータ、 １３ スピーカ、 １４ Ｄ／Ａコンバータ、 １５ 入力部、 １６ カメラ、 ２０ リモコン、 １００ 機器制御装置、 １０１ 機器制御部、 １０１ａ 時間情報生成部、 １０２ 推定操作部、 １０３ 解析部、 データベース部、 １０４ａ 操作履歴情報、 １０５ ユーザ認識部、 １０６ 音声認識部、 １０７ 音声合成部。

Claims (15)

1. ユーザ操作部から入力されたユーザ操作に基づく操作コマンド及びマイクから入力された音声コマンドに基づく操作コマンドの少なくとも一方によって対象機器の動作を制御する機器制御装置であって、
   前記操作コマンドが入力されたときの時刻及び曜日の少なくとも一方を含む時間情報を取得する時間情報取得部と、
   前記ユーザ操作を入力するユーザ及び前記音声コマンドを発声するユーザを示すユーザ特定情報を生成するユーザ特定情報生成部と、
   前記操作コマンドに、前記ユーザ特定情報と前記時間情報とを含む第１のユーザ環境情報を関連付けることで得られたユーザ操作情報を、前記操作コマンドが入力される度に蓄積することで、複数のユーザ操作情報を含む操作履歴情報を記憶するデータベース部と、
   予め決められた類似条件を満たす第１のユーザ環境情報を含む複数のユーザ操作情報をパターンコマンドとして前記データベース部に記録するパターンコマンド記録処理と、１つ以上の単語を含む定型句からなる前記音声コマンドが発声されたときに、前記定型句からなる前記音声コマンドに基づく前記操作コマンドについての前記ユーザ特定情報と前記時間情報とを含む第２のユーザ環境情報に合致する前記第１のユーザ環境情報を含む前記パターンコマンドを前記データベース部から選択する音声解析処理と、を行う解析部と、
   前記解析部によって選択された前記パターンコマンドに基づいて前記対象機器の動作を制御する機器制御部と、
   を有することを特徴とする機器制御装置。
2. 前記類似条件は、前記複数のユーザ操作情報の前記ユーザ特定情報が示す前記ユーザが共通であることを含むことを特徴とする請求項１に記載の機器制御装置。
3. 前記類似条件は、前記複数のユーザ操作情報の前記時間情報が示す時刻が、予め決められた時刻範囲内であることを含むことを特徴とする請求項１又は２に記載の機器制御装置。
4. 前記類似条件は、前記複数のユーザ操作情報の前記時間情報が示す曜日が共通であることを含むことを特徴とする請求項１から３のいずれか１項に記載の機器制御装置。
5. 前記定型句は、前記対象機器の機能を示す用語を含まないことを特徴とする請求項１から４のいずれか１項に記載の機器制御装置。
6. 前記定型句は、指示代名詞を含む又は指示代名詞のみから構成されることを特徴とする請求項１から５のいずれか１項に記載の機器制御装置。
7. 前記第２のユーザ環境情報に含まれる前記ユーザ特定情報が前記第１のユーザ環境情報に含まれる前記ユーザ特定情報に一致し、且つ前記第２のユーザ環境情報に含まれる前記時間情報が示す時刻と前記第１のユーザ環境情報に含まれる前記時間情報が示す時刻との差が予め決められた閾値以下である場合に、前記第２のユーザ環境情報は前記第１のユーザ環境情報に合致することを特徴とする請求項１から６のいずれか１項に記載の機器制御装置。
8. 前記第２のユーザ環境情報に含まれる前記ユーザ特定情報が前記第１のユーザ環境情報に含まれる前記ユーザ特定情報に一致し、且つ前記第２のユーザ環境情報に含まれる前記時間情報が示す曜日が前記第１のユーザ環境情報に含まれる前記時間情報が示す曜日に一致する場合に、前記第２のユーザ環境情報は前記第１のユーザ環境情報に合致することを特徴とする請求項１から６のいずれか１項に記載の機器制御装置。
9. 前記第２のユーザ環境情報に含まれる前記ユーザ特定情報が前記第１のユーザ環境情報に含まれる前記ユーザ特定情報に一致し、且つ前記第２のユーザ環境情報に含まれる前記時間情報が示す曜日が前記第１のユーザ環境情報に含まれる前記時間情報が示す曜日に一致し、且つ前記第２のユーザ環境情報に含まれる前記時間情報が示す時刻と前記第１のユーザ環境情報に含まれる前記時間情報が示す時刻との差が予め決められた閾値以下である場合に、前記第２のユーザ環境情報は前記第１のユーザ環境情報に合致することを特徴とする請求項１から６のいずれか１項に記載の機器制御装置。
10. 前記パターンコマンド記録処理が行われたときに、前記定型句からなる前記音声コマンドによって入力可能な操作コマンドが前記パターンコマンドに存在していることを通知する通知部をさらに有することを特徴とする請求項１から９のいずれか１項に記載の機器制御装置。
11. 現在のユーザによる前記ユーザ操作に基づく操作コマンド及び前記現在のユーザによる前記音声コマンドに基づく操作コマンドのいずれかである現在の操作コマンドが入力されたときに、
    前記解析部は、
    前記現在のユーザの現在のユーザ環境情報に一致する、前記データベース部に記憶されている前記第１のユーザ環境情報を有する前記パターンコマンドを読み出し、
    前記現在の操作コマンドが、読み出された前記パターンコマンドに含まれる操作コマンドに類似しているか否かを判断し、
    類似していると判断した場合に、前記通知部に、前記定型句からなる前記音声コマンドによって入力可能なパターンコマンドが存在していることを通知させる
    ことを特徴とする請求項１０に記載の機器制御装置。
12. 前記定型句からなる前記音声コマンドの入力によって、前記パターンコマンドに基づく動作が実行されているときに、前記現在のユーザによって前記現在の操作コマンドが入力された場合、前記解析部は、前記定型句からなる前記音声コマンドに基づく処理が、前記パターンコマンドに基づく動作に追加される処理であるか、前記パターンコマンドに基づく動作を中断して実行する処理であるかを判断することを特徴とする請求項１１に記載の機器制御装置。
13. 請求項１から１２のいずれか１項に記載の機器制御装置と、
    前記機器制御装置によって制御される対象機器と、
    を有することを特徴とする機器制御システム。
14. ユーザ操作部から入力されたユーザ操作に基づく操作コマンド及びマイクから入力された音声コマンドに基づく操作コマンドの少なくとも一方によって対象機器の動作を制御する機器制御方法であって、
    前記操作コマンドが入力されたときの時刻及び曜日の少なくとも一方を含む時間情報を取得するステップと、
    前記ユーザ操作を入力するユーザ及び前記音声コマンドを発声するユーザを示すユーザ特定情報を生成するステップと、
    前記操作コマンドに、前記ユーザ特定情報と前記時間情報とを含む第１のユーザ環境情報を関連付けることで得られたユーザ操作情報を、前記操作コマンドが入力される度に蓄積することで、複数のユーザ操作情報を含む操作履歴情報をデータベース部に記憶するステップと、
    予め決められた類似条件を満たす第１のユーザ環境情報を含む複数のユーザ操作情報をパターンコマンドとして前記データベース部に記録するステップと、
    １つ以上の単語を含む定型句からなる前記音声コマンドが発声されたときに、前記定型句からなる前記音声コマンドに基づく前記操作コマンドについての前記ユーザ特定情報と前記時間情報とを含む第２のユーザ環境情報に合致する前記第１のユーザ環境情報を含む前記パターンコマンドを前記データベース部から選択するステップと、
    選択された前記パターンコマンドに基づいて前記対象機器の動作を制御するステップと、
    を有することを特徴とする機器制御方法。
15. ユーザ操作部から入力されたユーザ操作に基づく操作コマンド及びマイクから入力された音声コマンドに基づく操作コマンドの少なくとも一方によって対象機器の動作を制御する機器制御プログラムであって、
    コンピュータに、
    前記操作コマンドが入力されたときの時刻及び曜日の少なくとも一方を含む時間情報を取得する処理と、
    前記ユーザ操作を入力するユーザ及び前記音声コマンドを発声するユーザを示すユーザ特定情報を生成する処理と、
    前記操作コマンドに、前記ユーザ特定情報と前記時間情報とを含む第１のユーザ環境情報を関連付けることで得られたユーザ操作情報を、前記操作コマンドが入力される度に蓄積することで、複数のユーザ操作情報を含む操作履歴情報をデータベース部に記憶する処理と、
    予め決められた類似条件を満たす第１のユーザ環境情報を含む複数のユーザ操作情報をパターンコマンドとして前記データベース部に記録する処理と、
    １つ以上の単語を含む定型句からなる前記音声コマンドが発声されたときに、前記定型句からなる前記音声コマンドに基づく前記操作コマンドについての前記ユーザ特定情報と前記時間情報とを含む第２のユーザ環境情報に合致する前記第１のユーザ環境情報を含む前記パターンコマンドを前記データベース部から選択する処理と、
    選択された前記パターンコマンドに基づいて前記対象機器の動作を制御する処理と、
    を実行させることを特徴とする機器制御プログラム。

Images