JP6851565B2 - Device control device, device control system, device control method, and device control program - Google Patents

Device control device, device control system, device control method, and device control program Download PDF

Info

Publication number
JP6851565B2
JP6851565B2 JP2020569220A JP2020569220A JP6851565B2 JP 6851565 B2 JP6851565 B2 JP 6851565B2 JP 2020569220 A JP2020569220 A JP 2020569220A JP 2020569220 A JP2020569220 A JP 2020569220A JP 6851565 B2 JP6851565 B2 JP 6851565B2
Authority
JP
Japan
Prior art keywords
user
information
command
device control
environment information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020569220A
Other languages
Japanese (ja)
Other versions
JPWO2020165933A1 (en
Inventor
正司 比田井
正司 比田井
克希 小林
克希 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2020165933A1 publication Critical patent/JPWO2020165933A1/en
Application granted granted Critical
Publication of JP6851565B2 publication Critical patent/JP6851565B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明は、機器制御装置、機器制御システム、機器制御方法、及び機器制御プログラムに関する。 The present invention relates to a device control device, a device control system, a device control method, and a device control program.

ユーザが発声する音声コマンドが示す語句とその語句に対応する対象機器の動作とが関連付けされている情報である音声操作情報を予め記憶し、この音声操作情報を参照することによって、ユーザが発声した音声コマンドを対象機器に対する操作コマンドとして認識する機器制御装置が知られている。また、機器制御装置に音声操作情報を登録する方法として、ユーザの操作を記憶し、記憶されている操作からなる操作履歴情報を参照して、操作頻度が高い操作に対応する音声コマンドを生成及び登録する方法が提案されている（例えば、特許文献１を参照）。 The voice operation information, which is the information associated with the phrase indicated by the voice command uttered by the user and the operation of the target device corresponding to the phrase, is stored in advance, and the user utters by referring to this voice operation information. A device control device that recognizes a voice command as an operation command for a target device is known. In addition, as a method of registering voice operation information in the device control device, a voice command corresponding to an operation having a high operation frequency is generated by memorizing the user's operation and referring to the operation history information consisting of the stored operation. A method of registration has been proposed (see, for example, Patent Document 1).

特開２０１０−７８８５１号公報（例えば、要約を参照）JP-A-2010-78851 (see, for example, abstract)

しかしながら、上記従来の機器制御装置に対し音声コマンドによって所望の指示を入力するためには、ユーザは、登録されている音声コマンドを示す語句を記憶している必要がある。つまり、ユーザは、所望の操作コマンドに対応する音声コマンドを示す語句を思い出す必要がある。このため、音声コマンドの入力のために要求されるユーザの負担が大きいという課題がある。 However, in order to input a desired instruction to the conventional device control device by a voice command, the user needs to memorize a phrase indicating a registered voice command. That is, the user needs to remember the phrase indicating the voice command corresponding to the desired operation command. Therefore, there is a problem that the burden on the user required for inputting a voice command is large.

本発明は、上記従来の課題を解決するためになされたものであり、音声コマンドの入力のために要求されるユーザの負担の軽減を可能にする機器制御装置、機器制御システム、機器制御方法、及び機器制御プログラムを提供することを目的とする。 The present invention has been made to solve the above-mentioned conventional problems, and is a device control device, a device control system, a device control method, which can reduce the burden on the user required for inputting a voice command. And to provide equipment control programs.

本発明の一態様に係る機器制御装置は、ユーザ操作部から入力されたユーザ操作に基づく操作コマンド及びマイクから入力された音声コマンドに基づく操作コマンドの少なくとも一方によって対象機器の動作を制御する装置であって、前記操作コマンドが入力されたときの時刻及び曜日の少なくとも一方を含む時間情報を取得する時間情報取得部と、前記ユーザ操作を入力するユーザ及び前記音声コマンドを発声するユーザを示すユーザ特定情報を生成するユーザ特定情報生成部と、前記操作コマンドに、前記ユーザ特定情報と前記時間情報とを含む第１のユーザ環境情報を関連付けることで得られたユーザ操作情報を、前記操作コマンドが入力される度に蓄積することで、複数のユーザ操作情報を含む操作履歴情報を記憶するデータベース部と、予め決められた類似条件を満たす第１のユーザ環境情報を含む複数のユーザ操作情報をパターンコマンドとして前記データベース部に記録するパターンコマンド記録処理と、１つ以上の単語を含む定型句からなる前記音声コマンドが発声されたときに、前記定型句からなる前記音声コマンドに基づく前記操作コマンドについての前記ユーザ特定情報と前記時間情報とを含む第２のユーザ環境情報に合致する前記第１のユーザ環境情報を含む前記パターンコマンドを前記データベース部から選択する音声解析処理と、を行う解析部と、前記解析部によって選択された前記パターンコマンドに基づいて前記対象機器の動作を制御する機器制御部と、を有することを特徴とする。 The device control device according to one aspect of the present invention is a device that controls the operation of the target device by at least one of an operation command based on a user operation input from a user operation unit and an operation command based on a voice command input from a microphone. A user identification unit indicating a time information acquisition unit that acquires time information including at least one of the time and day when the operation command is input, a user who inputs the user operation, and a user who issues the voice command. The operation command inputs user operation information obtained by associating the user-specific information generation unit that generates information and the first user environment information including the user-specific information and the time information with the operation command. A pattern command is used to store operation history information including a plurality of user operation information and a plurality of user operation information including a first user environment information satisfying a predetermined similarity condition by accumulating each time. The pattern command recording process to be recorded in the database unit and the operation command based on the voice command consisting of the fixed phrase when the voice command including the fixed phrase including one or more words is uttered. An analysis unit that performs a voice analysis process for selecting a pattern command including the first user environment information that matches the second user environment information including the user specific information and the time information from the database unit, and the analysis unit. It is characterized by having a device control unit that controls the operation of the target device based on the pattern command selected by the analysis unit.

本発明の他の態様に係る機器制御方法は、ユーザ操作部から入力されたユーザ操作に基づく操作コマンド及びマイクから入力された音声コマンドに基づく操作コマンドの少なくとも一方によって対象機器の動作を制御する方法であって、前記操作コマンドが入力されたときの時刻及び曜日の少なくとも一方を含む時間情報を取得するステップと、前記ユーザ操作を入力するユーザ及び前記音声コマンドを発声するユーザを示すユーザ特定情報を生成するステップと、前記操作コマンドに、前記ユーザ特定情報と前記時間情報とを含む第１のユーザ環境情報を関連付けることで得られたユーザ操作情報を、前記操作コマンドが入力される度に蓄積することで、複数のユーザ操作情報を含む操作履歴情報をデータベース部に記憶するステップと、予め決められた類似条件を満たす第１のユーザ環境情報を含む複数のユーザ操作情報をパターンコマンドとして前記データベース部に記録するステップと、１つ以上の単語を含む定型句からなる前記音声コマンドが発声されたときに、前記定型句からなる前記音声コマンドに基づく前記操作コマンドについての前記ユーザ特定情報と前記時間情報とを含む第２のユーザ環境情報に合致する前記第１のユーザ環境情報を含む前記パターンコマンドを前記データベース部から選択するステップと、選択された前記パターンコマンドに基づいて前記対象機器の動作を制御するステップと、を有することを特徴とする。 The device control method according to another aspect of the present invention is a method of controlling the operation of a target device by at least one of an operation command based on a user operation input from a user operation unit and an operation command based on a voice command input from a microphone. The step of acquiring the time information including at least one of the time and the day when the operation command is input, and the user-specific information indicating the user who inputs the user operation and the user who utters the voice command. The user operation information obtained by associating the generated step with the first user environment information including the user specific information and the time information with the operation command is accumulated every time the operation command is input. As a result, the step of storing the operation history information including a plurality of user operation information in the database unit and the plurality of user operation information including the first user environment information satisfying a predetermined similarity condition are used as pattern commands in the database unit. When the voice command consisting of a fixed phrase including one or more words is uttered, the user-specific information and the time information about the operation command based on the voice command consisting of the fixed phrase. The step of selecting the pattern command including the first user environment information matching the second user environment information including the above from the database unit, and the operation of the target device are controlled based on the selected pattern command. It is characterized by having a step to perform.

本発明によれば、音声コマンドの入力のためのユーザの負担を軽減することができる。 According to the present invention, it is possible to reduce the burden on the user for inputting a voice command.

本発明の実施の形態に係る機器制御システムとしてのテレビ装置及び機器制御装置の構成を概略的に示すブロック図である。It is a block diagram which shows schematic structure of the television apparatus and the apparatus control apparatus as the apparatus control system which concerns on embodiment of this invention. 本実施の形態に係る機器制御システム及び機器制御装置のハードウェア構成の例を示す図である。It is a figure which shows the example of the hardware composition of the device control system and the device control device which concerns on this embodiment. 本実施の形態に係る機器制御装置の動作を示すフローチャートである。It is a flowchart which shows the operation of the device control device which concerns on this embodiment. 本実施の形態に係る機器制御装置における操作履歴情報の記録時の動作を示すフローチャートである。It is a flowchart which shows the operation at the time of recording the operation history information in the device control device which concerns on this embodiment. 本実施の形態に係る機器制御装置におけるパターンコマンドの記録時の動作を示すフローチャートである。It is a flowchart which shows the operation at the time of recording of the pattern command in the device control device which concerns on this embodiment. 本実施の形態に係る機器制御装置におけるユーザに対する通知の動作を示すフローチャートである。It is a flowchart which shows the operation of the notification to the user in the device control device which concerns on this embodiment. 本実施の形態に係る機器制御装置における音声コマンドである定型句が入力されたときの動作を示すフローチャートである。It is a flowchart which shows the operation when the fixed phrase which is a voice command in the device control device which concerns on this Embodiment is input. 本実施の形態に係る機器制御装置におけるユーザに対する確認の通知の動作を示すフローチャートである。It is a flowchart which shows the operation of the confirmation notification to the user in the device control device which concerns on this embodiment.

以下に、本発明の実施の形態に係る機器制御装置、機器制御システム、機器制御方法、及び機器制御プログラムを、図面を参照しながら説明する。以下の説明では、機器制御システムがテレビ装置であり、対象機器がテレビ装置の構成の一部である場合を説明する。ただし、機器制御システムは、テレビ装置以外の機器であってもよい。例えば、機器制御システムは、スマートフォン、携帯電話、タブレット端末、カーナビゲーションシステム、などの電子機器であってもよい。また、以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。 Hereinafter, the device control device, the device control system, the device control method, and the device control program according to the embodiment of the present invention will be described with reference to the drawings. In the following description, the case where the device control system is a television device and the target device is a part of the configuration of the television device will be described. However, the device control system may be a device other than the television device. For example, the device control system may be an electronic device such as a smartphone, a mobile phone, a tablet terminal, a car navigation system, or the like. In addition, the following embodiments are merely examples, and various modifications can be made within the scope of the present invention.

《１》機器制御装置の概要
本実施の形態に係る機器制御装置は、ユーザ操作部から入力されたユーザ操作に基づく操作コマンド及びマイクから入力された音声コマンドに基づく操作コマンドの少なくとも一方によって対象機器の動作を制御する装置である。<< 1 >> Outline of the device control device The device control device according to the present embodiment is a target device by at least one of an operation command based on a user operation input from a user operation unit and an operation command based on a voice command input from a microphone. It is a device that controls the operation of.

本実施の形態に係る機器制御装置は、操作コマンドが入力されたときの時刻及び曜日の少なくとも一方を含む時間情報を取得する。また、本実施の形態に係る機器制御装置は、リモコンなどから操作コマンドを入力するユーザである第１のユーザを示す第１のユーザ特定情報を生成するユーザ認識部と、音声コマンドを発声するユーザである第２のユーザを示す第２のユーザ特定情報を生成する音声認識部とを有している。ユーザ認識部と音声認識部とは、ユーザ特定情報生成部としての機能を有している。したがって、ユーザ特定情報生成部は、ユーザ操作を入力するユーザ及び音声コマンドを発声するユーザを示すユーザ特定情報を生成する。 The device control device according to the present embodiment acquires time information including at least one of the time and the day of the week when the operation command is input. Further, the device control device according to the present embodiment includes a user recognition unit that generates first user identification information indicating a first user who is a user who inputs an operation command from a remote controller or the like, and a user who issues a voice command. It has a voice recognition unit that generates a second user-specific information indicating a second user. The user recognition unit and the voice recognition unit have a function as a user specific information generation unit. Therefore, the user-specific information generation unit generates user-specific information indicating a user who inputs a user operation and a user who utters a voice command.

本実施の形態に係る機器制御装置は、操作コマンドに、ユーザ特定情報と時間情報とを含む第１のユーザ環境情報を関連付けることで得られたユーザ操作情報を、操作コマンドが入力される度に蓄積することで、複数のユーザ操作情報を含む操作履歴情報をデータベース部に格納する。 The device control device according to the present embodiment inputs the user operation information obtained by associating the operation command with the first user environment information including the user identification information and the time information every time the operation command is input. By accumulating, the operation history information including a plurality of user operation information is stored in the database unit.

また、本実施の形態に係る機器制御装置は、予め決められた類似条件を満たす第１のユーザ環境情報を含む複数のユーザ操作情報をパターンコマンドとしてデータベース部に記録するパターンコマンド記録処理と、１つ以上の単語を含む定型句からなる音声コマンドが発声されたときに、定型句からなる音声コマンドに基づく操作コマンドについてのユーザ特定情報と時間情報とを含む第２のユーザ環境情報に合致する第１のユーザ環境情報を含むパターンコマンドをデータベース部から選択する音声解析処理とを行う。さらに、本実施の形態に係る機器制御装置は、選択されたパターンコマンドに基づいて対象機器の動作を制御する。 Further, the device control device according to the present embodiment has a pattern command recording process of recording a plurality of user operation information including a first user environment information satisfying a predetermined similarity condition in a database unit as a pattern command, and 1 When a voice command consisting of a fixed phrase containing two or more words is uttered, the second user environment information including user specific information and time information about an operation command based on the fixed phrase voice command is matched. Performs voice analysis processing for selecting a pattern command including the user environment information of 1 from the database unit. Further, the device control device according to the present embodiment controls the operation of the target device based on the selected pattern command.

ここで、「類似条件」は、例えば、複数のユーザ操作情報に含まれる第１のユーザ特定情報が示すユーザが共通であることを条件として含む。また、「類似条件」は、例えば、複数のユーザ操作情報に含まれる時間情報が示す時刻が、予め決められた時刻範囲内であることを条件として含んでもよい。また、「類似条件」は、複数のユーザ操作情報に含まれる時間情報が示す曜日が共通であることを条件として含んでもよい。 Here, the "similar condition" includes, for example, a condition that the user indicated by the first user specific information included in the plurality of user operation information is common. Further, the "similar condition" may include, for example, a condition that the time indicated by the time information included in the plurality of user operation information is within a predetermined time range. Further, the "similar condition" may include a condition that the day of the week indicated by the time information included in the plurality of user operation information is common.

また、本出願において、「定型句」は、対象機器の機能を示す用語を含まない。定型句の例は、「いつもの」などである。定型句は、指示代名詞を含む又は指示代名詞のみから構成されることができる。定型句を構成する指示代名詞の例は、「あれ」、「それ」などである。 Further, in the present application, the "fixed phrase" does not include a term indicating the function of the target device. An example of a boilerplate is "usual". The boilerplate can include demonstrative pronouns or consist only of demonstrative pronouns. Examples of demonstrative pronouns that make up a fixed phrase are "that", "it", and so on.

また、「第２のユーザ環境情報に合致する第１のユーザ環境情報」は、例えば、第２のユーザ環境情報に含まれるユーザ特定情報が第１のユーザ環境情報に含まれるユーザ特定情報に一致し、且つ第２のユーザ環境情報に含まれる時間情報が示す時刻と第１のユーザ環境情報に含まれる時間情報が示す時刻との差が予め決められた閾値以下であることである。また、「第２のユーザ環境情報に合致する第１のユーザ環境情報」は、例えば、第２のユーザ環境情報に含まれるユーザ特定情報が第１のユーザ環境情報に含まれるユーザ特定情報に一致し、且つ第２のユーザ環境情報に含まれる時間情報が示す曜日が第１のユーザ環境情報に含まれる時間情報が示す曜日に一致することであってもよい。また、「第２のユーザ環境情報に合致する第１のユーザ環境情報」は、例えば、第２のユーザ環境情報に含まれるユーザ特定情報が第１のユーザ環境情報に含まれるユーザ特定情報に一致し、且つ第２のユーザ環境情報に含まれる時間情報が示す曜日が第１のユーザ環境情報に含まれる時間情報が示す曜日に一致し、且つ第２のユーザ環境情報に含まれる時間情報が示す時刻と第１のユーザ環境情報に含まれる時間情報が示す時刻との差が予め決められた閾値以下であることであってもよい。 Further, the "first user environment information matching the second user environment information" includes, for example, the user identification information included in the second user environment information is one to the user identification information included in the first user environment information. In addition, the difference between the time indicated by the time information included in the second user environment information and the time indicated by the time information included in the first user environment information is equal to or less than a predetermined threshold value. Further, the "first user environment information matching the second user environment information" includes, for example, the user identification information included in the second user environment information is one to the user identification information included in the first user environment information. In addition, the day of the week indicated by the time information included in the second user environment information may match the day of the week indicated by the time information included in the first user environment information. Further, the "first user environment information matching the second user environment information" includes, for example, the user identification information included in the second user environment information is one to the user identification information included in the first user environment information. However, the day indicated by the time information included in the second user environment information matches the day indicated by the time information included in the first user environment information, and the time information included in the second user environment information indicates. The difference between the time and the time indicated by the time information included in the first user environment information may be equal to or less than a predetermined threshold value.

本実施の形態に係る機器制御装置１００を用いれば、対象機器の機能を含まない曖昧な定型句からなる音声コマンドによって、対象機器を制御することができる。 By using the device control device 100 according to the present embodiment, the target device can be controlled by a voice command consisting of an ambiguous fixed phrase that does not include the function of the target device.

《２》機器制御装置１００の構成
〈テレビ装置１０〉
図１は、本実施の形態に係る機器制御システムとしてのテレビ装置１０及び機器制御装置１００の構成を概略的に示すブロック図である。図１に示されるように、機器制御装置１００は、機器制御部１０１と、推定操作部１０２と、解析部１０３と、記憶装置としてのデータベース部１０４と、ユーザ認識部１０５と、音声認識部１０６と、音声合成部１０７とを有している。機器制御装置１００は、実施の形態１に係る機器制御方法を実施することができる装置である。<< 2 >> Configuration of device control device 100 <TV device 10>
FIG. 1 is a block diagram schematically showing the configuration of a television device 10 and a device control device 100 as a device control system according to the present embodiment. As shown in FIG. 1, the device control device 100 includes a device control unit 101, an estimation operation unit 102, an analysis unit 103, a database unit 104 as a storage device, a user recognition unit 105, and a voice recognition unit 106. And a voice synthesis unit 107. The device control device 100 is a device capable of implementing the device control method according to the first embodiment.

また、図１に示されるように、テレビ装置１０は、音声取得装置としてのマイク１１と、Ａ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）コンバータ１２と、音声出力装置としてのスピーカ１３と、Ｄ／Ａ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ）コンバータ１４と、ユーザ操作部としてのリモコン２０と、入力部１５と、撮像装置としてのカメラ１６と、表示装置としての表示部１７と、機器制御装置１００とを有している。機器制御装置１００の機器制御部１０１は、放送波を受信するチューナ、及び受信した放送波に基づく映像データ及び音声データを生成する処理回路、などを備えている。 Further, as shown in FIG. 1, the television device 10 includes a microphone 11 as an audio acquisition device, an A / D (Analog to Digital) converter 12, a speaker 13 as an audio output device, and a D / A (Digital). It has a to-analog) converter 14, a remote controller 20 as a user operation unit, an input unit 15, a camera 16 as an image pickup device, a display unit 17 as a display device, and a device control device 100. The device control unit 101 of the device control device 100 includes a tuner that receives broadcast waves, a processing circuit that generates video data and audio data based on the received broadcast waves, and the like.

マイク１１は、ユーザである話者が発声する音声指示である音声コマンドを受け取り、音声コマンドに対応するアナログ音声信号を生成する。Ａ／Ｄコンバータ１２は、マイク１１で生成されたアナログ音声信号をデジタル音声信号に変換する。 The microphone 11 receives a voice command, which is a voice instruction uttered by a speaker who is a user, and generates an analog voice signal corresponding to the voice command. The A / D converter 12 converts the analog audio signal generated by the microphone 11 into a digital audio signal.

音声認識部１０６は、Ａ／Ｄコンバータ１２から出力されたデジタル音声信号から音声コマンドに対応するテキストデータを生成する。このテキストデータは、機器制御部１０１によって、音声コマンドに基づく操作コマンドに変換される。また、音声認識部１０６は、音声コマンドを発声したユーザの音声を分析して、このユーザを特定するユーザ特定情報であるユーザＩＤ（すなわち、ユーザ識別子）を生成する。音声認識部１０６は、テキストデータとともにユーザＩＤを、機器制御部１０１へ出力する。音声からユーザを特定するユーザＩＤを生成する技術は、話者識別と呼ばれる公知の技術である。なお、話者識別のために、ユーザの声の特徴を示す特徴情報とユーザＩＤとが、事前に音声認識部１０６に備えられるメモリに登録されていてもよい。音声コマンドに基づくユーザＩＤは、音声コマンドを発声したユーザを識別する識別情報である。 The voice recognition unit 106 generates text data corresponding to a voice command from the digital voice signal output from the A / D converter 12. This text data is converted into an operation command based on a voice command by the device control unit 101. Further, the voice recognition unit 106 analyzes the voice of the user who utters the voice command and generates a user ID (that is, a user identifier) which is user identification information for identifying this user. The voice recognition unit 106 outputs the user ID together with the text data to the device control unit 101. A technique for generating a user ID that identifies a user from voice is a known technique called speaker identification. In order to identify the speaker, the feature information indicating the characteristics of the user's voice and the user ID may be registered in advance in the memory provided in the voice recognition unit 106. The user ID based on the voice command is identification information that identifies the user who uttered the voice command.

音声合成部１０７は、機器制御部１０１から受け取ったテキストデータに基づいてデジタル音声信号を合成する。このテキストデータは、例えば、ユーザに対して、音声コマンドによる入力が可能であることを通知する内容のデータである。 The voice synthesis unit 107 synthesizes a digital voice signal based on the text data received from the device control unit 101. This text data is, for example, data that notifies the user that input by a voice command is possible.

Ｄ／Ａコンバータ１４は、音声合成部１０７によって生成されたデジタル音声信号をアナログ音声信号に変換する。スピーカ１３は、アナログ音声信号に基づく音声を出力する。音声合成部１０７、Ｄ／Ａコンバータ１４、及びスピーカ１３は、ユーザに情報を通知する通知部を構成する。 The D / A converter 14 converts the digital voice signal generated by the voice synthesis unit 107 into an analog voice signal. The speaker 13 outputs voice based on an analog voice signal. The voice synthesis unit 107, the D / A converter 14, and the speaker 13 constitute a notification unit that notifies the user of information.

リモコン２０は、ユーザによって操作されるユーザ操作部である。ただし、ユーザ操作部は、テレビ装置１０に備えられた操作部であってもよい。リモコン２０から入力された操作コマンドは、赤外線信号によって入力部１５に送信される。入力部１５は、赤外線センサを有し、赤外線センサで検出された赤外線信号に基づいて、操作コマンドに対応するユーザ操作信号を機器制御部１０１に出力する。このユーザ操作信号は、「ユーザ操作に基づく操作コマンド」の一例である。 The remote controller 20 is a user operation unit operated by the user. However, the user operation unit may be an operation unit provided in the television device 10. The operation command input from the remote controller 20 is transmitted to the input unit 15 by an infrared signal. The input unit 15 has an infrared sensor, and outputs a user operation signal corresponding to the operation command to the device control unit 101 based on the infrared signal detected by the infrared sensor. This user operation signal is an example of "operation command based on user operation".

カメラ１６は、リモコン２０を操作するユーザを撮影して、ユーザの画像情報をユーザ認識部１０５に提供する。ユーザ認識部１０５は、カメラ１６から取得した画像情報を元に、リモコン２０を操作しているユーザを特定するユーザ特定情報であるユーザＩＤを生成する。ユーザ認識部１０５は、例えば、リモコン２０によるキーイベント（すなわち、キーコード）の出力と連動してユーザ操作を行うユーザの識別を行い、ユーザ操作を行うユーザを示すユーザＩＤを機器制御部１０１へ出力する。画像情報に基づいてユーザを特定する方法としては、公知の顔認証技術などを用いることができる。なお、ユーザを識別するために、ユーザの顔の特徴を示す特徴情報とユーザＩＤとを、事前にユーザ認識部１０５のメモリに登録してもよい。ユーザＩＤは、ユーザ識別情報である。 The camera 16 photographs the user who operates the remote controller 20 and provides the user's image information to the user recognition unit 105. The user recognition unit 105 generates a user ID, which is user identification information that identifies the user operating the remote controller 20, based on the image information acquired from the camera 16. For example, the user recognition unit 105 identifies a user who performs a user operation in conjunction with the output of a key event (that is, a key code) by the remote controller 20, and sends a user ID indicating the user who performs the user operation to the device control unit 101. Output. As a method of identifying a user based on image information, a known face recognition technique or the like can be used. In order to identify the user, the feature information indicating the features of the user's face and the user ID may be registered in advance in the memory of the user recognition unit 105. The user ID is user identification information.

表示部１７は、機器制御部１０１から受け取った映像データに基づく映像を表示する。表示部１７は、ユーザに情報を通知する通知部として使用されてもよい。 The display unit 17 displays an image based on the image data received from the device control unit 101. The display unit 17 may be used as a notification unit for notifying the user of information.

〈機器制御部１０１〉
機器制御部１０１は、テレビ装置１０の全体の動作を制御する。機器制御部１０１は、入力部１５からリモコン２０のキーイベントを、ユーザ認識部１０５からリモコン２０を操作するユーザの識別情報であるユーザＩＤを受け取る。また、機器制御部１０１は、音声認識部１０６から、テキストデータと、音声コマンドを発声したユーザの識別情報であるユーザＩＤとを受け取る。<Device control unit 101>
The device control unit 101 controls the overall operation of the television device 10. The device control unit 101 receives a key event of the remote controller 20 from the input unit 15 and a user ID which is identification information of a user who operates the remote controller 20 from the user recognition unit 105. Further, the device control unit 101 receives the text data and the user ID which is the identification information of the user who has issued the voice command from the voice recognition unit 106.

機器制御部１０１は、入力部１５から出力されるリモコン２０のキーイベントを受け取り、そのときに表示部１７に表示されている画面との関連から、キーイベントの対象となる操作を割り出し、キーイベントが操作コマンドに該当するか否かを判断する。キーイベントが操作コマンドであるか否かの判断基準は、機器制御部１０１によって制御される制御対象が要求する機器の仕様によって異なる。 The device control unit 101 receives the key event of the remote controller 20 output from the input unit 15, determines the operation to be the target of the key event from the relationship with the screen displayed on the display unit 17 at that time, and determines the operation to be the target of the key event. Judges whether or not corresponds to the operation command. The criterion for determining whether or not the key event is an operation command differs depending on the specifications of the device required by the control target controlled by the device control unit 101.

例えば、制御対象である表示部１７の画面に郵便番号の登録用の入力画面が表示されている状況で、リモコン２０で数字キーが押下された場合には、機器制御部１０１は、ユーザ操作を郵便番号の入力として扱い、郵便番号の入力が完了するまで、数字キーの押下を、操作コマンドの入力、すなわち、対象機器の動作命令の入力として扱わない。また、表示部１７の画面に何も表示されていない状況で、リモコン２０の数字キーが押下された場合には、機器制御部１０１は、ユーザ操作である数字キーの押下をチャンネルの選局として扱い、ユーザ操作が、予め決められた操作コマンドであると判断する。ユーザ操作が予め決められた操作コマンドであると判断された場合には、機器制御部１０１は、操作コマンドを示すユーザ操作信号と、ユーザ認識部１０５から受け取ったユーザＩＤと、ユーザ操作の時刻及び曜日の少なくとも一方を含む時間情報とを、解析部１０３へ出力する。 For example, when an input screen for registering a zip code is displayed on the screen of the display unit 17 to be controlled and a number key is pressed on the remote control 20, the device control unit 101 performs a user operation. It is treated as the input of the zip code, and the pressing of the number keys is not treated as the input of the operation command, that is, the input of the operation command of the target device until the input of the zip code is completed. Further, when the number keys of the remote controller 20 are pressed while nothing is displayed on the screen of the display unit 17, the device control unit 101 uses the pressing of the number keys, which is a user operation, as the channel selection. It is determined that the handling and user operation is a predetermined operation command. When it is determined that the user operation is a predetermined operation command, the device control unit 101 determines the user operation signal indicating the operation command, the user ID received from the user recognition unit 105, the time of the user operation, and the user operation. The time information including at least one of the days of the week is output to the analysis unit 103.

また、機器制御部１０１は、マイク１１から入力されたユーザの発話指示、すなわち、対象機器の機能を示す用語を含む音声指示である音声コマンドに基づいて、テレビ装置１０の動作を制御する機能を備えている。つまり、機器制御部１０１は、ユーザが発声する音声コマンドが示すフレーズとそのフレーズに対応する対象機器の動作とが関連付けされている情報である音声操作情報を予めデータベース部１０４などに記憶し、この音声操作情報を参照することによって、ユーザが発声した音声コマンドを対象機器に対する操作コマンドとして認識する機能を有している。例えば、機器制御部１０１は、マイク１１から入力されたユーザの音声コマンドが「音量を上げて。」である場合、発話指示の内容に応じた操作コマンドを生成して、この操作コマンド（すなわち、音声コマンドに基づく操作コマンド）に基づいて制御を行う機能を備えてもよい。このような、対象機器の機能を示す用語を含む音声コマンドによる対象機器の制御は、特許文献１に示されるように、公知の技術である。 Further, the device control unit 101 has a function of controlling the operation of the television device 10 based on a user's utterance instruction input from the microphone 11, that is, a voice command including a term indicating a function of the target device. I have. That is, the device control unit 101 stores in advance voice operation information, which is information in which the phrase indicated by the voice command uttered by the user and the operation of the target device corresponding to the phrase are associated with each other, in the database unit 104 or the like. By referring to the voice operation information, it has a function of recognizing the voice command uttered by the user as an operation command for the target device. For example, when the user's voice command input from the microphone 11 is "turn up the volume", the device control unit 101 generates an operation command according to the content of the utterance instruction, and this operation command (that is, that is). It may be provided with a function of performing control based on an operation command based on a voice command). Such control of the target device by a voice command including a term indicating a function of the target device is a known technique as shown in Patent Document 1.

また、本実施の形態に係る機器制御装置１００においては、機器制御部１０１は、ユーザから「いつもの」などの、機能を示す用語を含まない１つ以上の単語を含む定型句からなる音声コマンドとして使用することができる。機能を示す用語を含まない定型句の例は、「いつもの」の他に、「あれ」、「それ」などの指示代名詞、などである。機器制御部１０１は、機能を示す用語を含まない定型句の候補として、複数のテキストを予め機器制御装置１００内のメモリに登録している。入力された音声コマンドに対応するテキストデータが、登録されている定型句の候補のいずれかと一致する場合に、そのテキストデータを解析部１０３へ出力する。定型句の候補を記憶するメモリは、後述の図２に示されるメモリ２０１であってもよい。 Further, in the device control device 100 according to the present embodiment, the device control unit 101 is a voice command composed of a fixed phrase including one or more words that do not include a term indicating a function, such as "usual" from the user. Can be used as. Examples of fixed phrases that do not include functional terms are demonstrative pronouns such as "that" and "it" in addition to "usual". The device control unit 101 registers a plurality of texts in advance in the memory in the device control device 100 as candidates for fixed phrases that do not include terms indicating functions. When the text data corresponding to the input voice command matches any of the registered fixed phrase candidates, the text data is output to the analysis unit 103. The memory for storing the fixed phrase candidates may be the memory 201 shown in FIG. 2 described later.

〈解析部１０３〉
機器制御装置１００においては、解析部１０３は、リモコン２０によるユーザ操作の操作履歴及び音声コマンドによる操作履歴から、操作頻度の高い、一連の操作群を、曜日又は時刻などを含むユーザ環境情報毎に、パターンコマンドとして抽出する。パターンコマンドは、操作パターンである一連の操作コマンド群と、ユーザが当該一連の操作を実施した時点のユーザ環境情報とをまとめた情報である。パターンコマンドの抽出では、ユーザ毎に、曜日又は時刻、特定期間毎の操作又は、ある一定操作後に実施される操作など、定期的に実行される操作の中でパターン化されているユーザ操作情報をパターンコマンドとして取り出す。<Analysis unit 103>
In the device control device 100, the analysis unit 103 selects a series of frequently operated operation groups from the operation history of the user operation by the remote controller 20 and the operation history by the voice command for each user environment information including the day of the week or the time of day. , Extract as a pattern command. The pattern command is information that summarizes a series of operation command groups that are operation patterns and user environment information at the time when the user performs the series of operations. In the extraction of pattern commands, user operation information that is patterned in the operations that are regularly executed, such as the day of the week or time, the operation for each specific period, or the operation that is executed after a certain operation, is extracted for each user. Extract as a pattern command.

操作コマンドは、例えば、リモコン２０から入力されたユーザ操作のうちの、予め決められた操作、及び音声コマンドのうちの、予め決められた音声コマンドである。操作コマンドは、リモコン２０から入力され機器制御部１０１を通して、又は音声コマンドに基づいて機器制御部１０１で生成されて解析部１０３に提供される。 The operation command is, for example, a predetermined voice command among the user operations input from the remote controller 20 and a voice command. The operation command is input from the remote controller 20, is generated by the device control unit 101 through the device control unit 101, or based on a voice command, and is provided to the analysis unit 103.

また、本出願では、ユーザ環境情報は、機器制御部１０１から操作コマンドが出力された時点におけるユーザの環境を示すものであり、例えば、曜日及び時刻を含む時間情報と、ユーザＩＤとを含む。なお、時刻は、年月日情報を含んでもよい。 Further, in the present application, the user environment information indicates the environment of the user at the time when the operation command is output from the device control unit 101, and includes, for example, time information including the day of the week and the time, and the user ID. The time may include date information.

また、本出願では、操作履歴は、操作コマンドと、この操作コマンドが実行された時点におけるユーザ環境情報とを含む。 Further, in the present application, the operation history includes an operation command and user environment information at the time when the operation command is executed.

また、本出願では、パターンコマンドは、操作コマンド群から構成される。操作コマンド群は、複数の操作コマンドの時系列配列であり、複数の操作コマンドを実施した時点におけるユーザ環境情報をも含む。パターンコマンドは、複数回に渡って抽出された複数の操作コマンドから構成されるので、パターンコマンド内の操作コマンドの実行時刻の間には、ある程度の時間幅が存在する。したがって、操作コマンドに付随するユーザ環境情報に含まれる時刻としては、例えば、パターンコマンド内の複数の操作コマンドに付随する複数のユーザ環境情報に含まれる複数の時刻の平均時刻が用いられる。 Further, in the present application, the pattern command is composed of a group of operation commands. The operation command group is a time-series array of a plurality of operation commands, and also includes user environment information at the time when the plurality of operation commands are executed. Since the pattern command is composed of a plurality of operation commands extracted over a plurality of times, there is a certain time width between the execution times of the operation commands in the pattern command. Therefore, as the time included in the user environment information attached to the operation command, for example, the average time of a plurality of times included in the plurality of user environment information attached to the plurality of operation commands in the pattern command is used.

解析部１０３によるデータベース部１０４からのパターンコマンドの読み出し（すなわち、抽出）は、ある特定の曜日、又はある特定の時刻、又はある特定の曜日における特定の時刻におけるユーザ環境情報下において、定期的に実行される処理である。解析部１０３によるデータベース部１０４からのパターンコマンドの読み出しは、ユーザ毎で、且つ操作コマンド毎で実施される。解析部１０３は、あるユーザ環境情報下において、パターンコマンド内の操作コマンドの各々が、ある一定時間内に、ある一定頻度で出現した場合に、一連の操作コマンドの各々は、一定のパターンを持つ操作コマンド、すなわち、パターンコマンドであると判断する。解析部１０３は、一連の操作コマンドの間の実行時刻の間隔の閾値、及びパターンコマンドの出現回数の閾値を設けて、これらをパターン抽出時の基準として用いる。 The analysis unit 103 periodically reads (that is, extracts) the pattern command from the database unit 104 under the user environment information at a specific day of the week, a specific time, or a specific time on a specific day of the week. This is the process to be executed. The analysis unit 103 reads the pattern command from the database unit 104 for each user and for each operation command. In the analysis unit 103, when each of the operation commands in the pattern command appears at a certain frequency within a certain period of time under a certain user environment information, each of the series of operation commands has a certain pattern. Judge that it is an operation command, that is, a pattern command. The analysis unit 103 sets a threshold value for the execution time interval between a series of operation commands and a threshold value for the number of appearances of the pattern command, and uses these as a reference at the time of pattern extraction.

本実施の形態では、解析部１０３は、パターンコマンドの検出を、操作コマンドのレベルにて実施するが、リモコン２０のキーイベント又は音声コマンドに基づく操作コマンドの入力など、すべての情報を操作コマンドとして扱い、この操作コマンドに基づいてパターンコマンドを抽出してもよい。また、解析部１０３は、ユーザの識別を行わずに、パターンコマンドの抽出を行ってもよい。 In the present embodiment, the analysis unit 103 detects the pattern command at the level of the operation command, but uses all the information such as the key event of the remote control 20 or the input of the operation command based on the voice command as the operation command. You may handle and extract the pattern command based on this operation command. Further, the analysis unit 103 may extract the pattern command without identifying the user.

データベース部１０４は、解析部１０３が機器制御部１０１から提供された操作コマンドと、この操作コマンドの実行時におけるユーザ環境情報と、解析部１０３が抽出したパターンコマンドとを記憶する。 The database unit 104 stores the operation command provided by the analysis unit 103 from the device control unit 101, the user environment information at the time of executing the operation command, and the pattern command extracted by the analysis unit 103.

解析部１０３は、機器制御部１０１から提供された操作コマンドとユーザ環境情報とをデータベース部１０４に、順次、操作履歴として記録する。ユーザ環境情報に含まれる時刻情報は、例えば、時間情報取得部１０１ａから提供される。また、解析部１０３は、予め決められた時間毎に、データベース部１０４から操作履歴を読み出し、ユーザ毎に、予め決められた一定期間内において操作パターンが類似している１つ以上の操作コマンドからなる操作コマンド群を抽出し、この操作コマンド群をパターンコマンドとしてデータベース部１０４に登録する。 The analysis unit 103 sequentially records the operation command and the user environment information provided by the device control unit 101 in the database unit 104 as an operation history. The time information included in the user environment information is provided by, for example, the time information acquisition unit 101a. Further, the analysis unit 103 reads the operation history from the database unit 104 at predetermined time intervals, and from one or more operation commands having similar operation patterns within a predetermined fixed period for each user. The operation command group is extracted, and this operation command group is registered in the database unit 104 as a pattern command.

解析部１０３は、機器制御部１０１から出力される操作コマンドと、出力された時点でのユーザ環境情報とを関連付けて時系列配列として、ある一定数の時系列配列を保持する。また、解析部１０３は、ユーザ毎に、機器制御部１０１から出力される操作コマンドを常時、監視し、一連の操作コマンドから構成される操作コマンド群と、その操作コマンド群に基づく動作の実行時のユーザ環境情報とを、データベース部１０４に記憶されているパターンコマンドの操作コマンド及びユーザ環境情報と比較する。解析部１０３は、操作コマンド群とユーザ環境情報とが、データベース部１０４に記憶されているパターンコマンドの操作コマンド及びユーザ環境情報と類似している場合に、ユーザに対する通知を実行する。この通知は、同じユーザ環境情報下においてユーザ操作が、習慣的な操作として、ある一定回数を超えて実行され、対象機器がパターンコマンドとして認識したことをユーザに示すためのものである。この通知は、基本的に１回のみ行われる。また、解析部１０３は、音声による通知の代わりに、又は音声による通知に加えて、表示部１７の画面による通知を行ってもよい。 The analysis unit 103 holds a certain number of time-series arrays as a time-series array by associating the operation command output from the device control unit 101 with the user environment information at the time of output. Further, the analysis unit 103 constantly monitors the operation commands output from the device control unit 101 for each user, and at the time of executing the operation command group composed of a series of operation commands and the operation based on the operation command group. The user environment information of is compared with the operation command of the pattern command and the user environment information stored in the database unit 104. The analysis unit 103 executes a notification to the user when the operation command group and the user environment information are similar to the operation command and the user environment information of the pattern command stored in the database unit 104. This notification is for indicating to the user that the user operation is executed more than a certain number of times as a habitual operation under the same user environment information and the target device recognizes it as a pattern command. This notification is basically given only once. Further, the analysis unit 103 may perform a notification on the screen of the display unit 17 instead of the notification by voice or in addition to the notification by voice.

ユーザに対する通知は、「いつもの操作ですね」などの、機能を示す用語を含まないフレーズを用いて、当該操作を習慣的な操作として対象機器が認識していることを通知する。これにより、ユーザは、以後、対象機器に対して、一連の操作を指示する際に、「いつもの」などの定型句からなる音声コマンドで指示することができることを把握できる。このため、ユーザは、個別にパターンコマンド固有のコマンド名を記憶する必要がない。したがって、定型句からなる音声コマンドで操作指示することができ、ユーザの操作負担を軽減することができる。 The notification to the user uses a phrase that does not include a term indicating a function, such as "It is a usual operation", to notify that the target device recognizes the operation as a habitual operation. As a result, the user can understand that when instructing the target device to perform a series of operations, the user can instruct the target device by a voice command consisting of a fixed phrase such as "usual". Therefore, the user does not need to individually memorize the command name unique to the pattern command. Therefore, it is possible to give an operation instruction by a voice command consisting of a fixed phrase, and it is possible to reduce the operation burden on the user.

この通知後、ユーザから「いつもの」など、対象機器の機能を示す用語を含まない定型句からなる音声コマンドを使用して操作指示が行われると、解析部１０３は、機器制御部１０１から出力されるテキストデータである「いつもの」を受け付け、この指示を受けた際のユーザ環境情報と、データベース部１０４に記録されているパターンコマンドのユーザ環境情報とを比較する。解析部１０３は、類似しているユーザ環境情報を保持するパターンコマンドを検出して、ある一定の確度で一致した場合に、推定操作部１０２にパターンコマンドを出力する。 After this notification, when an operation instruction is given by the user using a voice command consisting of a fixed phrase that does not include a term indicating the function of the target device such as "usual", the analysis unit 103 outputs from the device control unit 101. The text data "usually" is received, and the user environment information when this instruction is received is compared with the user environment information of the pattern command recorded in the database unit 104. The analysis unit 103 detects a pattern command that holds similar user environment information, and outputs the pattern command to the estimation operation unit 102 when they match with a certain degree of certainty.

また、解析部１０３は、機器制御部１０１から出力された操作コマンドにおけるユーザ環境情報から、そのユーザ環境情報に該当するパターンコマンドをデータベース部１０４から取り出す。解析部１０３は、取り出したパターンコマンドの前段の一部が、前記時系列配列内の操作コマンドとユーザ環境情報に類似した場合に、その都度、操作コマンドがユーザへパターンコマンドとして検知できたことをユーザに通知してもよい。つまり、現在のユーザによって現在の操作コマンドが入力されたときに、解析部１０３は、現在のユーザの現在のユーザ環境情報に一致する、データベース部１０４に記憶されているユーザ環境情報を有するパターンコマンドを読み出し、現在の操作コマンドが、読み出されたパターンコマンドに含まれる操作コマンドに類似しているか否かを判断し、類似していると判断した場合に、音声合成部１０７に、定型句によって入力可能なパターンコマンドが存在していることを通知部に通知させてもよい。ここで、現在の操作コマンドが、読み出されたパターンコマンドに含まれる操作コマンドに類似しているとは、現在の操作コマンドと、パターンコマンドに含まれる操作コマンドとが、いずれも、同じ種類の操作（例えば、チャンネルの選局、音量の調整、など）である場合である。 Further, the analysis unit 103 extracts the pattern command corresponding to the user environment information from the database unit 104 from the user environment information in the operation command output from the device control unit 101. The analysis unit 103 has determined that each time a part of the first stage of the extracted pattern command is similar to the operation command in the time series array and the user environment information, the operation command can be detected by the user as a pattern command. The user may be notified. That is, when the current operation command is input by the current user, the analysis unit 103 has a pattern command having the user environment information stored in the database unit 104 that matches the current user environment information of the current user. Is read, and it is determined whether or not the current operation command is similar to the operation command included in the read pattern command. The notification unit may be notified that a pattern command that can be input exists. Here, the fact that the current operation command is similar to the operation command included in the read pattern command means that the current operation command and the operation command included in the pattern command are both of the same type. This is the case for operations (for example, channel selection, volume adjustment, etc.).

ユーザに対する通知において、機器制御部１０１は、「いつもの操作ですね。」のように、機能を示す用語を含まない定型句を用いた操作案内を実施する。また、音声出力による通知に加えて、表示部１７の画面上に通知情報を表示することで操作案内を通知してもよい。これにより、当該操作が「いつもの」などの機能を示す用語を含まない定型句からなる音声コマンドを使用して指示できる操作であることを、ユーザが忘れた場合にも、対象機器側から「いつもの操作ですね」などの機能を示す用語を含まない定型句を用いて通知される。このため、「いつもので」など、簡単な返答で操作を実行することができ、ユーザの操作負担を軽減することができる。 In the notification to the user, the device control unit 101 implements the operation guidance using a fixed phrase that does not include a term indicating the function, such as "It is a usual operation." Further, in addition to the notification by voice output, the operation guidance may be notified by displaying the notification information on the screen of the display unit 17. As a result, even if the user forgets that the operation can be instructed by using a voice command consisting of a fixed phrase that does not include a term indicating a function such as "usual", the target device side " It is notified using a fixed phrase that does not include terms that indicate functions such as "It's the usual operation." Therefore, the operation can be executed with a simple response such as "as usual", and the operation load on the user can be reduced.

〈推定操作部１０２〉
推定操作部１０２は、解析部１０３から出力されたパターンコマンドに基づいて、操作コマンドを推定し、機器制御部１０１に推定された操作コマンドの実行を順次指示する。推定操作部１０２は、パターンコマンドを用いて操作する際には、ユーザ環境情報の各操作コマンドの時刻に対応する時刻に指示を出力する。<Estimation operation unit 102>
The estimation operation unit 102 estimates the operation command based on the pattern command output from the analysis unit 103, and sequentially instructs the device control unit 101 to execute the estimated operation command. When operating using the pattern command, the estimation operation unit 102 outputs an instruction at a time corresponding to the time of each operation command in the user environment information.

推定操作部１０２がパターンコマンドに対応する推定された操作コマンドの実行を順次指示している間に、ユーザによるリモコン２０の操作、すなわち、割り込み操作があった場合、機器制御装置１００は、割り込み操作を行ったユーザの意図を推定する。つまり、推定操作部１０２は、パターンコマンドが、ユーザの意図したものと異なっているかどうかを判断する。この判断は、パターンコマンドの操作コマンド毎に、当該操作コマンドを拒絶するリモコン操作を予め登録しておき、この登録情報を参照して行われる。例えば、推定操作部１０２は、録画番組の再生時におけるボリュームの上げ・下げの操作、又は早送り・巻戻しの操作などは、選択されたパターンコマンドに対応する操作コマンドを拒絶するリモコン操作とみなさないことができる。 If the user operates the remote controller 20, that is, interrupts the operation while the estimation operation unit 102 sequentially instructs the execution of the estimated operation commands corresponding to the pattern commands, the device control device 100 performs the interrupt operation. Estimate the intention of the user who performed the operation. That is, the estimation operation unit 102 determines whether or not the pattern command is different from the one intended by the user. This determination is made by registering in advance a remote control operation that rejects the operation command for each operation command of the pattern command and referring to this registration information. For example, the estimation operation unit 102 does not consider that the volume up / down operation, the fast forward / rewind operation, or the like during playback of the recorded program is a remote control operation that rejects the operation command corresponding to the selected pattern command. be able to.

これにより、ユーザから「いつもの」など、機能を示す用語を含まない定型句からなる音声コマンドが発声されて、推定操作部１０２によって推定されたパターンコマンドを実行している際に、ユーザからの操作の割り込みがあった場合に、機器制御装置１００は、パターンコマンドの一連の操作における追加操作であるのか、推定したパターンコマンドの中断をユーザが希望するものなのかを、判断することができる。このため、ユーザが選択されたパターンコマンドを拒絶する意思がない場合に、ユーザの希望に反してパターンコマンドに基づく処理の実行を中止することがなくなり、ユーザの操作負担を軽減することができる。 As a result, when a voice command consisting of a fixed phrase that does not include a term indicating a function such as "usual" is uttered from the user and the pattern command estimated by the estimation operation unit 102 is executed, the user gives the command. When there is an operation interrupt, the device control device 100 can determine whether it is an additional operation in a series of operations of the pattern command or whether the user wants to interrupt the estimated pattern command. Therefore, when the user does not intend to reject the selected pattern command, the execution of the process based on the pattern command is not stopped contrary to the user's wish, and the operation load of the user can be reduced.

〈ハードウェア構成〉
図２は、本実施の形態に係る機器制御装置１００のハードウェア構成の例を示す図である。図２において、図１に示される構成要素と同じ構成要素には、図１に示される符号と同じ符号が付される。図２に示されるように、機器制御装置１００は、フラッシュメモリなどのメモリ２０１と、情報処理部としてのプロセッサ２０２と、記憶装置２０３とを備えている。メモリ２０１は、フラッシュＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。機器制御装置１００は、例えば、電子機器の一部である。機器制御装置１００は、コンピュータであってもよい。メモリ２０１は、プロセッサ２０２によって実行されるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、本実施の形態に係る機器制御プログラムなどのアプリケーションプログラム、ファームウェア、などを記録することができる。記憶装置２０３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又は半導体記憶装置で構成される。<Hardware configuration>
FIG. 2 is a diagram showing an example of the hardware configuration of the device control device 100 according to the present embodiment. In FIG. 2, the same components as those shown in FIG. 1 are designated by the same reference numerals as those shown in FIG. As shown in FIG. 2, the device control device 100 includes a memory 201 such as a flash memory, a processor 202 as an information processing unit, and a storage device 203. The memory 201 includes a flash ROM (Read Only Memory) and a RAM (Random Access Memory). The device control device 100 is, for example, a part of an electronic device. The device control device 100 may be a computer. The memory 201 can record an OS (Operating System) executed by the processor 202, application programs such as a device control program according to the present embodiment, firmware, and the like. The storage device 203 is composed of, for example, an HDD (Hard Disk Drive) or a semiconductor storage device.

図１に示される機器制御装置１００の全体又は一部は、ソフトウェアとしてのプログラムを格納するメモリ２０１と、メモリ２０１に格納されたプログラムを実行するプロセッサ２０２とを用いて実現することができる。また、図１におけるデータベース部１０４は、図２における記憶装置２０３によって実現することができる。 The whole or a part of the device control device 100 shown in FIG. 1 can be realized by using the memory 201 for storing the program as software and the processor 202 for executing the program stored in the memory 201. Further, the database unit 104 in FIG. 1 can be realized by the storage device 203 in FIG.

《３》機器制御装置１００の動作
図３は、本実施の形態に係る機器制御装置１００の動作を示すフローチャートである。本実施の形態に係る機器制御装置１００は、ユーザ操作部であるリモコン２０から入力され、入力部１５で取得された操作コマンドに基づいて対象機器の動作を制御することができる。また、機器制御装置１００は、マイク１１から入力された音声コマンドに基づいて対象機器の動作を制御することができる。本実施の形態に係る機器制御装置１００においては、音声コマンドとして、対象機器の機能を示す用語を含む具体的な命令文による音声コマンドだけでなく、対象機器の機能を示す用語を含まない曖昧な表現である定型句からなる音声コマンドを用いることができる。対象機器の機能を示す用語を含む具体的な命令文の例は、「ボリュームを上げて下さい。」、「チャンネル４に変えて下さい。」、などである。対象機器の機能を示す用語を含まない曖昧な表現である定型句の例は、「いつもの」、「いつものやつ」、などのフレーズ、「あれ」、「それ」などの指示代名詞、である。<< 3 >> Operation of the device control device 100 FIG. 3 is a flowchart showing the operation of the device control device 100 according to the present embodiment. The device control device 100 according to the present embodiment can control the operation of the target device based on an operation command input from the remote controller 20 which is a user operation unit and acquired by the input unit 15. Further, the device control device 100 can control the operation of the target device based on the voice command input from the microphone 11. In the device control device 100 according to the present embodiment, the voice command is ambiguous not including not only a voice command by a specific instruction statement including a term indicating the function of the target device but also a term indicating the function of the target device. A voice command consisting of a fixed phrase that is an expression can be used. Examples of specific statements including terms indicating the functions of the target device are "Turn up the volume", "Change to channel 4", and so on. Examples of fixed phrases that are ambiguous expressions that do not include terms that indicate the function of the target device are phrases such as "usual" and "usual guy", and demonstrative pronouns such as "that" and "it". ..

図３に基づいて、本実施の形態に係る機器制御装置１００の主要な動作を説明する。先ず、ステップＳ１において、リモコン２０によるユーザ操作に基づく操作コマンドが入力されると又は音声コマンドに基づく操作コマンドが入力されると、解析部１０３は、機器制御部１０１を通して、操作コマンド、操作コマンドを入力したユーザを示すユーザＩＤ、及びこの操作コマンドが入力されたときの時刻及び曜日を含む時間情報を受け取り、操作コマンド、ユーザＩＤ、及び時間情報を互いに関連付けることで得られたユーザ操作情報を、データベース部１０４に操作履歴情報１０４ａとして格納する。解析部１０３は、ユーザ操作情報を蓄積する動作を、操作コマンドが入力される度に行う。 Based on FIG. 3, the main operation of the device control device 100 according to the present embodiment will be described. First, in step S1, when an operation command based on a user operation by the remote control 20 is input or an operation command based on a voice command is input, the analysis unit 103 issues an operation command and an operation command through the device control unit 101. The user ID indicating the input user and the user operation information obtained by receiving the time information including the time and day when this operation command is input and associating the operation command, the user ID, and the time information with each other are used. It is stored as operation history information 104a in the database unit 104. The analysis unit 103 performs an operation of accumulating user operation information every time an operation command is input.

次のステップＳ２において、解析部１０３は、データベース部１０４に記録されている操作履歴情報１０４ａからユーザ操作情報を抽出し、抽出された複数のユーザ操作情報のうちの、予め決められた類似条件を満たすユーザ操作情報を、パターンコマンドとしてデータベース部１０４に記録する。 In the next step S2, the analysis unit 103 extracts the user operation information from the operation history information 104a recorded in the database unit 104, and sets a predetermined similar condition among the extracted plurality of user operation information. The user operation information to be satisfied is recorded in the database unit 104 as a pattern command.

予め決められた類似条件は、例えば、以下の（１）〜（３）のいずれかである。
（１）ユーザＩＤが共通であり、時間情報に含まれる時刻の差が予め決められた範囲内であること。
（２）ユーザＩＤが共通であり、時間情報に含まれる曜日が共通であること。
（３）ユーザＩＤが共通であり、時間情報に含まれる曜日が共通であり、時間情報に含まれる時刻の差が予め決められた範囲内であること。The predetermined similar condition is, for example, one of the following (1) to (3).
(1) The user ID is common, and the time difference included in the time information is within a predetermined range.
(2) The user ID is common, and the days of the week included in the time information are common.
(3) The user ID is common, the day of the week included in the time information is common, and the time difference included in the time information is within a predetermined range.

次のステップＳ３において、機器制御部１０１は、パターンコマンドの入力操作を、音声コマンドである曖昧な定型句からなる音声コマンドの発声によって実行可能であることをユーザに通知する。通知は、音声合成部１０７によって生成された合成音声信号に基づいてスピーカ１３から出力される合成音声によって行われる。また、通知は、表示部１７に表示される映像によって行われてもよい。 In the next step S3, the device control unit 101 notifies the user that the input operation of the pattern command can be executed by uttering a voice command consisting of an ambiguous fixed phrase which is a voice command. The notification is performed by the synthetic voice output from the speaker 13 based on the synthetic voice signal generated by the voice synthesis unit 107. Further, the notification may be given by an image displayed on the display unit 17.

次のステップＳ４において、音声コマンドである曖昧な定型句からなる音声コマンドが発声されたときに、解析部１０３は、発声された定型句からなる音声コマンドに対応するパターンコマンドをデータベース部１０４から読み出し、推定操作部１０２は、このパターンコマンドに対応する操作コマンドを推定し、推定されたパターンコマンドを機器制御部１０１に提供する。機器制御部１０１は、推定操作部１０２から受け取ったパターンコマンドにしたがって対象機器を制御する。 In the next step S4, when a voice command consisting of an ambiguous fixed phrase, which is a voice command, is uttered, the analysis unit 103 reads a pattern command corresponding to the uttered fixed phrase voice command from the database unit 104. , The estimation operation unit 102 estimates the operation command corresponding to this pattern command, and provides the estimated pattern command to the device control unit 101. The device control unit 101 controls the target device according to the pattern command received from the estimation operation unit 102.

図４は、本実施の形態に係る機器制御装置１００における操作履歴情報の記録時の動作を示すフローチャートである。図４は、図３におけるステップＳ１の処理の詳細を示す。 FIG. 4 is a flowchart showing an operation at the time of recording operation history information in the device control device 100 according to the present embodiment. FIG. 4 shows the details of the process of step S1 in FIG.

先ず、ステップＳ１１において、ユーザによりリモコン２０が操作されると、機器制御部１０１は、入力部１５を介して入力されたユーザ操作信号を受け取る。 First, in step S11, when the remote controller 20 is operated by the user, the device control unit 101 receives the user operation signal input via the input unit 15.

次のステップＳ１２において、機器制御部１０１は、受信したユーザ操作信号が予め決められた操作コマンドに基づく信号であるか否かを判断する。つまり、機器制御部１０１は、ユーザ操作信号が操作履歴情報１０４ａとして記録されるべき操作コマンド、すなわち、予め決められた操作コマンドに基づく信号であるか否かを判断する。 In the next step S12, the device control unit 101 determines whether or not the received user operation signal is a signal based on a predetermined operation command. That is, the device control unit 101 determines whether or not the user operation signal is an operation command to be recorded as the operation history information 104a, that is, a signal based on a predetermined operation command.

ユーザ操作信号が予め決められた操作コマンドに基づく信号である場合（ステップＳ１２における判断が「はい」である場合）、処理はステップＳ１３に進み、ユーザ操作信号が予め決められた操作コマンドに基づく信号でない場合（ステップＳ１２における判断が「いいえ」である場合）、処理はステップＳ１１に戻る。 When the user operation signal is a signal based on a predetermined operation command (when the determination in step S12 is "Yes"), the process proceeds to step S13, and the user operation signal is a signal based on the predetermined operation command. If not (when the determination in step S12 is "No"), the process returns to step S11.

処理がステップＳ１３に進んだ場合、解析部１０３は、機器制御部１０１から操作コマンドと、ユーザＩＤと時間情報とを含むユーザ環境情報と、を受け取る。 When the process proceeds to step S13, the analysis unit 103 receives the operation command and the user environment information including the user ID and the time information from the device control unit 101.

次のステップＳ１４において、解析部１０３は、操作コマンドとユーザ環境情報とを関連付けて得られたユーザ操作情報を、データベース部１０４に操作履歴情報１０４ａとして記録する。つまり、データベース部１０４に記録される操作履歴情報１０４ａは、ユーザ操作に基づく操作コマンドとユーザ環境情報とを関連付けて得られたユーザ操作情報のみから構成されてもよい。ただし、データベース部１０４に記録される操作履歴情報１０４ａは、ユーザ操作に基づく操作コマンドとユーザ環境情報とを関連付けて得られたユーザ操作情報と、音声コマンドに基づく操作コマンドとユーザ環境情報とを関連付けて得られたユーザ操作情報との両方を含むことが望ましい。なお、データベース部１０４に記録される操作履歴情報１０４ａは、音声コマンドに基づく操作コマンドとユーザ環境情報とを関連付けて得られたユーザ操作情報のみから構成することも可能である。 In the next step S14, the analysis unit 103 records the user operation information obtained by associating the operation command with the user environment information in the database unit 104 as the operation history information 104a. That is, the operation history information 104a recorded in the database unit 104 may be composed only of the user operation information obtained by associating the operation command based on the user operation with the user environment information. However, the operation history information 104a recorded in the database unit 104 associates the user operation information obtained by associating the operation command based on the user operation with the user environment information, and the operation command based on the voice command and the user environment information. It is desirable to include both the user operation information obtained in the above. The operation history information 104a recorded in the database unit 104 can be configured only from the user operation information obtained by associating the operation command based on the voice command with the user environment information.

図５は、本実施の形態に係る機器制御装置１００におけるパターンコマンドの記録時の動作を示すフローチャートである。図５は、図３におけるステップＳ２の処理の詳細を示す。なお、パターンコマンドは、対象機器の機能を示す用語を含まない音声コマンドである曖昧な定型句によって、入力操作を行うことが可能なコマンドである。 FIG. 5 is a flowchart showing an operation at the time of recording a pattern command in the device control device 100 according to the present embodiment. FIG. 5 shows the details of the process of step S2 in FIG. The pattern command is a command that allows an input operation to be performed by an ambiguous fixed phrase that is a voice command that does not include a term indicating the function of the target device.

先ず、ステップＳ２１において、解析部１０３は、予め決められた時間毎にデータベース部１０４を参照して、データベース部１０４に操作履歴情報１０４ａが有るか否かを判断する。 First, in step S21, the analysis unit 103 refers to the database unit 104 at predetermined time intervals to determine whether or not the database unit 104 has the operation history information 104a.

操作履歴情報１０４ａが有る場合（ステップＳ２１における判断が「はい」である場合）、処理はステップＳ２２に進み、操作履歴情報１０４ａが無い場合（ステップＳ２１における判断が「いいえ」である場合）、ステップＳ２１の処理が再度行われる。 When the operation history information 104a is present (when the determination in step S21 is "yes"), the process proceeds to step S22, and when there is no operation history information 104a (when the determination in step S21 is "no"), the step The process of S21 is performed again.

処理がステップＳ２２に進んだ場合、解析部１０３は、データベース部１０４に記録されている操作履歴情報１０４ａから、予め決められた一定期間内の操作履歴であるユーザ操作情報を読み出す。 When the process proceeds to step S22, the analysis unit 103 reads out the user operation information, which is the operation history within a predetermined fixed period, from the operation history information 104a recorded in the database unit 104.

次のステップＳ２３において、解析部１０３は、読み出されたユーザ操作情報がパターンコマンドの条件を満たすか否かを判断する。つまり、解析部１０３は、読み出されたユーザ操作情報が、ユーザによって繰り返し実行されたユーザ操作についてのユーザ操作情報であり、ユーザ操作情報は類似するユーザ環境情報を含んでおり、繰り返し実行回数が予め決められた基準回数を越えたユーザ操作についての複数のユーザ操作情報（すなわち、ユーザ操作情報群）からなる、パターンコマンドであるか否かを判断する。 In the next step S23, the analysis unit 103 determines whether or not the read user operation information satisfies the condition of the pattern command. That is, in the analysis unit 103, the read user operation information is the user operation information about the user operation repeatedly executed by the user, the user operation information includes similar user environment information, and the number of times of repeated execution is It is determined whether or not the command is a pattern command consisting of a plurality of user operation information (that is, a user operation information group) for user operations exceeding a predetermined reference number of times.

ユーザ操作情報群がパターンコマンドの条件を満たす場合（ステップＳ２３における判断が「はい」である場合）、処理はステップＳ２４に進み、ユーザ操作情報群がパターンコマンドの条件を満たさない場合（ステップＳ２３における判断が「いいえ」である場合）、処理はステップＳ２１に戻る。 When the user operation information group satisfies the condition of the pattern command (when the determination in step S23 is "Yes"), the process proceeds to step S24, and when the user operation information group does not satisfy the condition of the pattern command (in step S23). If the determination is "no"), the process returns to step S21.

処理がステップＳ２４に進んだ場合、解析部１０３は、データベース部１０４に、一連のユーザ操作情報群とそのユーザ環境情報であるユーザＩＤ及び時間情報とを、パターンコマンドとして記録する。 When the process proceeds to step S24, the analysis unit 103 records in the database unit 104 a series of user operation information groups and the user ID and time information which are the user environment information thereof as pattern commands.

図６は、本実施の形態に係る機器制御装置１００におけるユーザに対する通知の動作を示すフローチャートである。図６は、図３におけるステップＳ３の詳細を示す。 FIG. 6 is a flowchart showing the operation of notification to the user in the device control device 100 according to the present embodiment. FIG. 6 shows the details of step S3 in FIG.

先ず、ステップＳ３１において、ユーザによりリモコン２０が操作されると、機器制御部１０１は、入力部１５を介して入力されたユーザ操作信号を受け取る。 First, in step S31, when the remote controller 20 is operated by the user, the device control unit 101 receives the user operation signal input via the input unit 15.

次のステップＳ３２において、機器制御部１０１は、受信したユーザ操作信号が予め決められた操作コマンドに基づく信号であるか否かを判断する。 In the next step S32, the device control unit 101 determines whether or not the received user operation signal is a signal based on a predetermined operation command.

ユーザ操作信号が予め決められた操作コマンドに基づく信号である場合（ステップＳ３２における判断が「はい」である場合）、処理はステップＳ３３に進み、ユーザ操作信号が予め決められた操作コマンドに基づく信号でない場合（ステップＳ３２における判断が「いいえ」である場合）、処理はステップＳ３１に戻る。 When the user operation signal is a signal based on a predetermined operation command (when the determination in step S32 is "Yes"), the process proceeds to step S33, and the user operation signal is a signal based on the predetermined operation command. If not (when the determination in step S32 is "No"), the process returns to step S31.

処理がステップＳ３３に進んだ場合、解析部１０３は、機器制御部１０１から操作コマンドと、ユーザＩＤと時間情報とを含むユーザ環境情報と、を受け取る。 When the process proceeds to step S33, the analysis unit 103 receives the operation command and the user environment information including the user ID and the time information from the device control unit 101.

次のステップＳ３４において、解析部１０３は、データベース部１０４からパターンコマンドを読み出す。 In the next step S34, the analysis unit 103 reads a pattern command from the database unit 104.

次のステップＳ３５において、解析部１０３は、読み出されたパターンコマンドを参照し、入力された現時点における操作コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドが有るか否かを判断する。つまり、解析部１０３は、現時点における操作コマンドのユーザ環境情報と合致するユーザ環境情報を含むパターンコマンドが有るか否かを判断する。 In the next step S35, the analysis unit 103 refers to the read pattern command, and whether or not there is a user ID of the input current operation command, a user ID matching the time information, and a pattern command including the time information. To judge. That is, the analysis unit 103 determines whether or not there is a pattern command including the user environment information that matches the user environment information of the operation command at the present time.

操作コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドが有る場合（すなわち、ステップＳ３５における判断が「はい」である場合）、処理はステップＳ３６に進み、操作コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドが無い場合（すなわち、ステップＳ３５における判断が「いいえ」である場合）、処理はステップＳ３１に戻る。 When there is a user ID of the operation command, a user ID matching the time information, and a pattern command including the time information (that is, when the determination in step S35 is "yes"), the process proceeds to step S36, and the user of the operation command When there is no pattern command including the ID, the user ID matching the time information, and the time information (that is, when the determination in step S35 is "No"), the process returns to step S31.

処理がステップＳ３６に進んだ場合、解析部１０３は、現在の操作コマンドが、パターンコマンドと類似しているか否かを判断する。 When the process proceeds to step S36, the analysis unit 103 determines whether or not the current operation command is similar to the pattern command.

操作コマンドがパターンコマンドに類似している場合（すなわち、ステップＳ３６における判断が「はい」である場合）、処理はステップＳ３７に進み、操作コマンドがパターンコマンドに類似していない場合（すなわち、ステップＳ３６における判断が「いいえ」である場合）、処理はステップＳ３１に戻る。 If the operation command is similar to the pattern command (ie, if the decision in step S36 is "yes"), the process proceeds to step S37 and if the operation command is not similar to the pattern command (ie, step S36). If the determination in is "No"), the process returns to step S31.

処理がステップＳ３７に進んだ場合、解析部１０３は、機器制御部１０１に、合成音声による通知を実行させる。つまり、解析部１０３は、ユーザに対して「いつもの操作ですね」と合成音声で通知するように、機器制御部１０１に指示する。 When the process proceeds to step S37, the analysis unit 103 causes the device control unit 101 to execute the notification by the synthetic voice. That is, the analysis unit 103 instructs the device control unit 101 to notify the user by a synthetic voice that "it is a usual operation".

図７は、本実施の形態に係る機器制御装置１００における音声コマンドである定型句が入力されたときの動作を示すフローチャートである。図６は、図３におけるステップＳ４の詳細を示す。 FIG. 7 is a flowchart showing an operation when a fixed phrase, which is a voice command, is input in the device control device 100 according to the present embodiment. FIG. 6 shows the details of step S4 in FIG.

先ず、ステップＳ４１において、ユーザにより音声コマンドである定型句が発声されると、機器制御部１０１は、マイク１１、Ａ／Ｄコンバータ１２、音声認識部１０６を介して音声コマンドに対応するテキストデータを受け取る。定型句は、制御対象の機能を示す用語を含まない音声コマンドであり、例えば、「いつもの」、「あれ」、などである。 First, in step S41, when a fixed phrase that is a voice command is uttered by the user, the device control unit 101 transmits text data corresponding to the voice command via the microphone 11, the A / D converter 12, and the voice recognition unit 106. receive. A fixed phrase is a voice command that does not include a term indicating a function to be controlled, and is, for example, "usual", "that", and the like.

次のステップＳ４２において、解析部１０３は、機器制御部１０１から定型句のテキストデータを受け取る。 In the next step S42, the analysis unit 103 receives the text data of the fixed phrase from the device control unit 101.

次のステップＳ４３において、解析部１０３は、データベース部１０４からパターンコマンドを読み出す。 In the next step S43, the analysis unit 103 reads a pattern command from the database unit 104.

次のステップＳ４４において、解析部１０３は、読み出されたパターンコマンドを参照し、入力された現時点における音声コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドが有るか否かを判断する。つまり、解析部１０３は、現時点における音声コマンドのユーザ環境情報と合致するユーザ環境情報を含むパターンコマンドが有るか否かを判断する。 In the next step S44, the analysis unit 103 refers to the read pattern command, and whether or not there is a user ID of the input current voice command, a user ID matching the time information, and a pattern command including the time information. To judge. That is, the analysis unit 103 determines whether or not there is a pattern command including the user environment information that matches the user environment information of the voice command at the present time.

音声コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドが有る場合（すなわち、ステップＳ４４における判断が「はい」である場合）、処理はステップＳ４５に進み、音声コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドが無い場合（すなわち、ステップＳ４４における判断が「いいえ」である場合）、処理はステップＳ４１に戻る。 When there is a user ID of the voice command, a user ID matching the time information, and a pattern command including the time information (that is, when the determination in step S44 is "yes"), the process proceeds to step S45, and the user of the voice command When there is no pattern command including the ID, the user ID matching the time information, and the time information (that is, when the determination in step S44 is "No"), the process returns to step S41.

処理がステップＳ４５に進んだ場合、解析部１０３は、音声コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドを推定操作部１０２に出力する。つまり、解析部１０３は、音声コマンドのユーザ環境情報と合致するユーザ環境情報を含むパターンコマンドを推定操作部１０２に出力する。 When the process proceeds to step S45, the analysis unit 103 outputs the user ID of the voice command, the user ID matching the time information, and the pattern command including the time information to the estimation operation unit 102. That is, the analysis unit 103 outputs a pattern command including the user environment information that matches the user environment information of the voice command to the estimation operation unit 102.

次のステップＳ４６において、推定操作部１０２は、受け取ったパターンコマンドに対応する操作コマンドを機器制御部１０１に出力する。次のステップＳ４７において、機器制御部１０１は、推定操作部１０２から受け取った操作コマンドに基づいて対象機器の動作を制御する。 In the next step S46, the estimation operation unit 102 outputs an operation command corresponding to the received pattern command to the device control unit 101. In the next step S47, the device control unit 101 controls the operation of the target device based on the operation command received from the estimation operation unit 102.

図８は、本実施の形態に係る機器制御装置１００におけるパターンコマンドの確認の通知の処理を示すフローチャートである。 FIG. 8 is a flowchart showing a process of notifying confirmation of a pattern command in the device control device 100 according to the present embodiment.

先ず、ステップＳ５１において、ユーザによりリモコン２０が操作されると、機器制御部１０１は、入力部１５を介して入力されたユーザ操作信号を受け取る。 First, in step S51, when the remote controller 20 is operated by the user, the device control unit 101 receives the user operation signal input via the input unit 15.

次のステップＳ５２において、機器制御部１０１は、受信したユーザ操作信号が予め決められた操作コマンドに基づく信号であるか否かを判断する。 In the next step S52, the device control unit 101 determines whether or not the received user operation signal is a signal based on a predetermined operation command.

ユーザ操作信号が予め決められた操作コマンドに基づく信号である場合（すなわち、ステップＳ５２における判断が「はい」である場合）、処理はステップＳ５３に進み、ユーザ操作信号が予め決められた操作コマンドに基づく信号でない場合（すなわち、ステップＳ５２における判断が「いいえ」である場合）、処理はステップＳ５１に戻る。 When the user operation signal is a signal based on a predetermined operation command (that is, when the determination in step S52 is "yes"), the process proceeds to step S53, and the user operation signal becomes a predetermined operation command. If the signal is not based (ie, the determination in step S52 is "no"), the process returns to step S51.

処理がステップＳ５３に進んだ場合、解析部１０３は、機器制御部１０１から操作コマンドと、ユーザＩＤと時間情報とを含むユーザ環境情報と、を受け取る。 When the process proceeds to step S53, the analysis unit 103 receives the operation command and the user environment information including the user ID and the time information from the device control unit 101.

次のステップＳ５４において、解析部１０３は、データベース部１０４からパターンコマンドを読み出す。 In the next step S54, the analysis unit 103 reads a pattern command from the database unit 104.

次のステップＳ５５において、解析部１０３は、読み出されたパターンコマンドを参照し、入力された現時点における操作コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドが有るか否かを判断する。つまり、解析部１０３は、現時点における操作コマンドのユーザ環境情報と合致するユーザ環境情報を含むパターンコマンドが有るか否かを判断する。 In the next step S55, the analysis unit 103 refers to the read pattern command, and whether or not there is a user ID of the input current operation command, a user ID matching the time information, and a pattern command including the time information. To judge. That is, the analysis unit 103 determines whether or not there is a pattern command including the user environment information that matches the user environment information of the operation command at the present time.

操作コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドが有る場合（すなわち、ステップＳ５５における判断が「はい」である場合）、処理はステップＳ５６に進み、操作コマンドのユーザＩＤ、時間情報と合致するユーザＩＤ、時間情報を含むパターンコマンドが無い場合（すなわち、ステップＳ５５における判断が「いいえ」である場合）、処理はステップＳ５１に戻る。 When there is a user ID of the operation command, a user ID matching the time information, and a pattern command including the time information (that is, when the determination in step S55 is "yes"), the process proceeds to step S56, and the user of the operation command When there is no pattern command including the ID, the user ID matching the time information, and the time information (that is, when the determination in step S55 is "No"), the process returns to step S51.

処理がステップＳ５６に進んだ場合、解析部１０３は、現在の操作コマンドが、パターンコマンドの前段の一部と類似しているか否かを判断する。つまり、現在のユーザによって現在の操作コマンドが入力されたときに、解析部１０３は、現在のユーザの現在のユーザ環境情報に一致する、データベース部１０４に記憶されているユーザ環境情報を有するパターンコマンドを読み出し、現在の操作コマンドが、読み出されたパターンコマンドに含まれる操作コマンドに類似しているか否かを判断する。 When the process proceeds to step S56, the analysis unit 103 determines whether or not the current operation command is similar to a part of the previous stage of the pattern command. That is, when the current operation command is input by the current user, the analysis unit 103 has a pattern command having the user environment information stored in the database unit 104 that matches the current user environment information of the current user. Is read, and it is determined whether or not the current operation command is similar to the operation command included in the read pattern command.

操作コマンドがパターンコマンドの前段の一部、すなわち、パターンコマンドに含まれる操作コマンドに類似している場合（すなわち、ステップＳ５６における判断が「はい」である場合）、処理はステップＳ５７に進み、操作コマンドがパターンコマンドの前段の一部に類似していない場合（すなわち、ステップＳ５６における判断が「いいえ」である場合）、処理はステップＳ５１に戻る。 When the operation command is a part of the first stage of the pattern command, that is, similar to the operation command included in the pattern command (that is, when the judgment in step S56 is "yes"), the process proceeds to step S57 and the operation proceeds. If the command does not resemble a part of the first stage of the pattern command (that is, if the determination in step S56 is "no"), the process returns to step S51.

処理がステップＳ５７に進んだ場合、解析部１０３は、機器制御部１０１に、合成音声による通知を実行させる。つまり、解析部１０３は、ユーザに対して「いつもの操作ですか？」と合成音声で確認の通知を行うように、機器制御部１０１に指示する。 When the process proceeds to step S57, the analysis unit 103 causes the device control unit 101 to execute the notification by the synthetic voice. That is, the analysis unit 103 instructs the device control unit 101 to notify the user of the confirmation by a synthetic voice asking "Is this the usual operation?".

《４》機器制御装置１００の効果
以上に説明したように、本実施の形態に係る機器制御装置１００、機器制御システム１０、機器制御方法、又は機器制御プログラムを用いれば、リモコン２０からのユーザ入力操作と予め決められた音声コマンドによる音声入力操作に加えて、対象機器の機能を含まない曖昧な定型句である音声コマンドによって、対象機器を制御することができる。<< 4 Effect of Device Control Device 100 As described above, if the device control device 100, the device control system 10, the device control method, or the device control program according to the present embodiment is used, user input from the remote controller 20 is used. In addition to the operation and the voice input operation by the predetermined voice command, the target device can be controlled by the voice command which is an ambiguous fixed phrase that does not include the function of the target device.

また、音声コマンドである定型句として「いつもの」、「さっきの」、などの決まり文句、及び「あれ」、「それ」、などの指示代名詞を用いることができるので、ユーザは、音声コマンドの内容を記憶している必要がない。このためユーザの負担を軽減することができる。 In addition, since fixed phrases such as "usual" and "previous" and demonstrative pronouns such as "that" and "it" can be used as fixed phrases that are voice commands, the user can use the voice command. You don't have to remember the contents. Therefore, the burden on the user can be reduced.

１０ テレビ装置、 １１ マイク、 １２ Ａ／Ｄコンバータ、 １３ スピーカ、 １４ Ｄ／Ａコンバータ、 １５ 入力部、 １６ カメラ、 ２０ リモコン、 １００ 機器制御装置、 １０１ 機器制御部、 １０１ａ 時間情報生成部、 １０２ 推定操作部、 １０３ 解析部、 データベース部、 １０４ａ 操作履歴情報、 １０５ ユーザ認識部、 １０６ 音声認識部、 １０７ 音声合成部。 10 TV device, 11 microphone, 12 A / D converter, 13 speaker, 14 D / A converter, 15 input unit, 16 camera, 20 remote controller, 100 device control device, 101 device control unit, 101a time information generator, 102 estimation Operation unit, 103 analysis unit, database unit, 104a operation history information, 105 user recognition unit, 106 voice recognition unit, 107 voice synthesis unit.

Claims (15)

ユーザ操作部から入力されたユーザ操作に基づく操作コマンド及びマイクから入力された音声コマンドに基づく操作コマンドの少なくとも一方によって対象機器の動作を制御する機器制御装置であって、
前記操作コマンドが入力されたときの時刻及び曜日の少なくとも一方を含む時間情報を取得する時間情報取得部と、
前記ユーザ操作を入力するユーザ及び前記音声コマンドを発声するユーザを示すユーザ特定情報を生成するユーザ特定情報生成部と、
前記操作コマンドに、前記ユーザ特定情報と前記時間情報とを含む第１のユーザ環境情報を関連付けることで得られたユーザ操作情報を、前記操作コマンドが入力される度に蓄積することで、複数のユーザ操作情報を含む操作履歴情報を記憶するデータベース部と、
予め決められた類似条件を満たす第１のユーザ環境情報を含む複数のユーザ操作情報をパターンコマンドとして前記データベース部に記録するパターンコマンド記録処理と、１つ以上の単語を含む定型句からなる前記音声コマンドが発声されたときに、前記定型句からなる前記音声コマンドに基づく前記操作コマンドについての前記ユーザ特定情報と前記時間情報とを含む第２のユーザ環境情報に合致する前記第１のユーザ環境情報を含む前記パターンコマンドを前記データベース部から選択する音声解析処理と、を行う解析部と、
前記解析部によって選択された前記パターンコマンドに基づいて前記対象機器の動作を制御する機器制御部と、
を有することを特徴とする機器制御装置。A device control device that controls the operation of a target device by at least one of an operation command based on a user operation input from a user operation unit and an operation command based on a voice command input from a microphone.
A time information acquisition unit that acquires time information including at least one of the time and the day of the week when the operation command is input, and
A user-specific information generator that generates user-specific information indicating a user who inputs the user operation and a user who issues the voice command, and a user-specific information generator.
A plurality of user operation information obtained by associating the operation command with the first user environment information including the user identification information and the time information is accumulated each time the operation command is input. A database section that stores operation history information including user operation information,
The voice consisting of a pattern command recording process for recording a plurality of user operation information including a first user environment information satisfying a predetermined similarity condition in the database unit as a pattern command, and a fixed phrase containing one or more words. When the command is uttered, the first user environment information that matches the second user environment information including the user specific information and the time information for the operation command based on the voice command consisting of the fixed phrase. An analysis unit that performs voice analysis processing for selecting the pattern command including the above database unit from the database unit, and
A device control unit that controls the operation of the target device based on the pattern command selected by the analysis unit.
A device control device characterized by having. 前記類似条件は、前記複数のユーザ操作情報の前記ユーザ特定情報が示す前記ユーザが共通であることを含むことを特徴とする請求項１に記載の機器制御装置。 The device control device according to claim 1, wherein the similar condition includes that the user indicated by the user identification information of the plurality of user operation information is common. 前記類似条件は、前記複数のユーザ操作情報の前記時間情報が示す時刻が、予め決められた時刻範囲内であることを含むことを特徴とする請求項１又は２に記載の機器制御装置。 The device control device according to claim 1 or 2, wherein the similar condition includes that the time indicated by the time information of the plurality of user operation information is within a predetermined time range. 前記類似条件は、前記複数のユーザ操作情報の前記時間情報が示す曜日が共通であることを含むことを特徴とする請求項１から３のいずれか１項に記載の機器制御装置。 The device control device according to any one of claims 1 to 3, wherein the similar condition includes a common day of the week indicated by the time information of the plurality of user operation information. 前記定型句は、前記対象機器の機能を示す用語を含まないことを特徴とする請求項１から４のいずれか１項に記載の機器制御装置。 The device control device according to any one of claims 1 to 4, wherein the fixed phrase does not include a term indicating a function of the target device. 前記定型句は、指示代名詞を含む又は指示代名詞のみから構成されることを特徴とする請求項１から５のいずれか１項に記載の機器制御装置。 The device control device according to any one of claims 1 to 5, wherein the fixed phrase includes a demonstrative pronoun or is composed of only a demonstrative pronoun. 前記第２のユーザ環境情報に含まれる前記ユーザ特定情報が前記第１のユーザ環境情報に含まれる前記ユーザ特定情報に一致し、且つ前記第２のユーザ環境情報に含まれる前記時間情報が示す時刻と前記第１のユーザ環境情報に含まれる前記時間情報が示す時刻との差が予め決められた閾値以下である場合に、前記第２のユーザ環境情報は前記第１のユーザ環境情報に合致することを特徴とする請求項１から６のいずれか１項に記載の機器制御装置。 The time when the user-specific information included in the second user environment information matches the user-specific information included in the first user environment information and is indicated by the time information included in the second user environment information. The second user environment information matches the first user environment information when the difference between the time and the time indicated by the time information included in the first user environment information is equal to or less than a predetermined threshold value. The device control device according to any one of claims 1 to 6, characterized in that. 前記第２のユーザ環境情報に含まれる前記ユーザ特定情報が前記第１のユーザ環境情報に含まれる前記ユーザ特定情報に一致し、且つ前記第２のユーザ環境情報に含まれる前記時間情報が示す曜日が前記第１のユーザ環境情報に含まれる前記時間情報が示す曜日に一致する場合に、前記第２のユーザ環境情報は前記第１のユーザ環境情報に合致することを特徴とする請求項１から６のいずれか１項に記載の機器制御装置。 The day of the week when the user-specific information included in the second user environment information matches the user-specific information included in the first user environment information and the time information included in the second user environment information indicates. 1 to claim 1, wherein the second user environment information matches the first user environment information when the second user environment information matches the day of the week indicated by the time information included in the first user environment information. The device control device according to any one of 6. 前記第２のユーザ環境情報に含まれる前記ユーザ特定情報が前記第１のユーザ環境情報に含まれる前記ユーザ特定情報に一致し、且つ前記第２のユーザ環境情報に含まれる前記時間情報が示す曜日が前記第１のユーザ環境情報に含まれる前記時間情報が示す曜日に一致し、且つ前記第２のユーザ環境情報に含まれる前記時間情報が示す時刻と前記第１のユーザ環境情報に含まれる前記時間情報が示す時刻との差が予め決められた閾値以下である場合に、前記第２のユーザ環境情報は前記第１のユーザ環境情報に合致することを特徴とする請求項１から６のいずれか１項に記載の機器制御装置。 The day when the user-specific information included in the second user environment information matches the user-specific information included in the first user environment information and the time information included in the second user environment information indicates. Matches the day indicated by the time information included in the first user environment information, and is included in the time indicated by the time information included in the second user environment information and the first user environment information. Any of claims 1 to 6, wherein the second user environment information matches the first user environment information when the difference from the time indicated by the time information is equal to or less than a predetermined threshold value. The device control device according to item 1. 前記パターンコマンド記録処理が行われたときに、前記定型句からなる前記音声コマンドによって入力可能な操作コマンドが前記パターンコマンドに存在していることを通知する通知部をさらに有することを特徴とする請求項１から９のいずれか１項に記載の機器制御装置。 A claim further comprising a notification unit for notifying that an operation command that can be input by the voice command composed of the fixed phrase exists in the pattern command when the pattern command recording process is performed. Item 2. The device control device according to any one of Items 1 to 9. 現在のユーザによる前記ユーザ操作に基づく操作コマンド及び前記現在のユーザによる前記音声コマンドに基づく操作コマンドのいずれかである現在の操作コマンドが入力されたときに、
前記解析部は、
前記現在のユーザの現在のユーザ環境情報に一致する、前記データベース部に記憶されている前記第１のユーザ環境情報を有する前記パターンコマンドを読み出し、
前記現在の操作コマンドが、読み出された前記パターンコマンドに含まれる操作コマンドに類似しているか否かを判断し、
類似していると判断した場合に、前記通知部に、前記定型句からなる前記音声コマンドによって入力可能なパターンコマンドが存在していることを通知させる
ことを特徴とする請求項１０に記載の機器制御装置。When the current operation command, which is either an operation command based on the user operation by the current user or an operation command based on the voice command by the current user, is input.
The analysis unit
Read the pattern command having the first user environment information stored in the database unit, which matches the current user environment information of the current user.
It is determined whether or not the current operation command is similar to the operation command included in the read pattern command.
The device according to claim 10, wherein when it is determined that they are similar, the notification unit is notified that a pattern command that can be input by the voice command composed of the fixed phrase exists. Control device. 前記定型句からなる前記音声コマンドの入力によって、前記パターンコマンドに基づく動作が実行されているときに、前記現在のユーザによって前記現在の操作コマンドが入力された場合、前記解析部は、前記定型句からなる前記音声コマンドに基づく処理が、前記パターンコマンドに基づく動作に追加される処理であるか、前記パターンコマンドに基づく動作を中断して実行する処理であるかを判断することを特徴とする請求項１１に記載の機器制御装置。 When the current operation command is input by the current user while the operation based on the pattern command is being executed by inputting the voice command composed of the fixed phrase, the analysis unit uses the fixed phrase. A claim comprising determining whether the process based on the voice command is a process added to the operation based on the pattern command or a process for interrupting and executing the operation based on the pattern command. Item 11. The device control device according to Item 11. 請求項１から１２のいずれか１項に記載の機器制御装置と、
前記機器制御装置によって制御される対象機器と、
を有することを特徴とする機器制御システム。The device control device according to any one of claims 1 to 12, and
The target device controlled by the device control device and
A device control system characterized by having. ユーザ操作部から入力されたユーザ操作に基づく操作コマンド及びマイクから入力された音声コマンドに基づく操作コマンドの少なくとも一方によって対象機器の動作を制御する機器制御方法であって、
前記操作コマンドが入力されたときの時刻及び曜日の少なくとも一方を含む時間情報を取得するステップと、
前記ユーザ操作を入力するユーザ及び前記音声コマンドを発声するユーザを示すユーザ特定情報を生成するステップと、
前記操作コマンドに、前記ユーザ特定情報と前記時間情報とを含む第１のユーザ環境情報を関連付けることで得られたユーザ操作情報を、前記操作コマンドが入力される度に蓄積することで、複数のユーザ操作情報を含む操作履歴情報をデータベース部に記憶するステップと、
予め決められた類似条件を満たす第１のユーザ環境情報を含む複数のユーザ操作情報をパターンコマンドとして前記データベース部に記録するステップと、
１つ以上の単語を含む定型句からなる前記音声コマンドが発声されたときに、前記定型句からなる前記音声コマンドに基づく前記操作コマンドについての前記ユーザ特定情報と前記時間情報とを含む第２のユーザ環境情報に合致する前記第１のユーザ環境情報を含む前記パターンコマンドを前記データベース部から選択するステップと、
選択された前記パターンコマンドに基づいて前記対象機器の動作を制御するステップと、
を有することを特徴とする機器制御方法。It is a device control method that controls the operation of the target device by at least one of an operation command based on the user operation input from the user operation unit and an operation command based on the voice command input from the microphone.
A step of acquiring time information including at least one of the time and the day of the week when the operation command is input, and
A step of generating user-specific information indicating a user who inputs the user operation and a user who utters the voice command, and
A plurality of user operation information obtained by associating the operation command with the first user environment information including the user identification information and the time information is accumulated each time the operation command is input. Steps to store operation history information including user operation information in the database section,
A step of recording a plurality of user operation information including a first user environment information satisfying a predetermined similarity condition as a pattern command in the database unit, and
When the voice command consisting of a fixed phrase including one or more words is uttered, a second including the user-specific information and the time information about the operation command based on the voice command consisting of the fixed phrase. A step of selecting the pattern command including the first user environment information matching the user environment information from the database unit, and
A step of controlling the operation of the target device based on the selected pattern command, and
A device control method characterized by having. ユーザ操作部から入力されたユーザ操作に基づく操作コマンド及びマイクから入力された音声コマンドに基づく操作コマンドの少なくとも一方によって対象機器の動作を制御する機器制御プログラムであって、
コンピュータに、
前記操作コマンドが入力されたときの時刻及び曜日の少なくとも一方を含む時間情報を取得する処理と、
前記ユーザ操作を入力するユーザ及び前記音声コマンドを発声するユーザを示すユーザ特定情報を生成する処理と、
前記操作コマンドに、前記ユーザ特定情報と前記時間情報とを含む第１のユーザ環境情報を関連付けることで得られたユーザ操作情報を、前記操作コマンドが入力される度に蓄積することで、複数のユーザ操作情報を含む操作履歴情報をデータベース部に記憶する処理と、
予め決められた類似条件を満たす第１のユーザ環境情報を含む複数のユーザ操作情報をパターンコマンドとして前記データベース部に記録する処理と、
１つ以上の単語を含む定型句からなる前記音声コマンドが発声されたときに、前記定型句からなる前記音声コマンドに基づく前記操作コマンドについての前記ユーザ特定情報と前記時間情報とを含む第２のユーザ環境情報に合致する前記第１のユーザ環境情報を含む前記パターンコマンドを前記データベース部から選択する処理と、
選択された前記パターンコマンドに基づいて前記対象機器の動作を制御する処理と、
を実行させることを特徴とする機器制御プログラム。A device control program that controls the operation of the target device by at least one of an operation command based on the user operation input from the user operation unit and an operation command based on the voice command input from the microphone.
On the computer
The process of acquiring time information including at least one of the time and the day of the week when the operation command is input, and
A process of generating user-specific information indicating a user who inputs the user operation and a user who utters the voice command, and
A plurality of user operation information obtained by associating the operation command with the first user environment information including the user identification information and the time information is accumulated each time the operation command is input. Processing to store operation history information including user operation information in the database section,
A process of recording a plurality of user operation information including a first user environment information satisfying a predetermined similarity condition in the database unit as a pattern command.
When the voice command consisting of a fixed phrase including one or more words is uttered, a second including the user-specific information and the time information about the operation command based on the voice command consisting of the fixed phrase. A process of selecting the pattern command including the first user environment information matching the user environment information from the database unit, and
A process of controlling the operation of the target device based on the selected pattern command, and
A device control program characterized by executing.
JP2020569220A 2019-02-12 2019-02-12 Device control device, device control system, device control method, and device control program Active JP6851565B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/004802 WO2020165933A1 (en) 2019-02-12 2019-02-12 Apparatus control device, apparatus control system, apparatus control method, apparatus control program

Publications (2)

Publication Number Publication Date
JPWO2020165933A1 JPWO2020165933A1 (en) 2021-03-25
JP6851565B2 true JP6851565B2 (en) 2021-03-31

Family

ID=72044639

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020569220A Active JP6851565B2 (en) 2019-02-12 2019-02-12 Device control device, device control system, device control method, and device control program

Country Status (2)

Country Link
JP (1) JP6851565B2 (en)
WO (1) WO2020165933A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112331190A (en) * 2020-09-04 2021-02-05 深圳Tcl新技术有限公司 Intelligent equipment and method and device for self-establishing voice command thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005181358A (en) * 2003-12-16 2005-07-07 Victor Co Of Japan Ltd Speech recognition and synthesis system
JP4684739B2 (en) * 2005-05-13 2011-05-18 クラリオン株式会社 Audio processing device
JP6522503B2 (en) * 2013-08-29 2019-05-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Device control method, display control method and purchase settlement method
US10018977B2 (en) * 2015-10-05 2018-07-10 Savant Systems, Llc History-based key phrase suggestions for voice control of a home automation system
US10467510B2 (en) * 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Intelligent assistant
KR102025391B1 (en) * 2017-05-15 2019-09-25 네이버 주식회사 Device control according to user's talk position

Also Published As

Publication number Publication date
WO2020165933A1 (en) 2020-08-20
JPWO2020165933A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
US11861264B2 (en) Portable terminal device and information processing system
US5583965A (en) Methods and apparatus for training and operating voice recognition systems
JP5771002B2 (en) Speech recognition apparatus, speech recognition method, and television receiver equipped with speech recognition apparatus
US12003804B2 (en) Information processing device, information processing method, and computer program
US20050259959A1 (en) Media data play apparatus and system
KR102158315B1 (en) Display apparatus for performing a voice control and method thereof
JP5743976B2 (en) Information processing apparatus, program, and information processing method
US8041576B2 (en) Information processing apparatus and information processing method
WO2019218656A1 (en) Smart television and screenshot-taking application method therefor, and storage medium
JP4405418B2 (en) Information processing apparatus and method
JP7406874B2 (en) Electronic devices, their control methods, and their programs
JP6851565B2 (en) Device control device, device control system, device control method, and device control program
KR101727587B1 (en) A Method Generating Transcripts Of Digital Recording File
US20140152898A1 (en) System and method capable of changing tv programs
US20160133243A1 (en) Musical performance system, musical performance method and musical performance program
KR101781353B1 (en) A Method Generating Digital Recording File Having Integrity
JP4235635B2 (en) Data retrieval apparatus and control method thereof
KR100717009B1 (en) Menu reproduction control method and apparatus therefor
JP2002358148A (en) Method for correcting user interface of welfare electronic equipment and corresponding device and signal and data carrier
CN112236816A (en) Information processing device, information processing system, and imaging device
JP4531546B2 (en) Indexing system using control signals
JP7139839B2 (en) Information processing device, information processing method and program
CN113228170B (en) Information processing apparatus and nonvolatile storage medium
JP7103681B2 (en) Speech recognition program, speech recognition method, speech recognition device and speech recognition system
US20210304767A1 (en) Meeting support system, meeting support method, and non-transitory computer-readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201210

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201210

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210309

R150 Certificate of patent or registration of utility model

Ref document number: 6851565

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150