JP6928842B2 - 制御情報取得システム、及び、制御情報取得方法 - Google Patents

制御情報取得システム、及び、制御情報取得方法 Download PDF

Info

Publication number
JP6928842B2
JP6928842B2 JP2018024283A JP2018024283A JP6928842B2 JP 6928842 B2 JP6928842 B2 JP 6928842B2 JP 2018024283 A JP2018024283 A JP 2018024283A JP 2018024283 A JP2018024283 A JP 2018024283A JP 6928842 B2 JP6928842 B2 JP 6928842B2
Authority
JP
Japan
Prior art keywords
voice
control
information
control information
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018024283A
Other languages
English (en)
Other versions
JP2019139645A (ja
Inventor
清規 城戸
清規 城戸
田中 敬一
敬一 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018024283A priority Critical patent/JP6928842B2/ja
Priority to US16/968,234 priority patent/US20210035578A1/en
Priority to PCT/JP2019/002360 priority patent/WO2019159646A1/ja
Priority to CN201980013162.XA priority patent/CN111712873A/zh
Publication of JP2019139645A publication Critical patent/JP2019139645A/ja
Application granted granted Critical
Publication of JP6928842B2 publication Critical patent/JP6928842B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、音声に基づく機器制御を行うための制御情報取得システム、及び、制御情報取得方法に関する。
VPA(Virtual Personal Assistance)と呼ばれる、音声で機器を操作するサービスが普及し始めている。特許文献1には、ネットワークに接続可能な集音機器が音声情報を収集し、収集した音声情報に基づいて、ネットワークを介して家電機器を制御する家電機器制御システムが開示されている。
国際公開第2014/171144号
本発明は、音声が入力されたシチュエーションに応じて適応的に機器を制御することができる制御情報取得システム、及び、制御情報取得方法を提供する。
本発明の一態様に係る制御情報取得システムは、音声取得部によって取得された音声に基づいて機器を制御するための音声制御情報を出力する音声制御システムから前記音声制御情報を取得する第一取得部と、前記音声制御システムから前記音声取得部に関連する関連情報を取得する第二取得部とを備える。
本発明の一態様に係る制御情報取得方法は、音声取得部によって取得された音声に基づいて機器を制御するための音声制御情報を出力する音声制御システムから前記音声制御情報を取得し、前記音声制御システムから前記音声取得部に関連する関連情報を取得する。
本発明の一態様に係るプログラムは、前記制御情報取得方法をコンピュータに実行させるためのプログラムである。
本発明によれば、音声が入力されたシチュエーションに応じて適応的に機器を制御することができる制御情報取得システム、及び、制御情報取得方法が実現される。
図1は、実施の形態1に係る音声認識システムの機能構成を示すブロック図である。 図2は、実施の形態1に係る制御システムの動作例1のフローチャートである。 図3は、実施の形態1に係る制御システムの動作例2のフローチャートである。 図4は、実施の形態1に係る制御システムの動作例3のフローチャートである。 図5は、実施の形態2に係る音声認識システムの機能構成を示すブロック図である。 図6は、実施の形態3に係る音声認識システムの機能構成を示すブロック図である。
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
(実施の形態1)
[構成]
まず、実施の形態1に係る音声認識システムの構成について説明する。図1は、実施の形態1に係る音声認識システムの機能構成を示すブロック図である。
図1に示されるように、実施の形態1に係る音声認識システム10は、音声制御システム20と、制御システム30と、ルータ70とを備える。宅内には、音声制御システム20の音声入力端末21、制御システム30の制御対象機器50、及び、ルータ70が設置されている。音声制御システム20の音声認識サーバ22、及び、制御システム30の機器制御サーバ40は、クラウド(クラウドサーバ)として実現される。また、図1では、宅外に配置された音声入力端末80も図示されている。
[音声制御システムの構成]
音声制御システム20は、音声を入力として制御対象機器を制御するためのシステムである。音声制御システム20は、音声入力端末21と、音声認識サーバ22とを備える。音声制御システム20は、音声入力端末21以外の音声入力端末(例えば、音声入力端末80)を備えてもよい。
音声入力端末21は、宅内のユーザ等の音声を取得する音声入力インターフェース装置である。音声入力端末21は、音声取得部の一例である。音声入力端末21は、例えば、スマートスピーカ等の据え置き型の端末であり、人がいると推定される空間に設置されている。音声入力端末21は、スマートフォンなどの携帯端末であってもよい。音声入力端末21は、マイクロフォンなどの集音装置、及び、取得した音声の音声信号を音声認識サーバ22に送信する通信回路等を備えているのであれば、どのような装置であってもよい。
ルータ70は、宅内のローカル通信ネットワークと、宅外の広域通信ネットワーク(例えば、インターネット等の公衆ネットワーク)を中継する中継装置である。ルータ70は、例えば、音声入力端末21によって取得された音声の音声信号をクラウド上の音声認識サーバ22に送信する。
音声認識サーバ22は、音声入力端末21から送信される音声信号に対して音声認識処理を行うサーバである。音声認識サービスを提供する事業者は、音声認識サーバ22を用いて当該音声認識サービスを提供する。音声認識サーバ22は、例えば、音声入力端末21から送信される音声信号をテキスト情報に変換し、テキスト情報を当該テキスト情報に対応するコマンドに変換する。コマンドは、音声入力端末21によって取得された音声に基づいて機器を制御するための音声制御情報の一例である。例えば、テキスト情報が「エアコンをつけて」というテキストを示す場合、このようなテキスト情報は、エアコンの動作を開始させるためのコマンドに変換される。また、音声認識サーバ22は、コマンドを制御システム30の機器制御サーバ40に送信する。
[制御システムの構成]
制御システム30は、音声制御システム20と連携して宅内に設置された制御対象機器を制御するシステムである。制御システム30は、制御情報取得システムの一例である。制御システム30は、機器制御サーバ40と、制御対象機器50とを備える。
機器制御サーバ40は、音声認識サーバ22から送信されるコマンドに基づいて宅内の制御対象機器50の制御を行うサーバである。機器制御サービスを提供する事業者は、機器制御サーバ40を用いて当該機器制御サービスを提供する。機器制御サーバ40は、第一通信部41と、第一制御部42と、第一記憶部43とを備える。
第一通信部41は、音声制御システム20と通信を行う。第一通信部41は、第一取得部の一例である。第一通信部41は、具体的には、音声制御システム20と通信を行うことにより、音声制御情報を取得する。上述のように、音声制御情報は、例えば、音声認識サーバ22によって送信されたコマンドである。第一通信部41は、例えば、通信回路によって実現される。
第一制御部42は、第一通信部41によって取得されたコマンドを、宅内の制御対象機器50を制御するための個別コマンドに変換する。また、第一制御部42は、第一通信部41を用いて個別コマンドを制御対象機器50に送信する。なお、音声認識サーバ22からは音声制御情報としてテキスト情報が送信され、第一制御部42がテキスト情報のコマンドへの変換、及び、コマンドの個別コマンドへの変換の両方を行ってもよい。第一制御部42は、例えば、マイクロコンピュータまたはプロセッサによって実現される。
第一記憶部43は、第一制御部42が実行するプログラムが記憶される記憶装置である。第一記憶部43は、例えば、半導体メモリなどによって実現される。
制御対象機器50は、機器制御サーバ40の第一通信部41によって送信される個別コマンドを受信し、受信された個別コマンドにしたがって動作する機器である。制御対象機器50は、例えば、エアコンなどの家電機器であるが、建具(例えば、玄関のドア)の施錠装置など家電機器以外の機器であってもよい。また、制御システム30の制御対象機器には、制御対象機器50だけでなく、音声入力端末21が含まれてもよい。
このような音声認識システム10においては、宅内の音声入力端末21からだけでなく、宅外の音声入力端末80を用いて制御対象機器50の制御を行うこともできる。そうすると、音声制御情報の元の音声がどこから誰によって入力されたものかを判断することは難しい。
そこで、音声認識システム10において、制御システム30は、音声制御情報に加えて音声入力端末に関連する関連情報を音声制御システム20から取得する。このような関連情報は、例えば、音声入力端末の識別情報である。識別情報は、例えば、音声入力端末のMAC(Media Access Control)アドレスであるが、音声入力端末を識別できるのであればどのような情報であってもよい。
このような関連情報によれば、セキュリティ性の向上、シーンに応じた制御対象機器50の制御、及び、制御システム30の利便性の向上などを実現することができる。つまり、音声が入力されたシチュエーションに応じた適応的な制御が実現される。
[制御対象機器の具体的構成]
実施の形態1では、制御対象機器50において関連情報を用いた情報処理が行われる。以下、制御対象機器50の具体的構成について引き続き図1を参照しながら説明する。制御対象機器50は、第二通信部51と、第二制御部52と、第二記憶部53とを備える。
第二通信部51は、機器制御サーバ40の第一通信部41によって送信される個別コマンドを、ルータ70を介して受信する。また、第二通信部51は、第二取得部の一例であり、音声入力端末21または音声入力端末80などの音声入力端末によって出力された音声入力端末の識別情報を取得する。第二通信部51は、例えば、通信回路によって実現される。
第二通信部51は、例えば、取得経路r1を通じて音声入力端末の識別情報を取得する。取得経路r1は、宅外の広域通信ネットワークを用いた経路であり、音声認識サーバ22及び機器制御サーバ40を経由する経路である。取得経路r1は、第一制御部42による音声制御情報の取得経路と実質的に同一である。つまり、第二通信部51は、第一通信部41が音声制御情報を取得するための取得経路と同じ取得経路で音声入力端末の識別情報を取得する。
また、第二通信部51は、取得経路r2を通じて音声入力端末の識別情報を取得してもよい。取得経路r2は、宅外の広域通信ネットワークよりも狭い宅内のローカル通信ネットワークを用いた経路であり、音声認識サーバ22及び機器制御サーバ40を経由しない経路である。取得経路r2は、第一制御部42による音声制御情報の取得経路と異なる。つまり、第二通信部51は、第一通信部41が音声制御情報を取得するための取得経路と異なる取得経路で音声入力端末の識別情報を取得してもよい。
第二制御部52は、出力部54と、機器制御部55とを備える。第二制御部52は、例えば、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。
出力部54は、第二通信部51によって取得された識別情報に基づいて、制御対象機器50を制御するための制御情報を出力する。出力部54は、例えば、第一通信部41によって取得された音声制御情報(より具体的には、第二通信部51によって受信される個別コマンド)および第二通信部51によって取得された音声入力端末の識別情報に基づいて、制御対象機器50を制御するための制御情報を出力する。
機器制御部55は、出力部54によって出力される制御情報に基づいて、制御対象機器50の動作を行う。例えば、制御対象機器50が空調機器である場合、機器制御部55は、出力部54によって出力される制御情報に基づいて空調動作を行う。
第二記憶部53は、第二制御部52によって実行されるプログラムなどが記憶される記憶装置である。また、第二記憶部53には、特定の音声入力端末の識別情報が登録されている。第二記憶部53には、例えば、音声入力端末21の識別情報、及び、音声入力端末80の識別情報などもあらかじめ記憶される。第二記憶部53は、具体的には、半導体メモリなどによって実現される。
[制御システムの動作例1]
次に、制御システム30の動作例1について説明する。図2は、制御システム30の動作例1のフローチャートである。
まず、第一通信部41は、音声制御システム20と通信を行うことにより第一制御を指示する音声制御情報を取得する(S11)。また、第二通信部51は、音声入力端末の識別情報を音声制御システム20から取得する(S12)。なお、「音声制御システム20から取得する」とは、例えば、少なくとも音声制御システム20に含まれる少なくとも1つの装置を経由して取得することを意味する。
次に、出力部54は、ステップS12において取得された識別情報が第二記憶部53に登録された識別情報と一致するか否かを判定する(S13)。つまり、出力部54は、ステップS12において取得された識別情報が所定の要件を満たすか否かを判定する。
出力部54は、識別情報が第二記憶部53に登録された識別情報と一致すると判定した場合には(S13でYes)、制御対象機器50に対して第一制御を行うための制御情報を出力する(S14)。例えば、制御対象機器50が空調機器であり、第一制御が空調機器をオンする制御であれば、出力部54は、制御対象機器50(つまり、空調機器)をオンするための制御情報を出力する。
一方、出力部54は、識別情報が第二記憶部53に登録された識別情報と一致しないと判定した場合には(S13でNo)、制御対象機器50に対して第一制御を行うための制御情報を出力しない。つまり、出力部54は、第一制御を指示する音声制御情報にしたがわず、当該音声制御情報を無視する。
このような動作例1によれば、識別情報が登録された音声入力端末を通じた音声の入力のみが有効となり、識別情報が登録されていない音声入力端末を通じた音声の入力は無効となるため、セキュリティ性が向上される。
[制御システムの動作例2]
次に、制御システム30の動作例2について説明する。図3は、制御システム30の動作例2のフローチャートである。
動作例2では、第二通信部51は、音声入力端末に関連する関連情報として音声入力端末の位置を示す位置情報を取得する。音声入力端末がスマートフォンなどの携帯端末である場合には、位置情報は、音声入力端末が備えるGPSモジュール等の位置検出素子から得られる。音声入力端末が据え置き型の端末である場合には、例えば、設置時に設置位置を示す位置情報が音声入力端末内の記憶部に登録される。
また、第二記憶部53には、ステップS23における判定に用いられる対象エリア情報が登録される。対象エリア情報は、対象エリアの位置範囲を示す情報であり、動作例2では宅内の位置範囲を示す。つまり、対象エリア情報は、位置情報が示す位置が宅内に属するか否かを判定するための情報である。なお、対象エリアは宅内に限定されず、どのように定められてもよい。
動作例1と同様に、第一通信部41は、第一制御を指示する音声制御情報を取得する(S21)。第二通信部51は、音声入力端末の位置情報を音声制御システム20から取得する(S22)。位置情報は、例えば、音声入力端末から出力され、音声認識サーバ22を経由して取得される。
次に、出力部54は、第二記憶部53に記憶された対象エリア情報を参照することにより、ステップS22において取得された位置情報が示す位置が宅内に属するか否かを判定する(S23)。つまり、出力部54は、音声制御情報の元となる音声が入力された音声入力端末が宅内に存在するか否かを判定する。このように、出力部54は、ステップS22において取得された位置情報が所定の要件を満たすか否かを判定する。
出力部54は、位置情報が示す位置が宅内に属すると判定した場合、つまり、音声制御情報の元となる音声が入力された音声入力端末が宅内にあると推定される場合には(S23でYes)、制御対象機器50の機器制御部55に対して第一制御を行うための制御情報を出力する(S24)。例えば、制御対象機器50が空調機器であり、第一制御が空調機器を25℃で冷房動作させる制御である場合、出力部54は、制御対象機器50(つまり、空調機器)を25℃で冷房動作させるための制御情報を出力する。
一方、出力部54は、位置情報が示す位置が宅内に属さないと判定した場合、つまり、音声制御情報の元となる音声が入力された音声入力端末が宅外にあると推定される場合には(S23でNo)、制御対象機器50に対して第二制御を行うための制御情報を出力する(S25)。第二制御は、ステップS21において取得された音声制御情報によって指示される第一制御とは異なる制御である。つまり、出力部54は、ステップS21において取得された音声制御情報が宅内に存在する人の音声に基づくものではないと推定される場合に、音声制御情報にしたがわず、制御内容を改変する。
例えば、制御対象機器50が空調機器であり、第一制御が空調機器を25℃で冷房動作させる制御である場合、第二制御は、空調機器を28℃で冷房動作させる制御である。つまり、出力部54は、音声制御情報の元となる音声を発したユーザが宅内にいないと推定されることから過度な冷房を避ける(消費電力を下げる)ように制御内容を改変する。言い換えれば、出力部54は、音声制御情報によって指示される制御内容を適応的に変更する。
このような動作例2によれば、音声制御情報の元となる音声を発したユーザが宅内にいないと推定される場合に、制御対象機器50が不適切な動作を行うことが抑制される。つまり、シーンに応じた制御対象機器50の制御が実現される。
[制御システムの動作例3]
次に、制御システム30の動作例3について説明する。図4は、制御システム30の動作例3のフローチャートである。
動作例3では、第二通信部51は、音声入力端末に関連する関連情報として音声入力端末21が取得した音声の発話者を示す発話者情報を取得する。発話者情報は、例えば、音声認識サーバ22が、音声入力端末21から出力される音声信号に対して当該音声信号の特徴量を利用した話者認識処理を行うことにより生成される。
また、第二記憶部53には、複数のユーザ(発話者情報)と、制御に用いられる設定値(例えば、空調機器の温度の設定値)とが対応付けられた設定情報が記憶されている。
第一通信部41は、第一制御を指示する音声制御情報を取得する(S31)。第二通信部51は、発話者情報を音声制御システム20(より具体的には、音声認識サーバ22)から取得する(S32)。
次に、出力部54は、第二記憶部53に記憶された設定情報を参照することにより、ステップS32において取得された発話者情報に対応づけられた設定値を特定する(S33)。出力部54は、制御対象機器50の機器制御部55に対してステップS33で特定された設定値が反映された第一制御を行うための制御情報を出力する(S34)。
例えば、制御対象機器50が空調機器であり、第一制御が空調機器を冷房動作させる制御であり、設定情報において、複数のユーザの発話者情報が当該ユーザの好みの温度の設定値に対応付けられていれば、制御対象機器50は、発話者の好みの温度の設定値で冷房動作する。
このような動作例3によれば、発話者に応じた設定で制御対象機器50を動作させることができ、制御システム30の利便性が向上される。
[変形例1]
動作例1〜3は適宜組み合わされてよい。例えば、動作例1において、識別情報、位置情報、及び、発話者情報の全てが所定の要件を満たすときにのみ第一制御が行われてもよい。より具体的には、識別情報が宅内に設置された音声入力端末21のものであり、位置情報が示す位置が宅内に属し、発話者情報が示す発話者が特定のユーザAである場合にのみ第一制御が行われてもよい。この場合、識別情報が音声入力端末80のものであり、位置情報が示す位置が宅外に属し、発話者情報が示す発話者がユーザBである場合には第一制御は行われない。また、識別情報が音声入力端末21のものであり、位置情報が示す位置が宅内に属し、発話者情報が示す発話者がユーザBである場合も第一制御は行われない。
また、動作例1において、識別情報、位置情報、及び、発話者情報の少なくとも1つが所定の要件を満たすときに第一制御が行われてもよい。
[変形例2]
なお、第一通信部41は、音声入力端末21によって取得された音声の方向に関する情報を取得してもよい。出力部54は、音声の方向に関する情報および関連情報に基づいて制御情報を出力してもよい。
この場合、音声の方向は、音声入力端末21が備えるセンサによって検知され、音声入力端末21が音声の入力に関する情報を生成する。音声入力端末21は、取得された音声の音声信号に加えて取得された音声の方向に関する情報を音声認識サーバ22に送信する。
音声の方向に関する情報は、第一通信部41によって取得される。例えば、上記動作例1で音声の方向に関する情報が用いられる場合、音声の方向に関する情報が示す方向が所定の方向であることが、第一制御が行われる要件として追加される。つまり、識別情報などの関連情報が所定の要件を満たし、かつ、音声の方向に関する情報が示す方向が所定の方向である場合に第一制御が行われる。
また、第一通信部41は、音声入力端末21によって取得された音声の強度(具体的には、音圧)に関する情報を取得してもよい。出力部54は、音声の強度に関する情報および関連情報に基づいて制御情報を出力してもよい。
この場合、音声の強度は、音声入力端末21が備えるセンサによって検知され、音声入力端末21が音声の入力に関する情報を生成する。音声入力端末21は、取得された音声の音声信号に加えて取得された音声の強度に関する情報を音声認識サーバ22に送信する。
音声の強度に関する情報は、第一通信部41によって取得される。例えば、上記動作例1で音声の強度に関する情報が用いられる場合、音声の強度に関する情報が示す強度が所定の強度以上であることが、第一制御が行われる要件として追加される。つまり、識別情報などの関連情報が所定の要件を満たし、かつ、音声の強度に関する情報が示す強度が所定の強度以上である場合に第一制御が行われる。
(実施の形態2)
[構成]
次に、実施の形態2に係る音声認識システムの構成について説明する。図5は、実施の形態2に係る音声認識システムの機能構成を示すブロック図である。なお、以下の実施の形態2では、実施の形態1との相違点を中心に説明が行われ、既出事項の説明については省略または簡略化される。実施の形態3以降についても同様である。
図5に示されるように、実施の形態2に係る音声認識システム10aが備える制御システム30aは、機器制御サーバ40aと、制御対象機器50aとを備える。
実施の形態2では、機器制御サーバ40aにおいて関連情報を用いた情報処理が行われる。機器制御サーバ40aは、第一通信部41aと、第一制御部42aと、第一記憶部43とを備える。
第一通信部41aは、音声制御システム20と通信を行う。第一通信部41aは、第一取得部の一例である。第一通信部41aは、具体的には、音声制御システム20と通信を行うことにより、音声制御情報を取得する。また、第一通信部41aは、第二取得部の一例であり、音声入力端末に関連する関連情報を音声制御システム20から取得する。第一通信部41aは、例えば、通信回路によって実現される。
第一制御部42aは、出力部44aを備える。第一制御部42aは、例えば、マイクロコンピュータまたはプロセッサによって実現される。出力部44aは、第一通信部41aによって取得された制御コマンドを、宅内の制御対象機器50aを制御するための個別コマンドに変換する。
また、出力部44aは、第一通信部41aによって取得された関連情報に基づいて、制御対象機器50aを制御するための制御情報を出力する。出力部44aは、具体的には、図2〜図4で説明されたような情報処理を行う。ここでの制御情報は、上記個別コマンドである。なお、実施の形態2では、第一記憶部43には、関連情報を用いた情報処理に用いられる各種情報(例えば、識別情報、対象エリア情報、及び、設定情報等)が記憶される。
出力部44aから制御情報が出力される場合、制御情報は、第一通信部41aによって制御対象機器50aに送信される、制御対象機器50aの第二通信部51によって制御情報が受信されると、第二制御部52aが備える機器制御部55は、受信された制御情報に基づいて、制御対象機器50aの動作を行う。
以上説明したように、音声認識システム10aでは、制御対象機器50aではなく、機器制御サーバ40aにおいて関連情報を用いた情報処理が行われる。つまり、機器制御サーバ40a側の仕様変更により、音声が入力されたシチュエーションに応じた適応的な制御が実現される。言い換えれば、音声が入力されたシチュエーションに応じた適応的な制御が制御対象機器50aの仕様の変更規模を抑制しつつ実現される。
(実施の形態3)
[構成]
次に、実施の形態3に係る音声認識システムの構成について説明する。図6は、実施の形態3に係る音声認識システムの機能構成を示すブロック図である。なお、図6では、機器制御サーバ40及び制御対象機器50aの機能構成は簡略化されている。
図6に示されるように、実施の形態3に係る音声認識システム10bが備える制御システム30bは、機器制御サーバ40と、制御装置90と、制御対象機器50aとを備える。実施の形態3では、制御装置90において関連情報を用いた情報処理が行われる。
制御装置90は、宅内の機器を制御する装置である。制御装置90は、例えば、HEMS(Home Energy Management System)コントローラ(言い換えれば、ホームゲートウェイ)である。制御装置90は、第三通信部91と、第三制御部92と、第三記憶部93とを備える。
第三通信部91は、機器制御サーバ40の第一通信部41によって送信される個別コマンドを、ルータ70を介して受信する。また、第三通信部91は、第二取得部の一例であり、音声入力端末21に関連する関連情報を音声制御システム20から取得する。第三通信部91は、例えば、通信回路によって実現される。
第三制御部92は、出力部94を備える。第三制御部92は、例えば、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。
出力部94は、第一通信部41によって取得された音声制御情報(より具体的には、第三通信部91によって受信される個別コマンド)および第三通信部91によって取得された関連情報に基づいて、制御対象機器50aを制御するための制御情報を出力する。
第三記憶部93は、第三制御部92によって実行されるプログラムなどが記憶される記憶装置である。第三記憶部93には、関連情報を用いた情報処理に用いられる各種情報(具体的には、識別情報、対象エリア情報、及び、設定情報等)も記憶される。第三記憶部93は、具体的には、半導体メモリなどによって実現される。
出力部94から制御情報が出力される場合、制御情報は、第三通信部91によって宅内のローカル通信ネットワークを通じて制御対象機器50aに送信される。制御対象機器50aの第二通信部51(図6では図示省略)によって制御情報が受信されると、機器制御部55は、受信された制御情報に基づいて、制御対象機器50aの動作を行う。
以上説明したように、音声認識システム10bでは、機器制御サーバ40及び制御対象機器50aではなく、制御装置90において関連情報を用いた情報処理が行われる。つまり、制御装置90の導入により、音声が入力されたシチュエーションに応じた適応的な制御が実現される。言い換えれば、音声が入力されたシチュエーションに応じた適応的な制御が機器制御サーバ40及び制御対象機器50aの仕様の変更規模を抑制しつつ実現される。
(効果等)
以上説明したように、制御システム30は、音声入力端末21によって取得された音声に基づいて機器を制御するための音声制御情報を出力する音声制御システム20から音声制御情報を取得する第一通信部41と、音声制御システム20から音声入力端末21に関連する関連情報を取得する第二通信部51とを備える。制御システム30は、制御情報取得システムの一例であり、音声入力端末21は、音声取得部の一例である。第一通信部41は、第一取得部の一例であり、第二通信部51は、第二取得部の一例である。
このような制御システム30は、関連情報を用いた情報処理を行うことにより、音声入力端末21に音声が入力されたシチュエーションに応じて適応的に機器を制御することができる。
また、例えば、第二通信部51は、第一通信部41が音声制御情報を取得するための取得経路と同じ取得経路で関連情報を取得する。
このような制御システム30は、第一通信部41が音声制御情報を取得するための取得経路と同じ取得経路で容易に取得することができる。
また、例えば、第二通信部51は、第一通信部41が音声制御情報を取得するための取得経路と異なる取得経路で関連情報を取得する。
このような制御システム30は、第一通信部41が音声制御情報を取得するための取得経路がハッキングされているような場合に、当該取得経路と異なる通信経路を通じて信頼性の高い関連情報を取得することができる。
また、例えば、第二通信部51は、人がいると推定される空間に設置された音声入力端末21に関連する関連情報を取得する。
このような制御システム30は、据え置き型のスマートスピーカ等の音声入力端末21の関連情報を取得することができる。
また、例えば、制御システム30は、さらに、取得された音声制御情報および取得された関連情報に基づいて、制御対象機器50を制御するための制御情報を出力する出力部54を備える。
このような制御システム30は、関連情報に基づいて、音声が入力されたシチュエーションに応じて適応的に制御対象機器50を制御することができる。
また、例えば、出力部54は、第一通信部41によって音声制御情報が取得された場合に、関連情報に基づいて、制御対象機器50に対して音声制御情報によって指示される第一制御とは異なる第二制御を行うための制御情報を出力する。
このような制御システム30は、関連情報に基づいて、適応的に制御対象機器50の制御内容を改変することができる。
また、例えば、出力部54は、第一通信部41によって音声制御情報が取得された場合、関連情報が所定の要件を満たすときには、制御対象機器50に対して第一制御を行うための制御情報を出力し、関連情報が所定の要件を満たさないときには、制御対象機器50に対して第二制御を行うための制御情報を出力する。
このような制御システム30は、関連情報が所定の要件を満たすか否かに基づいて、適応的に制御対象機器50の制御内容を改変することができる。
また、例えば、関連情報は、音声入力端末21の識別情報である。
このような制御システム30は、音声が入力された音声入力端末21の識別情報に応じて適応的に機器を制御することができる。
また、例えば、関連情報は、音声入力端末21の位置を示す情報である。
このような制御システム30は、音声が入力された音声入力端末21の位置に応じて適応的に機器を制御することができる。
また、例えば、関連情報は、音声入力端末21が取得した音声の発話者を示す情報である。
このような制御システム30は、音声入力端末21が取得した音声の発話者に応じて適応的に機器を制御することができる。
(その他の実施の形態)
以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。
例えば、上記実施の形態における装置間の通信方法については特に限定されるものではない。装置間では、例えば、特定小電力無線、ZigBee(登録商標)、Bluetooth(登録商標)、または、Wi−Fi(登録商標)などの通信規格を用いた無線通信が行われる。なお、無線通信は、具体的には、電波通信、または、赤外線通信などである。
また、装置間においては、無線通信に代えて、電力線搬送通信(PLC:Power Line Communication)または有線LANを用いた通信など、有線通信が行われてもよい。また、装置間では、無線通信及び有線通信が組み合わされてもよい。
また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
また、上記実施の形態において、制御部などの構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、制御部などの構成要素は、ハードウェアによって実現されてもよい。例えば、制御部などの構成要素は、回路(または集積回路)でもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
例えば、本発明は、制御対象機器、機器制御サーバ、または、7制御装置として実現されてもよい。また、本発明は、制御情報取得方法として実現されてもよいし、制御情報取得方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録された非一時的な記録媒体として実現されてもよい。
また、上記実施の形態で説明された各システムは、単一の装置として実現されてもよいし、複数の装置によって実現されてもよい。システムが複数の装置によって実現される場合、上記実施の形態で説明されたシステムが備える構成要素は、複数の装置にどのように振り分けられてもよい。
その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
20 音声制御システム
21 音声入力端末(音声取得部)
22 音声認識サーバ
30、30a、30b、30c 制御システム(制御情報取得システム)
41 第一通信部(第一取得部)
41a 第一通信部(第一取得部、第二取得部)
44a、54、94 出力部
50、50a 制御対象機器
51 第二通信部(第二取得部)
91 第三通信部(第二取得部)

Claims (11)

  1. 音声取得部によって取得された音声に基づいて機器を制御するための音声制御情報を出力する音声制御システムから前記音声制御情報を取得する第一取得部と、
    前記音声制御システムから前記音声取得部に関連する関連情報を取得する第二取得部とを備え
    前記第二取得部は、前記第一取得部が前記音声制御情報を取得するための第一取得経路よりも狭いネットワークを経由する第二取得経路で前記関連情報を取得し、
    前記第一取得経路は、宅外の広域通信ネットワークを用いた経路であり、
    前記第二取得経路は、宅内の通信ネットワークを用いた経路である
    制御情報取得システム。
  2. 前記第二取得部は、人がいると推定される空間に設置された前記音声取得部に関連する前記関連情報を取得する
    請求項に記載の制御情報取得システム。
  3. さらに、取得された前記音声制御情報および取得された前記関連情報に基づいて、制御対象機器を制御するための制御情報を出力する出力部を備える
    請求項1に記載の制御情報取得システム。
  4. 前記出力部は、前記第一取得部によって前記音声制御情報が取得された場合に、前記関連情報に基づいて、前記制御対象機器に対して前記音声制御情報によって指示される第一制御と前記制御対象機器の稼働設定が異なる第二制御を行うための前記制御情報を出力する
    請求項に記載の制御情報取得システム。
  5. 前記出力部は、前記第一取得部によって前記音声制御情報が取得された場合、
    前記関連情報が所定の要件を満たすときには、前記制御対象機器に対して前記第一制御を行うための前記制御情報を出力し、
    前記関連情報が前記所定の要件を満たさないときには、前記制御対象機器に対して前記第二制御を行うための前記制御情報を出力する
    請求項に記載の制御情報取得システム。
  6. 前記関連情報は、前記音声取得部の識別情報である
    請求項1〜のいずれか1項に記載の制御情報取得システム。
  7. 前記関連情報は、前記音声取得部の位置を示す情報である
    請求項1〜のいずれか1項に記載の制御情報取得システム。
  8. 前記関連情報は、前記音声取得部が取得した音声の発話者を示す情報である
    請求項1〜のいずれか1項に記載の制御情報取得システム。
  9. 音声取得部によって取得された音声に基づいて機器を制御するための音声制御情報を出力する音声制御システムから前記音声制御情報を取得し、
    前記音声制御システムから前記音声取得部に関連する関連情報を取得し、
    前記関連情報は、前記音声制御情報を取得するための第一取得経路よりも狭いネットワークを経由する第二取得経路で取得され、
    前記第一取得経路は、宅外の広域通信ネットワークを用いた経路であり、
    前記第二取得経路は、宅内の通信ネットワークを用いた経路である
    制御情報取得方法。
  10. 前記音声制御情報が取得された場合に、前記関連情報に基づいて、制御対象機器に対して前記音声制御情報によって指示される第一制御と前記制御対象機器の稼働設定が異なる第二制御を行うための制御情報を出力する
    請求項9に記載の制御情報取得方法。
  11. 請求項9または10に記載の制御情報取得方法をコンピュータに実行させるためのプログラム。
JP2018024283A 2018-02-14 2018-02-14 制御情報取得システム、及び、制御情報取得方法 Active JP6928842B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018024283A JP6928842B2 (ja) 2018-02-14 2018-02-14 制御情報取得システム、及び、制御情報取得方法
US16/968,234 US20210035578A1 (en) 2018-02-14 2019-01-24 Control information obtaining system and control information obtaining method
PCT/JP2019/002360 WO2019159646A1 (ja) 2018-02-14 2019-01-24 制御情報取得システム、及び、制御情報取得方法
CN201980013162.XA CN111712873A (zh) 2018-02-14 2019-01-24 控制信息获取系统和控制信息获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018024283A JP6928842B2 (ja) 2018-02-14 2018-02-14 制御情報取得システム、及び、制御情報取得方法

Publications (2)

Publication Number Publication Date
JP2019139645A JP2019139645A (ja) 2019-08-22
JP6928842B2 true JP6928842B2 (ja) 2021-09-01

Family

ID=67621014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018024283A Active JP6928842B2 (ja) 2018-02-14 2018-02-14 制御情報取得システム、及び、制御情報取得方法

Country Status (4)

Country Link
US (1) US20210035578A1 (ja)
JP (1) JP6928842B2 (ja)
CN (1) CN111712873A (ja)
WO (1) WO2019159646A1 (ja)

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7039590B2 (en) * 2001-03-30 2006-05-02 Sun Microsystems, Inc. General remote using spoken commands
US7099825B1 (en) * 2002-03-15 2006-08-29 Sprint Communications Company L.P. User mobility in a voice recognition environment
JP3715584B2 (ja) * 2002-03-28 2005-11-09 富士通株式会社 機器制御装置および機器制御方法
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US20070299670A1 (en) * 2006-06-27 2007-12-27 Sbc Knowledge Ventures, Lp Biometric and speech recognition system and method
JP5351855B2 (ja) * 2010-08-10 2013-11-27 ヤフー株式会社 情報家電システム、情報取得方法及びプログラム
JP5521908B2 (ja) * 2010-08-30 2014-06-18 ヤマハ株式会社 情報処理装置、音響処理装置、音響処理システムおよびプログラム
US20120059655A1 (en) * 2010-09-08 2012-03-08 Nuance Communications, Inc. Methods and apparatus for providing input to a speech-enabled application program
JP5821307B2 (ja) * 2011-06-13 2015-11-24 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US8825020B2 (en) * 2012-01-12 2014-09-02 Sensory, Incorporated Information access and device control using mobile phones and audio in the home environment
US9271111B2 (en) * 2012-12-14 2016-02-23 Amazon Technologies, Inc. Response endpoint selection
JP2014138324A (ja) * 2013-01-17 2014-07-28 Casio Comput Co Ltd 情報提供システム、サーバシステム、端末装置、情報提供方法及びプログラム
MY175230A (en) * 2013-08-29 2020-06-16 Panasonic Ip Corp America Device control method, display control method, and purchase payment method
JP6282516B2 (ja) * 2014-04-08 2018-02-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 複数機器の音声操作システム、音声操作方法及び、プログラム
US10170123B2 (en) * 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
JP6482911B2 (ja) * 2014-07-01 2019-03-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 機器制御方法および電気機器
US10783888B2 (en) * 2015-09-10 2020-09-22 Crestron Electronics Inc. System and method for determining recipient of spoken command in a control system
CN106814639A (zh) * 2015-11-27 2017-06-09 富泰华工业(深圳)有限公司 语音控制系统及方法
JP6657025B2 (ja) * 2016-06-17 2020-03-04 シャープ株式会社 操作者推定システム
CN107765838A (zh) * 2016-08-18 2018-03-06 北京北信源软件股份有限公司 人机交互辅助方法及装置
CN106506442B (zh) * 2016-09-14 2018-03-30 上海百芝龙网络科技有限公司 一种智能家居多用户身份识别及其权限管理系统
WO2018123067A1 (ja) * 2016-12-29 2018-07-05 ヤマハ株式会社 コマンドデータ送信装置、ローカルエリア装置、機器制御システム、コマンドデータ送信装置の制御方法、ローカルエリア装置の制御方法、機器制御方法、及びプログラム
CN110506452B (zh) * 2017-02-07 2021-12-03 路创技术有限责任公司 基于音频的负载控制系统
TW201834437A (zh) * 2017-03-08 2018-09-16 捷音特科技股份有限公司 聲控無線系統及其穿戴式語音收發裝置
CN107015781B (zh) * 2017-03-28 2021-02-19 联想(北京)有限公司 语音识别方法和系统
US10038938B1 (en) * 2017-06-02 2018-07-31 Rovi Guides, Inc. Systems and methods for controlling permissions to change parental control settings based on vocal characteristics of a user
US11489691B2 (en) * 2017-07-12 2022-11-01 Universal Electronics Inc. Apparatus, system and method for directing voice input in a controlling device
KR102419374B1 (ko) * 2017-07-21 2022-07-11 삼성전자주식회사 사용자 발화를 처리하는 전자 장치 및 그 전자 장치의 제어 방법
US11290518B2 (en) * 2017-09-27 2022-03-29 Qualcomm Incorporated Wireless control of remote devices through intention codes over a wireless connection
EP3493200B1 (en) * 2017-11-30 2023-07-26 Vestel Elektronik Sanayi ve Ticaret A.S. Voice-controllable device and method of voice control
US10971173B2 (en) * 2017-12-08 2021-04-06 Google Llc Signal processing coordination among digital voice assistant computing devices
US10713007B2 (en) * 2017-12-12 2020-07-14 Amazon Technologies, Inc. Architecture for a hub configured to control a second device while a connection to a remote system is unavailable
WO2019128541A1 (en) * 2017-12-31 2019-07-04 Midea Group Co., Ltd. Method and system for controlling multiple home devices
US10795332B2 (en) * 2018-01-16 2020-10-06 Resilience Magnum IP, LLC Facilitating automating home control

Also Published As

Publication number Publication date
JP2019139645A (ja) 2019-08-22
WO2019159646A1 (ja) 2019-08-22
US20210035578A1 (en) 2021-02-04
CN111712873A (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
EP3252998B1 (en) Method and apparatus for controlling smart home device to upload data, method and apparatus for acquiring data uploaded by smart home device
US10621442B2 (en) Method and system for detecting an audio event for smart home devices
EP3016082B1 (en) Smart device control method and apparatus based on predefined scenario mode
CN107632526B (zh) 一种控制装置、方法、存储介质及设备
JP2018527794A (ja) 不正アクセスポイントのプロファイリング
KR102250421B1 (ko) Ai 음성인식 스피커 및 세대 내 설치된 네트워크 장치를 이용한 홈 네트워킹 방법, 이를 운용하기 위한 장치 및 시스템
CN110546627A (zh) 与家庭助理的视频整合
JP2018508096A (ja) デバイス制御のための近接検出のための方法及び装置
Raj Implementation of pervasive computing based high-secure smart home system
US20200082708A1 (en) Remote control device and remote control system
JP6928842B2 (ja) 制御情報取得システム、及び、制御情報取得方法
CN110803591B (zh) 电梯楼层控制方法、系统以及相关设备
US20220122600A1 (en) Information processing device and information processing method
WO2017093559A1 (en) Intelligent lighting and sensing system and method thereof
JP6657025B2 (ja) 操作者推定システム
CN106210002B (zh) 控制方法、装置及电子设备
JP7245999B2 (ja) 制御情報取得システム、及び、制御情報取得方法
CN112213964B (zh) 一种基于智能音箱的控制系统及方法
JP7065314B2 (ja) 制御システム、及び、制御方法
CN106878049B (zh) 一种配置方法及装置
US20170094035A1 (en) Management method and management device
KR101188043B1 (ko) 홈 네트워크 제어 방법, 장치 및 기록매체
JP6301766B2 (ja) 通信制御装置および通信制御システム
JP2017022556A (ja) 通信装置および通信方法
US20220036876A1 (en) Speech apparatus, server, and control system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210720

R151 Written notification of patent or utility model registration

Ref document number: 6928842

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151