JP6416752B2 - 家電機器の制御方法、家電機器制御システム、及びゲートウェイ - Google Patents

家電機器の制御方法、家電機器制御システム、及びゲートウェイ Download PDF

Info

Publication number
JP6416752B2
JP6416752B2 JP2015512317A JP2015512317A JP6416752B2 JP 6416752 B2 JP6416752 B2 JP 6416752B2 JP 2015512317 A JP2015512317 A JP 2015512317A JP 2015512317 A JP2015512317 A JP 2015512317A JP 6416752 B2 JP6416752 B2 JP 6416752B2
Authority
JP
Japan
Prior art keywords
gateway
home appliance
voice information
control instruction
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015512317A
Other languages
English (en)
Other versions
JPWO2014171144A1 (ja
Inventor
中野　稔久
稔久 中野
大森　基司
基司 大森
宜子 広瀬
宜子 広瀬
小塚　雅之
雅之 小塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JPWO2014171144A1 publication Critical patent/JPWO2014171144A1/ja
Application granted granted Critical
Publication of JP6416752B2 publication Critical patent/JP6416752B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)
  • Remote Monitoring And Control Of Power-Distribution Networks (AREA)
  • Computer And Data Communications (AREA)

Description

本発明は、ネットワークに接続可能な集音機器が音声情報を収集し、収集した音声情報に基づいて、ネットワークを介して家電機器を制御する、家電機器制御システムに関するものである。
近年、ネットワーク接続機能を有した家電機器の普及に伴い、ネットワークを介して家電機器を制御するシステムが提案されている。また、音声認識技術における認識率の向上に伴い、家電機器に対する操作命令を音声入力し、家電機器を制御することが可能となってきた。
従来の音声認識システムとしては、クライアントで入力した音声情報をサーバに送信し、音声認識をサーバで行うことで、処理能力が低いクライアントの負荷を低減する技術が提案されている（例えば、特許文献１参照）。
前記特許文献１では、クライアントが、音声情報の特徴パラメータを圧縮符号化し、圧縮符号化した特徴パラメータを送信することで、クライアントとサーバとの間のデータ送信量が抑えられている。
しかしながら、前記特許文献１では、サーバが全ての音声認識を行っているため、音声認識対象の音声情報が全て、クライアントからサーバに送信されている。つまり、クライアントが入力した音声情報が全てサーバに転送される。その結果、サーバへのデータ集中を回避するために、クライアントとサーバとの間のデータ送信量を更に削減する必要があった。
特開２００１−３３７６９５号公報
上記課題を解決するための本発明の一態様による制御方法は、サーバ装置と、家電機器と、ゲートウェイと、集音機器とを備える家電機器制御システムにおける家電機器の制御方法であって、
前記ゲートウェイは、利用者の音声情報を前記集音機器から受信し、前記受信した音声情報を解析し、前記解析した音声情報が前記家電機器の制御に関連する音声情報であると判定した場合、前記音声情報を前記サーバ装置へ送信し、
前記サーバ装置は、前記ゲートウェイから受信した音声情報を認識し、前記認識した音声情報が前記家電機器の制御に関連する音声情報であると判定した場合、前記ゲートウェイへ前記音声情報に対応する制御指示を送信し、
前記家電機器は、前記ゲートウェイを介して前記サーバ装置から制御指示を受信し、前記制御指示を実行する。
本発明の実施の形態による家電機器制御システムの全体構成の一例を示す図である。 本発明の実施の形態によるサーバ装置の構成の一例を示すブロック図である。 本発明の実施の形態による集音機器の構成の一例を示すブロック図である。 本発明の実施の形態によるゲートウェイの構成の一例を示すブロック図である。 本発明の実施の形態による家電機器の構成の一例を示すブロック図である。 本発明の実施の形態による制御情報テーブルのデータ構成の一例を示す図である。 本発明の実施の形態による機器管理情報テーブルのデータ構成の一例を示す図である。 本発明の実施の形態による制御情報保持部が保持する制御情報テーブルのデータ構成の一例を示す図である。 本発明の実施の形態による機器管理情報テーブルのデータ構成の一例を示す図である。 本発明の実施の形態において、集音機器が音声情報を収集し、ゲートウェイ又はサーバ装置が制御指示を家電機器へ送信する場合の家電機器制御システムの動作の一例を示すフローチャートである。 本発明の実施の形態において、集音機器が音声情報を収集し、ゲートウェイ又はサーバ装置が制御指示を家電機器へ送信する場合の家電機器制御システムの動作の一例を示すフローチャートである。 本発明の実施の形態において、集音機器が音声情報を収集し、ゲートウェイ又はサーバ装置が制御指示を家電機器へ送信する場合の家電機器制御システムの動作の一例を示すフローチャートである。 本発明の実施の形態において、集音機器が音声情報を収集し、ゲートウェイ又はサーバ装置が制御指示を家電機器へ送信する場合の家電機器制御システムの動作の一例を示すフローチャートである。 本発明の実施の形態において、ゲートウェイにおける音声情報の解析処理を説明するための模式図である。 本発明の実施の形態において、サーバ装置における音声情報の認識処理を説明するための模式図である。 本発明の実施の形態の変形例のフローチャートである。 本発明の実施の形態において、制御指示の内容を利用者に問い合わせる画面の一例を示す図である。 本発明の実施の形態による確認結果データベースのデータ構成の一例を示す図である。 本発明の実施の形態の別の変形例のフローチャートである。 本発明の実施の形態の更に別の変形例のフローチャートである。 本発明の実施の形態において、制御指示の内容を利用者に問い合わせる画面の一例を示す図である。 本発明の実施の形態の別の変形例のフローチャートである。 本発明の実施の形態において、サーバ装置に音声情報を送信してもよいか否かを利用者に問い合わせる画面の一例を示す図である。
（本発明の一態様に至る経緯）
近年、部屋に設置された集音機器が利用者の発する会話や利用者の行為によって発生する音を収集してクラウドサーバに送信し、クラウドサーバがその音を分析して、利用者の指示、意図、及び状況等を理解して、その理解に基づいて部屋に設置された家電機器を制御する技術に関する研究が進められている。
利用者の指示、意図、及び状況等をグラウドサーバに理解させるには、集音機器が集音した音声を全てクラウドサーバに送信することが好ましい。その際、問題となるのが利用者のプライバシーである。つまり、全ての音声がクラウドサーバに送信されることに対して、プライバシーの観点から懸念を持つ利用者も存在する。
前記特許文献１では、認識対象の音声情報が全てクラウドサーバに送信されており、利用者のプライバシーを保護するという課題が全く考慮されていない。よって、上述の懸念を持つ利用者の要望に全く応えることはできない。
更に、特許文献１では、背景技術でも述べたように、認識対象となる音声情報が全てサーバに送信されているため、サーバへのデータ集中を回避するためには更なる改善の余地がある。
本発明の一態様の目的は、利用者のプライバシーを保護すると同時に、サーバへのデータ集中を回避し、利用者の音声情報を認識して利用者が所有する家電機器を適切に制御し得る技術を提供することである。
本発明の一態様による制御方法は、サーバ装置と、家電機器と、ゲートウェイと、集音機器とを備える家電機器制御システムにおける家電機器の制御方法であって、
前記ゲートウェイは、利用者の音声情報を前記集音機器から受信し、前記受信した音声情報を解析し、前記解析した音声情報が前記家電機器の制御に関連する音声情報であると判定した場合、前記音声情報を前記サーバ装置へ送信し、
前記サーバ装置は、前記ゲートウェイから受信した音声情報を認識し、前記認識した音声情報が前記家電機器の制御に関連する音声情報であると判定した場合、前記ゲートウェイへ前記音声情報に対応する制御指示を送信し、
前記家電機器は、前記ゲートウェイを介して前記サーバ装置から制御指示を受信し、前記制御指示を実行する。
この場合、ゲートウェイは、集音機器が集音した音声情報に、例えば所定のキーワードが含まれており、その音声情報が家電機器の制御に関する音声情報であれば、その音声情報をサーバ装置へ送信する。つまり、ゲートウェイは、音声情報が家電機器の制御に関する音声情報でなければ、その音声情報をサーバ装置に送信しない。そのため、音声認識のためにサーバ装置へ送信する音声情報のデータ転送量を削減することが可能となる。
また、集音機器が集音した音声情報のうちサーバ装置への送信が必要とゲートウェイが、判断した音声情報のみがサーバ装置に送信される。そのため、家庭内の会話等プライベートな情報がサーバ装置に送信されることを抑制できる。
上記態様において、前記ゲートウェイは、前記集音機器から受信した音声情報が、前記家電機器の制御に関連する定型文を示すと判定した場合、前記音声情報を前記サーバ装置へ送信する代わりに、前記定型文に対応する制御指示を前記家電機器へ送信してもよい。
この場合、ゲートウェイは、集音機器が集音した音声情報が定型文であれば、定型文に対応する制御指示を、家電機器に送信する。つまり、ゲートウェイは、自身で制御対象の家電機器に対する制御指示を決定できる場合、音声情報をサーバ装置へ送信しない。
そのため、音声認識のためにサーバ装置へ送信する音声情報のデータ転送量を更に削減すると同時に利用者のプライバシーを更に保護できる。
上記態様において、前記ゲートウェイは、前記受信した音声情報が前記定型文を示すと判定した場合、前記定型文に対応する制御指示の内容をネットワークを介して接続された入力装置に出力させ、前記内容が正しい旨の前記利用者の確認入力が前記入力装置により受け付けられた場合、前記定型文に対応する制御指示を前記家電機器へ送信してもよい。
この場合、サーバ装置が認識した制御指示が正しいか否かを利用者に問い合わせ、正しい旨の確認結果が入力された場合に、家電機器に制御指示が送信される。そのため、利用者の意図に反する動作を家電機器が行うことを防止できる。
上記態様において、前記ゲートウェイは、前記サーバ装置から受信した制御指示の内容をネットワークを介して接続された入力装置に出力させ、前記内容が正しい旨の前記利用者の確認入力が前記入力装置により受け付けられた場合、前記サーバ装置から受信した制御指示を前記家電機器へ送信してもよい。
この場合、ゲートウェイが認識した制御指示が正しいか否かを利用者に問い合わせ、正しい旨の確認結果が入力された場合に、家電機器に制御指示が送信される。そのため、利用者の意図に反する動作を家電機器が行うことを防止できる。
上記態様において、前記サーバ装置は、前記ゲートウェイから送信された音声情報の認識結果の正誤を利用者に問い合わせるための問い合わせ通知を前記ゲートウェイに送信し、
前記ゲートウェイは、前記問い合わせ通知が示す認識内容をネットワークを介して接続された入力装置に出力させ、前記認識内容に対する前記利用者の回答を示す音声情報であって前記入力装置で受け付けられた音声情報を前記入力装置から受信した場合、前記受け付けられた音声情報を解析せずに、前記サーバ装置に送信してもよい。
ゲートウェイが利用者からの全ての回答を示す音声情報を一律に解析する態様を採用すると、例えば、この音声情報に定型文が含まれていれば、ゲートウェイは、家電機器にこの定型文に対応する制御指示を送信してしまう。これでは、サーバ装置は、利用者による確認結果を取得できず、音声情報の認識結果が正しいか否かを判断できない。そこで、本態様では、ゲートウェイは、利用者からの回答を示す音声情報を入力装置から受信した場合、この音声情報を解析することなくサーバ装置へ送信している。これにより、サーバ装置が利用者による回答を取得できなくなる事態を回避できる。
上記態様において、前記ゲートウェイは、前記音声情報を前記サーバ装置に送信する場合、前記送信の可否を利用者に問い合わせるための問い合わせ通知をネットワークを介して接続された入力装置に出力し、前記利用者から前記送信を許可する確認入力が前記入力装置により受け付けられた場合、前記音声情報を前記サーバ装置に送信してもよい。
この場合、ゲートウェイが音声情報をサーバ装置に送信すると判断した場合であっても、利用者により音声情報をサーバ装置に送信してもよいとの承諾が得られた場合にのみ音声情報がサーバ装置に送信される。そのため、利用者のプライバシーを更に保護できると同時に、サーバ装置に送信されるデータ量を抑制できる。
上記態様において、前記ゲートウェイは、前記サーバ装置に前記音声情報を送信する場合、前記ゲートウェイの周辺の環境情報を取得して前記サーバ装置に送信し、
前記サーバ装置は、前記ゲートウェイから送信された前記音声情報及び前記環境情報を用いて前記制御指示を決定してもよい。
この場合、音声情報のみならず、ゲートウェイの周辺の環境情報、すなわち、利用者の宅内の環境情報もサーバ装置に送信されるため、サーバ装置は利用者が意図する制御指示をより正確に決定できる。
上記態様において、前記ゲートウェイは、前記定型文と前記定型文に対応する制御指示とが対応付けて保持された制御情報テーブルを用いて前記定型文に対応する制御指示を決定してもよい。
この場合、制御情報テーブルには定型文と定型文に対応する制御指示とが対応付けられているため、ゲートウェイは定型文に対応する制御指示を高速且つ正確に決定できる。
上記態様において、前記定型文は、制御対象となる家電機器と、前記家電機器に対する制御指示とを含む文であり、
前記家電機器の制御に関連する音声情報は、前記定型文には該当しないが、前記家電機器を制御する関連する単語を含む音声情報であってもよい。
以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態）
１．１ 家電機器制御システムの構成
図１は、実施の形態による家電機器制御システムの全体構成の一例を示す図である。図１に示すように、家電機器制御システムは、サーバ装置１０１、集音機器１０２、ゲートウェイ１０３、及び家電機器１０４を備える。
図１の例では、集音機器１０２とゲートウェイ１０３と家電機器１０４とは利用者の宅内に設置されている。ゲートウェイ１０３とサーバ装置１０１とは、外部ネットワークを介して相互に通信可能に接続されている。外部ネットワークとしては例えば、インターネットが採用される。したがって、ゲートウェイ１０３及びサーバ装置１０１はＴＣＰ／ＩＰ等のインターネットの通信プロトコルを用いて相互に通信を行う。集音機器１０２、ゲートウェイ１０３、及び家電機器１０４は、内部ネットワークを介して相互に通信可能に接続されている。内部ネットワークとしては、例えば、ＩＥＥＥ８０２．３シリーズの有線ＬＡＮ、ＩＥＥＥ８０２．１１シリーズの無線ＬＡＮ、或いは両者が混在するローカルエリアネットワークが採用される。
制御対象の家電機器１０４は、例えば、エアコン等の空調機器、テレビ等のＡＶ機器、洗濯機、照明機器、電子シャッター、或いはインターフォン等である。ゲートウェイ１０３は、自身と接続している家電機器１０４に対し、家電機器１０４を識別する機器ＩＤと機器種別とを対応付けて管理している。
宅内にある集音機器１０２は、利用者の会話を含む音声情報を収集し、宅内のゲートウェイ１０３へ送信する。音声情報を受信したゲートウェイ１０３は、音声モデルや辞書データ等を含むデータベースを用いて、受信した音声情報（入力音声）の簡易解析を行う。そして、ゲートウェイ１０３は、解析結果が、家電機器１０４の制御に関連する定型文である場合、家電機器１０４に対して定型文が示す制御指示を送信する。なお、この「定型文」は、ゲートウェイ１０３のデータベースが予め保持している解析キーワードであり、制御指示が予め対応付けられている。よって、ゲートウェイ１０３は、このデータベースを参照することで、解析の結果得られた「定型文」が示す制御指示を特定できる。ゲートウェイ１０３は、解析結果が、予め保持している定型文である場合、サーバ装置１０１へ音声情報を送信しない。
一方、解析結果が定型文ではないが、家電機器１０４の制御に関連する単語（例えば「電源」等）を含む場合、ゲートウェイ１０３は、集音機器１０２から受信した音声情報をサーバ装置１０１へ送信する。なお、この「単語」は、ゲートウェイ１０３のデータベースが予め保持している解析キーワードであり、制御指示が対応付けられていない。よって、ゲートウェイ１０３は、「単語」と家電機器１０４を制御するための制御指示とを対応付けることができない。ゲートウェイ１０３は、解析結果が、予め保持している定型文でなく単語を含む場合、サーバ装置１０１へ音声情報を送信する。
音声情報を受信したサーバ装置１０１は、音声モデルや辞書データ等を含むデータベースを用いて、受信した音声情報（入力音声）の認識処理を行う。サーバ装置１０１は、認識結果が、家電機器１０４の制御に関連する内容（例えば「テレビを見たい」等）を含む場合に、ゲートウェイ１０３を介して、家電機器１０４に対して制御指示を送信する。
１．２ サーバ装置１０１の構成
続いて、サーバ装置１０１の詳細な構成を説明する。図２は、サーバ装置１０１の構成の一例を示すブロック図である。
サーバ装置１０１は、図２に示すように、送受信部２０１、認識部２０２、データベース保持部２０３、制御情報保持部２０４、機器管理情報保持部２０５、判断部２０６、及び制御部２０７を備える。
サーバ装置１０１は、具体的には図示されていないマイクロプロセッサ、ＲＡＭ、ＲＯＭ、及びハードディスク等から構成される。前記ＲＡＭ、ＲＯＭ、及びハードディスクにはコンピュータプログラムが記憶されており、前記マイクロプロセッサが前記コンピュータプログラムに従って動作することにより、サーバ装置１０１はその機能を果たす。
なお、サーバ装置１０１の送受信部２０１、認識部２０２、データベース保持部２０３、制御情報保持部２０４、機器管理情報保持部２０５、判断部２０６、制御部２０７等の各機能ブロックは、集積回路であるＬＳＩとして実現されてもよい。これらは個別に１チップ化されてもよいし、１以上のブロック、又は各ブロックの一部を含むように１チップ化されてもよい。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、各機能ブロックは、ソフトウェアで実現されてもよいし、ＬＳＩとソフトウェアの組み合わせで実現されてもよい。また、ソフトウェアは耐タンパ化されていてもよい。
（１） 送受信部２０１
送受信部２０１は、例えば、サーバ装置１０１をインターネットに接続させるための通信装置を含む。そして、送受信部２０１は、ゲートウェイ１０３から、集音機器１０２が収集した音声情報とゲートウェイＩＤとを受信する。また、送受信部２０１は、ゲートウェイ１０３へ、家電機器１０４の機能をコントロールするための制御指示を送信する。家電機器１０４への制御指示とは、例えば、テレビについては、例えば、電源ＯＮ／ＯＦＦの指示、チャンネル切り替えの指示、及び音量調節の指示等が該当し、エアコンについては、例えば、電源ＯＮ／ＯＦＦの指示及び温度調節の指示等が該当し、電動シャッターについては、例えば、電動シャッターの開閉の指示等が該当する。
（２） 認識部２０２及びデータベース保持部２０３
認識部２０２は、データベース保持部２０３が保持する音声モデルや辞書データを用いて、送受信部２０１を介して受信した音声情報（入力音声）を分析する認識処理を実行し、認識結果を出力する。ここで、サーバ装置１０１は、一般に利用、又は公開されている任意の音声認識技術を用いて、音声情報を認識すればよい。以下、簡単に説明する。
図１５は、サーバ装置１０１における音声情報の認識処理を説明するための模式図である。音声モデル１５０１は、音声の波形の特徴がモデル化されたデータである。図１５の例では、音声モデル１５０１として、例えば、「ア（ａ）」、「イ（ｉ）」、「ウ（ｕ）」といった、日本語の音素の音声モデル１５０１が示されている。
辞書データ１５０２には、単語を保持する単語データベース１５０４だけでなく、１以上のパターンの単語の並び順を保持する並び順データベース１５０５も含まれる。
図１５の単語データベース１５０４の例では、日本語の「電源（ｄｅｎｇｅｎ）」、「ＯＮ」、「ＯＦＦ」、「点ける（ｔｓｕｋｅｒｕ）」、「消す（ｋｅｓｕ）」、「暑い（ａｔｓｕｉ）」、「寒い（ｓａｍｕｉ）」、「温度（ｏｎｄｏ）」、「気温（ｋｉｏｎ）」等が登録されている。
また、図１５の並び順データベース１５０５の例では、日本語の「電源（ｄｅｎｇｅｎ）」という単語の次にくる単語の候補として、日本語の助詞の「を（ｗｏ）」、「が（ｇａ）」、「の（ｎｏ）」等が挙げられ、この助詞の次にくる単語の候補として、日本語の「点ける（ｔｓｕｋｅｒｕ）」、「消す（ｋｅｓｕ）」等が挙げられている。
まず、認識部２０２は、入力された音声情報１５０３の音素の並びを音声モデル１５０１を用いて検出する。次に、認識部２０２は、検出した音素の並びに対して、単語データベース１５０４及び並び順データベース１５０５を参照して、１以上の音素に対して単語を割り当てる。ここで、並び順データベース１５０５には、各単語の候補に対する確率が定められており、認識部２０２は、この確率にしたがって単語を決定する。このような処理を用いて認識部２０２は音声情報１５０３を認識する。
（３） 制御情報保持部２０４
制御情報保持部２０４は、家電機器１０４ごとの機能をコントロールするための制御情報テーブルを保持している。
図６は、制御情報テーブルのデータ構成の一例を示す図である。図６の制御情報テーブルの例では、「機器種別」と「制御指示」とが対応付けて保持されている。「機器種別」は、エアコン、テレビ、洗濯機といった、家電機器１０４の種別を識別するデータである。図６の例では、エアコンに対する制御指示として、電源ＯＮ、電源ＯＦＦ、及び温度を１度上げる等が保持されている。
図６において、「制御指示」としては、機能をコントロールするための指示情報が採用されてもよいし、制御コマンドそのものが採用されてもよい。また、図６に例示された機器種別及び制御指示は一例にすぎず、他の種別の家電機器１０４が制御対象となるのであれば、当然、その家電機器１０４の機器種別及び制御指示が図６に登録される。
（４） 機器管理情報保持部２０５
機器管理情報保持部２０５は、同一宅内に存在するゲートウェイ１０３、家電機器１０４、及び家電機器１０４の種別を管理するための機器管理情報テーブルを保持する。
図７は、機器管理情報テーブルのデータ構成の一例を示す図である。機器管理情報テーブルには、「ゲートウェイＩＤ」、「機器ＩＤ」、及び「機器種別」が対応付けて保持されている。「ゲートウェイＩＤ」は、ゲートウェイ１０３を個々に区別するための識別子であり、例えば、ゲートウェイ１０３の製造番号が採用できる。「機器ＩＤ」は、家電機器１０４を個々に区別するための識別子であり、例えば、家電機器１０４の製造番号が採用できる。「機器種別」は、図６に示す「機器種別」と同じである。
図7の機器管理情報テーブルの例では、ゲートウェイＩＤ「３２４５６３８９」を持つゲートウェイ１０３と、機器ＩＤ「１２３４５６」及び機器ＩＤ「８９６０２３」とを持つ家電機器１０４は同一宅内に存在することが示されている。また、両家電機器１０４は、それぞれ「エアコン」及び「テレビ」であることが示されている。
（５） 判断部２０６
判断部２０６は、ゲートウェイ１０３から受信した音声情報の認識部２０２による認識結果が家電機器１０４の制御に関するものである場合、機器管理情報保持部２０５が保持する機器管理情報テーブル（図７）と、送受信部２０１がゲートウェイ１０３から受信したゲートウェイＩＤとを用いて、認識結果に対応する家電機器１０４と同じ機器種別の家電機器１０４が、当該ゲートウェイ１０３と同一宅内に存在するか否かを判断する。例えば、ゲートウェイＩＤ「３２４５６３８９」のゲートウェイ１０３から送信された音声情報の認識結果が「エアコン」の制御に関するものである場合、機器管理情報テーブル（図７）には、このゲートウェイ１０３に対して「エアコン」が対応付けて登録されているため、このゲートウェイ１０３と同一宅内に「エアコン」が存在すると判断される。
（６） 制御部２０７
制御部２０７は、上記（１）〜（５）の各ブロックを管理・制御して、サーバ装置１０１の機能を実現する。
１．３ 集音機器１０２の構成
続いて、集音機器１０２の詳細な構成を説明する。図３は、集音機器１０２の構成の一例を示すブロック図である。
集音機器１０２は、図３に示すように、送受信部３０１、集音部３０２、及び制御部３０３を備える。
集音機器１０２は、具体的には図示されていないマイクロプロセッサ、ＲＡＭ、ＲＯＭ、及びハードディスク等から構成される。前記ＲＡＭ、ＲＯＭ、及びハードディスクにはコンピュータプログラムが記憶されており、前記マイクロプロセッサが前記コンピュータプログラムに従って動作することにより、集音機器１０２はその機能を果たす。
なお、送受信部３０１、集音部３０２、及び制御部３０３等の各機能ブロックは集積回路であるＬＳＩとして実現されてもよい。これらは個別に１チップ化されてもよいし、１以上のブロック、又は各ブロックの一部を含むように１チップ化されてもよい。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、各機能ブロックは、ソフトウェアで実現されてもよいし、ＬＳＩとソフトウェアの組み合わせで実現されてもよい。また、ソフトウェアは耐タンパ化されていてもよい。
（１）送受信部３０１
送受信部３０１は、例えば、ＩＥＥＥ８０２．３シリーズの有線ＬＡＮやＩＥＥＥ８０２．１１シリーズの無線ＬＡＮの通信装置を含む。そして、送受信部３０１は、集音部３０２が収集した音声情報をゲートウェイ１０３へ送信する。
（２）集音部３０２
集音部３０２は、利用者による家電を制御するための直接的な音声指示（例えば「テレビＯＮ」等）を収集する。また、集音部３０２は、利用者による家電機器１０４を制御するための直接的な指示ではない日常会話等も収集することができる。具体的には、集音部３０２は、マイク及びマイクが検知した音声信号を処理する処理部等を含む。ここで、集音部３０２は、例えば、マイクから出力される音声信号からノイズ等を除去し、アナログデジタル変換してデジタルの音声信号を生成する処理等を実行する。また、集音部３０２は、マイクから音声信号が出力されると、即座にノイズ除去及びアナログデジタル変換等の処理を開始し、処理結果を随時、送受信部３０１に出力する。
（３）制御部３０３
制御部３０３は、上記（１）〜（２）の各ブロックを管理・制御して、集音機器１０２の機能を実現する。
１．４ ゲートウェイ１０３の構成
続いて、ゲートウェイ１０３の詳細な構成を説明する。図４は、ゲートウェイ１０３の構成の一例を示すブロック図である。
ゲートウェイ１０３は、図４に示すように、送受信部４０１、解析部４０２、データベース保持部４０３、制御情報保持部４０４、機器管理情報保持部４０５、判断部４０６、ゲートウェイＩＤ保持部４０７、及び制御部４０８を備える。
ゲートウェイ１０３は、具体的には図示されていないマイクロプロセッサ、ＲＡＭ、ＲＯＭ、及びハードディスク等から構成される。前記ＲＡＭ、ＲＯＭ、及びハードディスクにはコンピュータプログラムが記憶されており、前記マイクロプロセッサが前記コンピュータプログラムに従って動作することにより、ゲートウェイ１０３はその機能を果たす。
なお、送受信部４０１、解析部４０２、データベース保持部４０３、制御情報保持部４０４、機器管理情報保持部４０５、判断部４０６、ゲートウェイＩＤ保持部４０７、制御部４０８等の各機能ブロックは集積回路であるＬＳＩとして実現されてもよい。これらは個別に１チップ化されてもよいし、１以上のブロック、又は各ブロックの一部を含むように１チップ化されてもよい。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
また、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、各機能ブロックは、ソフトウェアで実現されてもよいし、ＬＳＩとソフトウェアの組み合わせで実現されてもよい。また、ソフトウェアは耐タンパ化されていてもよい。
（１） 送受信部４０１
送受信部４０１は、ゲートウェイ１０３を内部ネットワークに接続させる通信装置及び外部ネットワークに接続させる通信装置を含む。そして、送受信部４０１は、集音機器１０２から、集音機器１０２が収集した音声情報を内部ネットワークを介して受信する。また、送受信部４０１は、家電機器１０４へ、家電機器１０４の機能をコントロールするための制御指示を内部ネットワークを介して送信する。また、送受信部４０１は、サーバ装置１０１へ、認識処理を依頼する音声情報を外部ネットワークを介して送信する。さらに、送受信部４０１は、サーバ装置１０１から受信した家電機器１０４への制御指示を外部ネットワークを介して受信し、対象の家電機器１０４へ送信する。
家電機器１０４への制御指示としては、例えば、テレビであれば、電源ＯＮ／ＯＦＦの指示、チャンネル切り替えの指示、及び音量調節の指示等が採用され、エアコンであれば、例えば、電源ＯＮ／ＯＦＦの指示及び温度調節の指示等が採用される。
（２） 解析部４０２及びデータベース保持部４０３
解析部４０２は、データベース保持部４０３が保持する音声モデル及び辞書データを用いて、送受信部４０１が集音機器１０２から受信した音声情報（入力音声）の解析を行い、解析結果を出力する。ここで、解析部４０２は、一般に利用、又は公開されている任意の音声認識技術を用いて、音声情報を解析すればよい。以下、簡単に説明する。
図１４は、ゲートウェイ１０３における音声情報の解析処理を説明するための模式図である。音声モデル１４０１は、図１５の音声モデル１５０１と同様、音声の波形の特徴がモデル化されたデータである。
辞書データ１４０２は、前述した家電機器１０４の制御に関連する１以上の定型文を保持する定型文データベース１４０４と、単語を保持する単語データベース１４０５とを含む。なお、辞書データ１４０２には、１以上のパターンの単語の並び順を保持する並び順データベースが含まれても良い。
定型文データベース１４０４には、例えば、「テレビＯＮ」、「テレビＯＦＦ」、「２チャンネル」、「照明ＯＮ」、「照明ＯＦＦ」、「エアコンＯＮ」、「エアコンＯＦＦ」というように、制御対象となる家電機器１０４と、その家電機器１０４に対する制御指示が明確に分かる文が保持されている。
単語データベース１４０５には、例えば、「電源」、「ＯＮ」、「ＯＦＦ」、「点ける」、「消す」、「温度」、「気温」というように、家電機器１０４を制御する際に用いられる単語や、「暑い」、「寒い」、「暗い」、というように、家電機器１０４の制御を示唆する単語が保持されている。
まず、解析部４０２は、入力された音声情報１４０３の音素の並びを音声モデル１４０１を用いて検出する。次に、解析部４０２は、検出した音素の並びに対して、単語データベース１４０５を参照して、１以上の音素に対して単語を割り当てる。そして、割り当てた単語から得られる文が定型文データベース１４０４に保持されているいずれか１の定型文と一致すれば、入力された音声情報は定型文であると判定する。
一方、解析部４０２は、検出した音素の並びに単語を割り当てた文が、定型文データベース１４０４に保持されたいずれの定型文にも該当しなかった場合、入力された音声情報は家電の制御に関する単語であると判定する。ここで、単語データベース１４０５には、家電機器１０４の制御に関する単語が登録されているため、検出した音素の並びに単語を割り当てることができなかった場合、解析部４０２は、入力された音声情報は家電機器１０４の制御に関する単語でなく、且つ定型文でもないと判定すればよい。
なお、ゲートウェイ１０３が保持する単語データベース１４０５に登録されている単語数はサーバ装置１０１が保持する単語データベース１５０４よりも遙かに少ない。また、ゲートウェイ１０３に並び順データベースを保持させる態様を採用したとしても、この並び順データベースに登録された並び順のパターンはサーバが保持する並び順データベース１５０５に登録されたパターンより遙かに少ない。また、ゲートウェイ１０３が保持する音声モデル１４０１に登録されている音声モデルの個数及び１の音声モデルを構成するデータ点数はサーバ装置１０１が保持する音声モデル１５０１に登録されている音声モデルの個数及び１の音声モデルを構成するデータ点数に比べて遙かに少ない。よって、サーバ装置１０１は、ゲートウェイ１０３に対してより高度な音声情報の認識処理を実現する。
解析部４０２は、音声情報の解析結果が、家電機器１０４の制御に関連する定型文である場合、音声情報をサーバ装置１０１に送信しないと判定し、判断部４０６に解析結果（定型文）を通知する。この場合、ゲートウェイ１０３が、定型文と家電機器１０４を制御するための制御指示とを対応付ける処理を行う。
一方、解析部４０２は、音声情報の解析結果が、家電機器１０４の制御に関連する定型文でなはないが、家電機器１０４の制御に関連する単語を含む場合、音声情報をサーバ装置１０１に送信すると判定し、送受信部４０１を介してサーバ装置１０１へ、音声情報を送信する。この場合、サーバ装置１０１が受信した音声情報の認識処理を行う。
なお、データベース保持部４０３は、サーバ装置１０１から新しい定型文及び単語が送信された場合、これらの定型文及び単語を、保持している辞書データ（定型文及び単語）に追加してもよい。この詳細については後述する。
（３） 制御情報保持部４０４
制御情報保持部４０４は、家電機器１０４ごとの機能をコントロールするための制御情報テーブルを保持している。
図８は、制御情報保持部４０４が保持する制御情報テーブルのデータ構成の一例を示す図である。図８の制御情報テーブルの例では、「機器種別」と「制御指示」と「定型文」とが対応付けて保持されている。「機器種別」は、図６に示す「機器種別」と同じである。「制御指示」は、図６に示す「制御指示」と同じである。「定型文」は、制御対象となる家電機器１０４と、その家電機器１０４に対する制御指示が明確に分かる文である。制御情報テーブルが保持する定型文は図１４に示す定型文データベース１４０４にも保持されている。
図８の例では、エアコンに対応する制御指示として、電源ＯＮ、電源ＯＦＦ、及び温度を１度上げる等が登録されている。また、図８の例では、エアコンの電源ＯＮに対応する定型文として、「エアコンＯＮ」、「エアコン点ける」等が登録され、エアコンの電源ＯＦＦに対応する定型文として「エアコンＯＦＦ」、「エアコン消す」等が登録されている。ここで、制御情報テーブルに登録される「制御指示」としては、機能をコントロールするための指示情報が採用されてもよいし、制御コマンドそのものが採用されてもよい。また、図８の例では、機器種別としてエアコン及びテレビが例示されているが、利用者の宅内に他の種別の家電機器１０４が設置されていれば、その家電機器１０４の機器種別、制御指示、及び定型文が制御情報テーブルに登録される。
（４） 機器管理情報保持部４０５
機器管理情報保持部４０５は、ゲートウェイ１０３と同一宅内に存在する家電機器１０４及び家電機器１０４の機器種別を管理するための機器管理情報テーブルを保持する。
図９は、機器管理情報テーブルのデータ構成の一例を示す図である。図９に示す機器管理情報テーブルの例では、「機器ＩＤ」と「機器種別」とが対応付けて保持されている。「機器ＩＤ」は、ゲートウェイ１０３と同一宅内に存在する家電機器１０４を個々に区別するための識別子であり、例えば、家電機器１０４の製造番号が採用される。「機器種別」は、家電機器の種別を識別するためのデータである。
図９の例では、機器ＩＤ「１２３４５６」、機器ＩＤ「８９６０２３」を持つ家電機器１０４が、ゲートウェイ１０３と同一宅内に存在することが示されている。また、両家電機器１０４がそれぞれ「エアコン」と「テレビ」であることが示されている。なお、図９の例では、機器種別としてエアコン及びテレビが例示されているが、利用者の宅内に他の種別の家電機器１０４が設置されていれば、その家電機器１０４の機器ＩＤ及び機器種別が制御情報テーブルに登録される。
（５） 判断部４０６
判断部４０６は、解析部４０２から、定型文の解析結果が通知されると、機器管理情報保持部４０５が保持する機器管理情報テーブルを用いて、その解析結果に対応する家電機器１０４が、ゲートウェイ１０３と同一宅内に存在するか否かを判断する。そして、判断部４０６は、対応する家電機器１０４が同一宅内に存在すると判断した場合、制御情報保持部４０４が保持している制御情報テーブルを用いて、解析結果（定型文）に対応する制御指示を決定する。判断部４０６は、決定した制御指示を、送受信部４０１を介して、同一宅内に存在すると判断した家電機器１０４へ送信する。
例えば、解析部４０２からエアコンＯＮの解析結果が通知されたとすると、判断部４０６は、機器管理情報テーブル（図９）の「機器種別」にエアコンが登録されているか否かを調べる。図９の例では、「機器種別」として、エアコンが登録されているため、判断部４０６は、解析結果に対応する家電機器１０４がゲートウェイ１０３と同一宅内に存在すると判断する。次に、判断部４０６は、制御情報テーブル（図８）を用いて「エアコンＯＮ」に対応する制御指示を特定する。図８の例では、「エアコンＯＮ」の定型文に対して「電源ＯＮ」の制御指示が対応付けられているため、判断部４０６は、エアコンの「電源ＯＮ」を制御指示として決定し、送受信部４０１に渡す。エアコンの「電源ＯＮ」の制御指示が渡された送受信部４０１は、「電源ＯＮ」の制御指示をエアコンの家電機器１０４に送信する。これにより、エアコンは電源がＯＮする。
（６） ゲートウェイＩＤ保持部４０７
ゲートウェイＩＤ保持部４０７は、当該ゲートウェイを一意に識別可能な識別子（ゲートウェイＩＤ）を保持する。
（７） 制御部４０８
制御部４０８は、上記（１）〜（６）の各ブロックを管理・制御して、ゲートウェイ１０３の機能を実現する。
１．５ 家電機器１０４の構成
続いて、家電機器１０４の詳細な構成を説明する。図５は、家電機器１０４の構成の一例を示すブロック図である。家電機器１０４は、図５に示すように、送受信部５０１、実行部５０２、及び制御部５０３を備える。
家電機器１０４は、具体的には図示されていないマイクロプロセッサ、ＲＡＭ、ＲＯＭ、及びハードディスク等から構成される。前記ＲＡＭ、ＲＯＭ、及びハードディスクにはコンピュータプログラムが記憶されており、前記マイクロプロセッサが前記コンピュータプログラムに従って動作することにより、家電機器１０４はその機能を果たす。
なお、送受信部５０１、実行部５０２、及び制御部５０３等の各機能ブロックは集積回路であるＬＳＩとして実現されてもよい。これらは個別に１チップ化されてもよいし、１以上のブロック、又は各ブロックの一部を含むように１チップ化されてもよい。
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、各機能ブロックは、ソフトウェアで実現されてもよいし、ＬＳＩとソフトウェアの組み合わせで実現されてもよい。また、ソフトウェアは耐タンパ化されていてもよい。
（１） 送受信部５０１
送受信部５０１は、家電機器１０４を内部ネットワークに接続させる通信装置を含む。そして、送受信部５０１は、ゲートウェイ１０３から内部ネットワークを介して送信される制御指示受信する。
ここで、制御指示としては、機能をコントロールするための指示情報が採用されてもよいし、制御コマンドそのものが採用されてもよい。
（２） 実行部５０２
実行部５０２は、送受信部５０１が受信した制御指示に基づき処理を実行する。例えば、家電機器１０４がエアコンの場合、エアコン自身の電源を点けたり、消したり、温度調節したりする。
（３） 制御部５０３
制御部５０３は、上記（１）〜（２）の各ブロックを管理・制御して、家電機器１０４の機能を実現する。
１．６ 家電機器制御システムの動作
集音機器１０２が音声情報を収集し、ゲートウェイ１０３又はサーバ装置１０１が制御指示を家電機器１０４へ送信する場合の家電機器制御システムの動作の一例について、図１０〜図１３を用いて説明する。
まず、集音機器１０２の集音部３０２は、音声信号を検知すると、検知した音声信号から音声情報を生成し、送受信部３０１を介してゲートウェイ１０３へ送信する（ステップＳ１００１）。
ゲートウェイ１０３は、送受信部４０１を介して音声情報を受信する（ステップＳ１００２）。次に、ゲートウェイ１０３の解析部４０２は、データベース保持部４０３で保持する音声モデル１４０１及び辞書データ１４０２を用いて、受信した音声情報が定型文か否かを解析する（ステップＳ１００３）。
解析部４０２による解析結果が定型文である場合（ステップＳ１００４でＹｅｓ）、処理を図１１に示すステップＳ１１０１に進める。ステップＳ１１０１において、判断部４０６は、機器管理情報保持部４０５で保持する機器管理情報テーブル（図９）を用いて、定型文に対応する家電機器１０４がゲートウェイ１０３と同一宅内に存在するか否かを判断する（ステップＳ１１０１）。
ステップＳ１１０２において存在しないと判断された場合（ステップＳ１１０２でＮｏ）、処理が終了される。一方、ステップＳ１１０２において、存在すると判断された場合（ステップＳ１１０２でＹｅｓ）、判断部４０６は、制御情報保持部４０４が保持する制御情報テーブル（図８）を用いて、解析結果が示す定型文に対応する家電機器１０４の制御指示を抽出して、送受信部４０１を介して家電機器１０４へ送信する（ステップＳ１１０３）。例えば、解析結果が「エアコンＯＮ」の定型文であったとすると、エアコンの「電源ＯＮ」が制御指示として抽出される。
次に、家電機器１０４の送受信部５０１は制御指示を受信し（ステップＳ１１０４）、実行部５０２は、受信した制御指示を用いて処理を実行する（ステップＳ１１０５）。例えば、解析結果が「エアコンＯＮ」の定型文であったとすると、「電源ＯＮ」の制御指示がエアコンに送信される。そして、エアコンは、「電源ＯＮ」の制御指示を受信し、自身の電源をＯＮする。
図１０に示すステップＳ１００４において、ゲートウェイ１０３の解析部４０２が定型文でないと判断した場合（ステップＳ１００４でＮｏ）、処理が図１２のステップＳ１２０１に進められる（ステップＳ１００５）。ステップＳ１２０１において、解析部４０２は、データベース保持部４０３で保持する音声モデル１４０１及び辞書データ１４０２を用いて、受信した音声情報に家電機器１０４の制御に関連する単語が含まれるか否かを解析する（ステップＳ１２０１）。解析部４０２が含まないと判断した場合（ステップＳ１２０２でＮｏ）、処理が終了される。一方、ステップＳ１２０２において、含むと判断された場合（ステップＳ１２０２でＹｅｓ）、解析部４０２は、送受信部４０１を介して、受信した音声情報と、ゲートウェイＩＤ保持部４０７が保持するゲートウェイＩＤとを対応付けてサーバ装置１０１へ送信する（ステップＳ１２０３）。
サーバ装置１０１の送受信部２０１が音声情報とゲートウェイＩＤとを受信すると（ステップＳ１２０４）、認識部２０２は、データベース保持部２０３が保持する音声モデル１５０１及び辞書データ１５０２を用いて、受信した音声情報が家電機器１０４の制御に関連するか否かを認識する（ステップＳ１２０５）。
ステップＳ１２０６において、受信した音声情報が家電機器１０４の制御に関連しないと判断された場合（ステップＳ１２０６でＮｏ）、処理が終了される。一方、ステップＳ１２０６において、判断部２０６は、受信した音声情報が家電機器１０４の制御に関連する音声情報であると判断した場合（ステップＳ１２０６でＹｅｓ）、処理を図１３のステップＳ１３０１に進める。
ステップＳ１３０１において、判断部２０６は、機器管理情報保持部２０５で保持する機器管理情報テーブル（図７）と、受信したゲートウェイＩＤとを用いて、認識部２０２の認識結果に対応する家電機器１０４が存在するか否かを判断する（ステップＳ１３０２）。
ステップＳ１３０２において、判断部２０６は、対応する家電機器１０４が存在しないと判断した場合（ステップＳ１３０２でＮｏ）、処理を終了する。一方、判断部２０６は、対応する家電機器１０４が存在すると判断した場合（ステップＳ１３０２でＹｅｓ）、処理をステップＳ１３０３に進める。
認識部２０２による音声情報の認識結果に例えば「暑い」の単語が含まれていたとする。この「暑い」は部屋の温度に関連する単語であるため、判断部２０６は、「暑い」に対応する家電機器１０４はエアコンであると判断する。そして、判断部２０６は、機器管理情報テーブル（図７）において、対象となるゲートウェイＩＤに対応する「機器種別」としてエアコンが登録されていなければ、ステップＳ１３０６でＮｏと判断すればよい。一方、判断部２０６は、機器管理情報テーブル（図７）において、対象となるゲートウェイＩＤに対応する「機器種別」としてエアコンが登録されていれば、ステップＳ１３０２でＹｅｓと判断すればよい。
ステップＳ１３０３において、判断部２０６は、制御情報保持部２０４で保持する制御情報テーブル（図６）を用いて、認識部２０２の認識結果に対応する家電機器１０４の制御指示を決定し、送受信部２０１を介して、家電機器１０４へ送信する（ステップＳ１３０３）。なお、サーバ装置１０１が送信した制御指示は、ゲートウェイ１０３を介して、家電機器１０４に送信される。
例えば、認識部２０２の認識結果に対応する家電機器１０４がエアコンであったとする。この場合、判断部２０６は、制御情報テーブル（図６）において、エアコンに対応付けられた「制御指示」のうちいずれかの制御指示を決定すればよい。例えば、認識部２０２の認識結果において「暑い」の他に「電源ＯＮ」の単語が含まれていたとする。この場合、判断部２０６は、電源ＯＮを制御指示として決定すればよい。そして、判断部２０６は、エアコンの電源ＯＮの制御指示を送受信部５０１を介して対象となるゲートウェイ１０３に送信すればよい。
ステップＳ１３０４において、家電機器１０４は、送受信部５０１を介して制御指示を受信し（ステップＳ１３０４）、実行部５０２は、受信した制御指示に基づき処理を実行する（ステップＳ１３０５）。例えば、エアコンの電源ＯＮの制御指示をゲートウェイ１０３が受信したとすると、ゲートウェイ１０３はこの制御指示を制御対象のエアコンに送信する。エアコンの送受信部５０１がこの制御指示を受信すると、エアコンの実行部５０２は、エアコンの電源をＯＮする処理を実行する。
＜変形例＞
本実施の形態は、以下の変形例を採用することができる。
（１）ゲートウェイ１０３は、音声情報の簡易分析を行い、（ａ）サーバ装置１０１にて更なる詳細分析が必要であると判断した場合、又は（ｂ）周辺機器や周辺環境等、他の状況や状態も加味する必要があると判断した場合、受信した音声情報をサーバ装置１０１へ送信すればよい。一方、ゲートウェイ１０３は、（ａ）又は（ｂ）に該当しないと判断した場合、自身で制御指示を決定し、家電機器１０４へ送信すればよい。
例えば、ゲートウェイ１０３は、簡易解析の結果、音声情報から「あつい」の単語を解析できたが、この「あつい」は、部屋の温度が「暑い」ことを指しているのか、食べ物の温度が「熱い」ことを指しているのかが分からない。この場合、ゲートウェイ１０３は、（ａ）又は（ｂ）に該当すると判断すればよい。
そして、サーバ装置１０１は、受信した音声情報から、ニュアンス、トーン、及び文脈等を解析して、利用者の意図を理解し、制御指示を決定すればよい。また、この場合、サーバ装置１０１は、ゲートウェイ１０３に音声情報に加えて、周辺の環境情報を送信させ、環境情報も加味して、制御指示を決定すればよい。ここで、環境情報としては、例えば、ゲートウェイ１０３が設置された宅内の温度及び湿度の情報、宅内に人物がいる又は人物がいないを示す情報、稼働している家電機器１０４の有無又は種別を示す情報、及び各人物の表面温度が採用できる。
例えば、音声情報の認識結果に「暑い」の単語が含まれ、エアコンが稼働していなかったとすると、サーバ装置１０１は、冷房モードでエアコンの電源をＯＮする制御指示を決定すればよい。
また、例えば、音声情報の認識結果に「寒い」の単語が含まれ、エアコンが稼働していなかったとすると、サーバ装置１０１は、暖房モードでエアコンの電源をＯＮする制御指示を決定すればよい。
また、例えば、音声情報の認識結果に「暑い」の単語が含まれ、エアコンが稼働していたとすると、サーバ装置１０１は、エアコンの温度を下げる制御指示を決定すればよい。
また、例えば、音声情報の認識結果に「寒い」の単語が含まれ、エアコンが稼働していたとすると、サーバ装置１０１は、エアコンの温度を上げる制御指示を決定すればよい。
また、例えば、音声情報の認識結果に「電源ＯＮ」の単語が含まれ、且つ、テレビの話題が含まれていたとすると、サーバ装置１０１は、テレビの電源ＯＮを制御指示として決定すればよい。
なお、ゲートウェイ１０３は、例えば、エアコンに温度及び湿度の情報を問い合わせ、エアコンが備える温度センサ及び湿度センサにより宅内の温度及び湿度を検知させ、検知結果を取得することで、宅内の温度及び湿度の情報を取得すればよい。
また、ゲートウェイ１０３は、例えば、宅内にセキュリティーシステムが設置されており、そのセキュリティーシステムが留守番モードに設定されていれば、宅内に人物がいないと判断し、そのセキュリティーシステムが在宅モードに設定されていれば、宅内に人物がいると判断すればよい。或いは、ゲートウェイ１０３は、例えば、宅内にスマート分電盤が設置されていれば、スマート分電盤が検知する消費電力の推移から宅内に人物がいるいないを判断してもよい。
また、ゲートウェイ１０３は、各家電機器１０４にステータスの確認情報を送信し、各家電機器１０４から返信された確認結果から稼働している家電機器１０４の有無を判断すればよい。
また、ゲートウェイ１０３は、例えば、エアコンが人物の表面温度を測定する機能を持つものであれば、エアコンに人物の表面温度を検知させ、人物の表面温度を取得すればよい。
（２）集音機器１０２は、家電機器１０４に集音機能として組み込まれてもよいし、ゲートウェイ１０３に集音機能として組み込まれてもよい。前者の場合、ゲートウェイ１０３は、各家電機器１０４から音声情報を取得することになる。また、後者の場合、ゲートウェイ１０３は、利用者がゲートウェイごしに発した音声から音声情報を取得することになる。
また、集音機器１０２は、家電機器１０４及びゲートウェイ１０３のそれぞれに集音機能として組み込まれてもよい。また、集音機器１０２の集音機能を家電機器１０４及びゲートウェイ１０３のそれぞれに組み込んだ上で、集音機器１０２を家電機器１０４及びゲートウェイ１０３とは独立して設けてもよい。
また、集音機器１０２は、例えば、部屋の天井に埋め込まれる、或いは、床から立設された専用の装置で構成されてもよいし、利用者によって携帯される携帯端末（例えば、スマートフォン、携帯電話、或いはタブレット端末）が備えるマイク及びアプリケーションで構成されてもよい。
（３）家電機器１０４は、利用者が自身に話しかけていると認識した場合、利用者が発する全ての音声情報、又は、複数の利用者が会話しているのであれば、会話全体の音声情報をサーバ装置１０１に送信してもよい。或いは、家電機器１０４は、音声情報の簡易解析を行い、その音声情報が家電機器１０４の制御に関連する音声情報であると判断した場合、ゲートウェイ１０３に音声情報を送信してもよい。
ここで、家電機器１０４は、「自身に話しかけられている」か否かを以下の手法で判断すればよい。例えば、利用者の顔が家電機器１０４へ向いているか否かを検出する手法、利用者が自身のリモコンを操作したか否かを検出する手法、及び利用者が自身に向けて手を振る等のジェスチャーを検出する手法が採用できる。
ここで、家電機器１０４は、利用者の目線が自身に向いているか否かにより利用者の顔が自身に向いているか否かを判断すればよい。この場合、家電機器１０４は、利用者の顔に赤外線を照射して赤外カメラで利用者の顔を撮像し、得られた画像から角膜反射位置及び瞳孔位置等を検出し、これらの位置関係から利用者の視線を検知すればよい。そして、家電機器１０４は、検知した利用者の視線の延長線上に自身が位置すれば、利用者は自身を向いていると判断すればよい。
また、家電機器１０４は、ジェスチャー認識装置を用いて利用者が自身に向けてジェスチャーを行っているか否かを判断すればよい。
（４）ゲートウェイ１０３が音声情報をサーバ装置１０１へ送信する場合に、家電機器１０４の制御に関連する単語を含む音声情報だけではなく、その前後の音声情報（例えば、前後１分間の音声情報等）も合わせて送信してもよい。これにより、サーバ装置１０１は、前後の音声情報を用いて利用者の意図をより正確に理解できる。
（５）サーバ装置１０１が家電機器１０４に制御指示を送信した後、利用者に当該制御指示の内容をディスプレイを持つ入力装置に提示して、利用者の許諾を得た上で、制御指示を家電機器１０４が実行してもよい。ここで、入力装置は、宅内ネットワークを介してゲートウェイ１０３と通信できる機能やマイク等の集音機能を持つ装置であり、例えば、テレビやスマートフォンが採用できる。なお、入力装置は、ゲートウェイ１０３に組み込まれてもよいし、家電機器１０４に組み込まれてもよい。
以下、この変形例について説明する。図１６は、本発明の実施の形態の変形例のフローチャートである。まず、サーバ装置１０１の判断部２０６がゲートウェイ１０３から送信された音声情報から制御指示を決定すると、判断部２０６は、決定した制御指示が正しいか否かを利用者に問い合わせるための問い合わせ通知を送受信部２０１を介してゲートウェイ１０３に送信する（ステップＳ１６０１）。
ゲートウェイ１０３の送受信部４０１はこの問い合わせ通知を受信すると（ステップＳ１６１１）、受信した問い合わせ通知を入力装置に送信する（ステップＳ１６１２）。入力装置はこの問い合わせ通知を受信すると（ステップＳ１６２１）、制御指示の内容をディスプレイに表示する（ステップＳ１６２２）。ここで、入力装置は、例えば、図１７に示すような画面をディスプレイに表示する。図１７は、制御指示の内容を利用者に問い合わせる画面の一例を示す図である。図１７の例では、音声情報からエアコンの電源ＯＮの制御指示をサーバ装置１０１が決定したため、「エアコンの電源をＯＮしてよろしいですか？」との文言が表示されている。この文言の下には、「ＯＫ」と記載された同意ボタン１７０１と「ＮＯ」と記載された非同意ボタン１７０２とが配置されている。利用者は、エアコンの電源ＯＮに同意する場合、つまり、サーバ装置１０１による音声認識が正しい場合、同意ボタン１７０１を選択する操作を入力装置に入力する。一方、利用者は、エアコンの電源ＯＮに同意しない場合、すなわち、サーバ装置１０１による音声認識が正しくない場合、非同意ボタン１７０２を選択する操作を入力装置に入力する。
入力装置は、利用者から同意ボタン１７０１又は非同意ボタン１７０２が選択する操作が入力され、制御指示に同意するか否かの利用者からの確認結果が入力されると（ステップＳ１６２３）、確認結果をゲートウェイ１０３に送信する（ステップＳ１６２４）。ここで、利用者により同意ボタン１７０１が選択されると、同意する旨の情報を含む確認結果がゲートウェイ１０３に送信され、利用者により非同意ボタン１７０２が選択されると、同意しない旨の情報を含む確認結果がゲートウェイ１０３に送信される。
ゲートウェイ１０３の送受信部４０１が確認結果を受信すると（ステップＳ１６１３）、判断部４０６は、確認結果に同意する旨の情報が含まれていれば（ステップＳ１６１４でＹＥＳ）、サーバ装置１０１による音声情報の認識結果は正しいと判断し、ステップＳ１６０１で送信された問い合わせ通知に係る制御指示を送受信部４０１を介して対象となる家電機器１０４に送信する（ステップＳ１６１５）。例えば、エアコンの電源をＯＮするとの制御指示に利用者が同意した場合、エアコンに電源ＯＮの制御指示が送信される。
対象の家電機器１０４の送受信部５０１が、ゲートウェイ１０３からの制御指示を受信すると（ステップＳ１６３１）、実行部５０２は制御指示を実行する（ステップＳ１６３２）。例えば、エアコンは、電源ＯＮの制御指示を受信したとすると、自身の電源をＯＮする。
ステップＳ１６１４において、同意しない旨の情報が確認結果に含まれていれば（ステップＳ１６１４でＮＯ）、ステップＳ１６１５がスルーされ、処理がステップＳ１６１６に進められる。
ステップＳ１６１６において、ゲートウェイ１０３の制御部５０３は、ステップＳ１６１３で受信した確認結果を送受信部５０１を介してサーバ装置１０１に送信する（ステップＳ１６１６）。サーバ装置１０１の送受信部２０１が確認結果を受信すると（ステップＳ１６０２）、判断部２０６は、受信した確認結果を、問い合わせに係る制御指示及び音声情報と関連付けて、確認結果データベースに保存する（ステップＳ１６０３）。図１８は、確認結果データベースのデータ構成の一例を示す図である。図１８の確認結果データベースの例では、「ゲートウェイＩＤ」、「日付」、「確認結果」、「音声情報」、及び「認識した制御指示」が対応付けて保持されている。「ゲートウェイＩＤ」は確認結果を送信したゲートウェイ１０３のゲートウェイＩＤである。「日付」は確認結果の受信日時である。「確認結果」は確認結果の内容である。ここでは、同意又は非同意が確認結果の内容として採用される。「音声情報」は、問い合わせに係る制御指示の認識元の音声情報である。図１８の例では、「あつい（ａｔｓｕｉ）」の音声情報が保持されている。ここで、確認結果データベースに保持される音声情報は、例えば、認識した音声のテキストデータであってもよいし、音声信号の波形データであってもよい。
「認識した制御指示」は、サーバ装置１０１の認識部２０２による音声情報の認識結果である。図１８の１行目のレコードの例では、このレコードに保持された音声情報に対して、認識部２０２がエアコンの電源ＯＮと認識したため、「エアコンの電源ＯＮ」が保持されている。
このように確認結果データベースを構築することで、サーバ装置１０１は、音声情報に対する制御指示を学習できる。例えば、あるゲートウェイ１０３から「あつい」の音声情報が送信され、サーバ装置１０１は、この「あつい」を部屋の温度が高いと解釈して、エアコンの電源ＯＮを制御指示として決定したが、この制御指示に対して利用者から同意しない旨の確認結果が入力されたとする。この場合、サーバ装置１０１は、以後、「あつい」に対してエアコンの電源ＯＮ以外の制御指示を決定すればよい。
この変形例では、サーバ装置１０１が認識した制御指示が正しいか否かを利用者に問い合わせ、同意する旨の確認結果が入力された場合に、家電機器１０４に制御指示が送信される。そのため、利用者の意図に反する動作を家電機器１０４が行うことを防止できる。
（６）ゲートウェイ１０３が家電機器１０４に制御指示を送信する場合、利用者に当該制御指示の内容を入力装置（例えば、テレビやスマートフォン等）に提示して、利用者の許諾を得た上で、制御指示を家電機器１０４が実行してもよい。
以下、この変形例について説明する。図１９は、本発明の実施の形態の別の変形例のフローチャートである。まず、ゲートウェイ１０３の解析部４０２による音声情報の解析結果が定型文であり、判断部４０６がその定型文に対応する制御指示を決定すると、判断部４０６は、決定した制御指示が正しいか否かを利用者に問い合わせるための問い合わせ通知を送受信部４０１を介して入力装置に送信する（ステップＳ１８０１）。ステップＳ１８１１〜Ｓ１８１４は、図１６のステップＳ１６２１〜Ｓ１６２４と同じである。
ゲートウェイ１０３の送受信部４０１が確認結果を受信すると（ステップＳ１８０２）、判断部４０６は、確認結果に同意する旨の情報が含まれていれば（ステップＳ１８０３でＹＥＳ）、解析部４０２による音声情報の解析結果は正しいと判断し、ステップＳ１８０１で送信した問い合わせ通知に係る制御指示を送受信部４０１を介して対象となる家電機器１０４に送信する（ステップＳ１８２１）。ステップＳ１８２２は、図１６のステップＳ１６３２と同じである。
ステップＳ１８０３において、同意しない旨の情報が確認結果に含まれていれば（ステップＳ１８０３でＮＯ）、ステップＳ１８０４がスルーされ、処理が終了される。
この変形例では、ゲートウェイ１０３が認識した制御指示が正しいか否かを利用者に問い合わせ、同意する旨の確認結果が入力された場合に、家電機器１０４により制御指示が実行される。そのため、利用者の意図に反する動作を家電機器１０４が行うことを防止できる。
（７）サーバ装置１０１のデータベース保持部２０３が保持する音声モデルや辞書データと、ゲートウェイ１０３のデータベース保持部４０３が保持する音声モデルや辞書データとは更新可能とされてもよい。この場合、ゲートウェイ１０３がデータベース保持部４０３に保持されている音声モデル１４０１や辞書データ１４０２を更新してもよいし、ゲートウェイ１０３がサーバ装置１０１から更新用データを取得して、データベース保持部４０３に保持されている音声モデル１４０１や辞書データ１４０２を更新してもよい。
まず、サーバ装置１０１から更新用データを取得してゲートウェイ１０３がデータベースを更新する態様について説明す。例えば、初期のデータベース保持部４０３において、定型文としてエアコンの電源をＯＮする制御指示として「エアコンＯＮ」が保持されていたが、同じ制御指示を示す「エアコン入れる」が保持されていなかったする。この場合、「エアコン入れる」の音声情報はサーバ装置１０１に送信されるが、サーバ装置１０１がこの音声情報を、（５）の変形例の手法を用いて、エアコンの電源をＯＮすると認識できたとする。この場合、サーバ装置１０１は「エアコン入れる」がエアコンの電源ＯＮの定型文であるとの更新用データをゲートウェイ１０３に送信する。この更新用データを受信したゲートウェイ１０３は、この「エアコン入れる」を定型文としてデータベース保持部４０３に保持すると共に、エアコンの電源ＯＮの制御指示と対応付けて制御情報テーブル（図８）にも登録する。これにより、以後、「エアコン入れる」の音声情報が入力されても、この音声情報は、ゲートウェイ１０３により定型文と判断され、サーバ装置１０１に送信されずにゲートウェイ１０３側で処理される。
これにより、例えば、方言による定型文のゆらぎが学習できる。例えば、「エアコンＯＮ（ｅａｋｏｎ ｏｎ）」は日本のどの地方でもエアコンの電源ＯＮ意味する文として通用するが、これと同じの意味の「エアコン入れる（ｅａｋｏｎ ｉｒｅｒｕ）」の文は日本のある地方では通用しないこともある。一方、ゲートウェイ１０３に「エアコンＯＮ」に対応する日本の全ての地方の方言の定型文を登録させておくのは、ゲートウェイ１０３のメモリリソースの制限上、好ましくない。そこで、ゲートウェイ１０３に必要に応じて定型文を登録させることで、このような方言を学習できる。また、この手法を用いれば、方言の学習だけでなく、家庭内でのみ通用する特殊な用語も定型文として学習できる。
次に、ゲートウェイ１０３がデータベースを更新する態様について説明する。例えば、サーバ装置１０１が「暑い」との音声情報に対していつもエアコンの電源ＯＮの制御指示をゲートウェイ１０３に送信していたとする。この場合、ゲートウェイ１０３は、「暑い」の音声情報に対してエアコンの電源ＯＮの制御指示が規定値以上、サーバ装置１０１から送信されると、「暑い」をデータベース保持部４０３に定型文として登録すると共に、制御情報テーブル（図８）において、「暑い」をエアコンの電源ＯＮの制御指示と対応付けて登録すればよい。これを実現するために、ゲートウェイ１０３は、例えば、サーバ装置１０１に送信した音声情報と、サーバ装置１０１から送信されたその音声情報に対する制御指示とをログ情報として記憶装置に蓄積させておく。そして、ゲートウェイ１０３は、このログ情報を例えば定期的に解析し、ある音声情報に対して規定値以上、同じ制御指示がサーバ装置１０１から送信されていれば、その音声情報が示す単語又は文を定型文としてデータベース保持部４０３に登録すると共に、その定型文を該当する制御指示と対応付けて制御情報テーブル（図８）に登録すればよい。
（８）ゲートウェイ１０３は、予め登録された解析キーワード（単語や定型文）の抽出等の簡易分析を主に実施し、意図やニュアンス等の高度な認識処理はサーバ装置１０１が実施すればよい。この場合、学習機能（音声モデル１５０１や辞書データ１５０２等のデータベースの更新や、音声情報の解析及び認識方法のアップデート等）はサーバ装置１０１が備え、サーバ装置１０１は、学習結果をゲートウェイ１０３と共有してもよい。つまり、サーバ装置１０１は、音声モデル１５０１や辞書データ１５０２の更新に併せてゲートウェイ１０３が保持する音声モデル１４０１や辞書データ１４０２を更新すればよい。このような、サーバ装置１０１の学習機能によって、定型文のデータベースは更新されて増強され、ゲートウェイ１０３とも共有される。
（９）家電機器１０４に対して利用者が明示的に制御指示をした場合と、サーバ装置１０１が会話内容から利用者の意図を理解して制御指示をする場合とで処理を異ならせてもよい。利用者が明示的に指示をした場合、ゲートウェイ１０３又はサーバ装置１０１から家電機器１０４への制御指示は、直接、家電機器１０４に送信され、家電機器１０４は即座に制御指示を実行すればよい。一方、意図を理解して制御指示が出された場合は、一度、ゲートウェイ１０３は、入力装置に制御指示の内容を提示し、利用者から同意する旨の確認結果が入力されると、制御指示を対象となる家電機器１０４へ送信すればよい。
（１０）ゲートウェイ１０３からサーバ装置１０１へ送信される音声情報は暗号化して送信され、サーバ装置１０１で蓄積されてもよい。この場合、サーバ装置１０１は、音声情報を平文又は暗号文のいずれの形式で蓄積してもよい。さらに、蓄積時の音声情報は特別な鍵で暗号化されてもよい。特別な鍵としては、利用者が設定したパスワード等の利用者のみが知るデータに基づいて生成されるデータや、第三者のみが知るデータに基づいて生成されるデータが採用できる。また、特別な鍵としては、利用者や第三者の協力の下、復号できるデータが採用されてもよい。
（１１）ゲートウェイ１０３が音声情報を解析した結果として、制御指示を家電機器１０４に対して送信した後に、当該音声情報をサーバ装置１０１へ送信し、サーバ装置１０１が音声認識を実行してもよい。ここで、ゲートウェイ１０３の制御指示とサーバ装置１０１の制御指示とが異なる場合、サーバ装置１０１の制御指示を優先してもよいし、ゲートウェイ１０３の制御指示を優先してもよい。或いは、利用者に両方の制御指示を提示して確認を求め、利用者による確認結果が示す制御指示で家電機器１０４を動作させてもよい。
（１２）上記実施の形態において、サーバ装置１０１から制御指示に関する問い合わせ通知が送信された場合、ゲートウェイ１０３は、問い合わせ通知に対する確認結果である音声情報を解析することなくサーバ装置１０１に送信してもよい。
以下、この変形例について説明する。図２０は、本発明の実施の形態の更に別の変形例のフローチャートである。ステップＳ１９２２、Ｓ１９２３、Ｓ１９２４、Ｓ１９１３、Ｓ１９１４、Ｓ１９１５、Ｓ１９０２、Ｓ１９０３、Ｓ１９０４以外の処理は、図１６の処理と同じであるため、説明を省略する。
ゲートウェイ１０３から問い合わせ通知を受信した入力装置は、制御指示の内容をディスプレイに表示する（ステップＳ１９２２）。ここで、入力装置は、例えば、図２１に示すような画面をディスプレイに表示する。図２１は、制御指示の内容を利用者に問い合わせる画面の一例を示す図である。ここでは、確認結果の入力は音声によりなされるものとする。また、サーバ装置１０１が音声情報からエアコンの電源ＯＮの制御指示を決定している。そのため、図２１には、「エアコンの電源ＯＮでよろしいですか？」、「確認結果を音声で入力して下さい。」との文言が表示されている。
利用者が入力装置に対して音声で同意又は非同意の確認結果を入力すると（ステップＳ１９２３）、入力装置は、その確認結果を示す音声情報をゲートウェイ１０３に送信する（ステップＳ１９２４）。この場合、利用者は同意する場合は「はい」、「ＯＫ」、又は「同意する」等の音声を発し、同意しない場合、「いいえ」、「ＮＯ」、又は「同意しない」等の音声を発すればよい。
ゲートウェイ１０３は、確認結果を示す音声情報を受信すると（ステップＳ１９１３）、音声情報を解析せずにサーバ装置１０１に送信する。サーバ装置１０１の送受信部２０１が、確認結果を示す音声情報を受信すると（ステップＳ１９０２）、認識部２０２は、音声情報を認識する（ステップＳ１９０３）。ここでは、音声情報に「はい」等の同意する旨の単語が含まれていれば、認識部２０２は、音声情報の認識結果は正しいと判断する。そして、認識部２０２は、問い合わせ通知に係る制御指示をゲートウェイ１０３に送信する（ステップＳ１９０４）。なお、ステップＳ１９０３において、音声情報に「いいえ」等の同意しない旨の単語が含まれていれば、認識部２０２は、音声情報の認識結果は正しくなかっと判断し、処理を終了すればよい。或いは、利用者から音声情報に対応する制御指示を聞き出し、聞き出した結果を音声情報と対応付けて確認結果データベース（図１８）に登録すればよい。
ゲートウェイ１０３は、制御指示を受信すると、対象となる家電機器１０４に制御指示を転送する（ステップＳ１９３１）。
ここで、ゲートウェイ１０３が確認結果を示す音声情報を解析する態様を採用すると、例えば、音声情報に定型文が含まれていれば、ゲートウェイ１０３は、家電機器１０４にこの定型文に対応する制御指示を送信してしまう。これでは、サーバ装置１０１は、利用者による確認結果を取得できず、音声情報の認識結果が正しいか否かを判断できない。そこで、この変形例では、ゲートウェイ１０３は、確認結果を示す音声情報を入力装置から受信した場合、この音声情報を解析することなくサーバ装置１０１へ送信している。これにより、サーバ装置１０１が利用者による確認結果を取得し、音声情報の認識結果が正しいか否かを判断できる。
（１３）本実施の形態において、ゲートウェイ１０３は、音声情報をサーバ装置１０１に送信すると判定した場合、利用者に音声情報を送信してもよいか否かを問い合わせてもよい。以下、この変形例について説明する。図２２は、本発明の実施の形態の別の変形例のフローチャートである。図２２に示すフローチャートは図１２に示すフローチャートにおいて、ステップＳ２２０１、Ｓ２２０２、Ｓ２２０３、Ｓ２２１１、Ｓ２２１２、Ｓ２２１３の処理が追加されている。
ステップＳ２２０１において、ゲートウェイ１０３は、音声情報をサーバ装置１０１に送信してもよよいか否かを利用者に問い合わせるための問い合わせ通知を入力装置に送信する。この入力装置は、図１６等で示した入力装置と同様、ディスプレイを持つ家電機器１０４で構成される。
入力装置は問い合わせ通知を受信すると（ステップＳ２２１１）、問い合わせ画面をディスプレイに表示する（ステップＳ２２１２）。ここで、入力装置は、例えば、図２３に示すような画面をディスプレイに表示する。図２３は、サーバ装置１０１に音声情報を送信してもよいか否かを利用者に問い合わせる画面の一例を示す図である。図２３の例では、「今の会話の内容をサーバ装置に送信してもよいですか？」との文言が表示されている。この文言の下には、「ＯＫ」と記載された同意ボタン２３０１と「ＮＯ」と記載された非同意ボタン２３０２とが配置されている。利用者は、音声情報をサーバ装置１０１に送信してもよいと判断した場合、同意ボタン２３０１を選択する操作を入力装置に入力する。一方、利用者は、音声情報をサーバ装置１０１に送信してはいけないと判断した場合、非同意ボタン２３０２を選択する操作を入力装置に入力する。
入力装置は、利用者から同意ボタン２３０１又は非同意ボタン２３０２を選択する操作が入力され、音声情報をサーバ装置１０１に送信してもよいか否かについての確認結果が入力されると（ステップＳ２２１３）、確認結果をゲートウェイ１０３に送信する（ステップＳ２２１４）。ここで、利用者により同意ボタン２３０１が選択されると、同意する旨の情報を含む確認結果がゲートウェイ１０３に送信され、利用者により非同意ボタン２３０２が選択されると、同意しない旨の情報を含む確認結果がゲートウェイ１０３に送信される。ゲートウェイ１０３は、確認結果を受信し（ステップＳ２２０２）、同意する旨の確認結果であれば（ステップＳ２２０３でＹＥＳ）、処理をステップＳ１２０３に進め、非同意の確認結果であれば（ステップＳ２２０３でＮＯ）、処理を終了する。
この変形例では、ゲートウェイ１０３が音声情報をサーバ装置１０１に送信すると判断した場合であっても、利用者により音声情報をサーバ装置１０１に送信してもよいとの承諾が得られた場合にのみ音声情報がサーバ装置１０１に送信される。そのため、利用者のプライバシーを更に保護できると同時に、サーバ装置１０１に送信されるデータ量を抑制できる。
（１４）上記実施の形態では、サーバ装置１０１、集音機器１０２、及びゲートウェイ１０３、家電機器１０４に図２〜図５で示す複数の機能（構成要素）を持たせたが、これに限定されない。図２〜図５で示す各機能（構成要素）は、図示した分担パターン以外の分担パターンでサーバ装置１０１、集音機器１０２、ゲートウェイ１０３、及び家電機器１０４に実装されてもよい。
（１５）本実施の形態は、上記に示す方法であるとしてもよい。また、この方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本実施の形態は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ）、半導体メモリー等に記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリーを備えたコンピュータシステムであって、前記メモリーは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
また、前記コンピュータプログラム若しくは前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記コンピュータプログラム若しくは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（１６）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
以上により、本家電機器制御システムは、ゲートウェイ１０３において、音声情報の簡易分析が行われ、ゲートウェイ１０３で制御指示が決定できなかった場合、サーバ装置１０１に音声情報が送信される。これにより、音声認識のためにサーバ装置１０１へ送信される音声情報のデータ転送量を削減できる。
本家電機器制御システムにおいて、ゲートウェイ１０３は、集音機器１０２が集音した音声情報に対し、予め保持するキーワード（家電機器１０４の制御に関連する単語）を抽出し、抽出したキーワードを含む音声情報を、サーバ装置１０１へ送信する。つまり、ゲートウェイ１０３は、音声情報に予め保持するキーワードが含まれなていないければ、その音声情報をサーバ装置１０１に送信しない。また、ゲートウェイ１０３は、集音機器１０２が集音した音声情報が定型文であれば、定型文に対応する制御指示を、家電機器１０４に送信する。つまり、ゲートウェイ１０３は、自身で操作対象の家電機器１０４に対する制御指示を決定できる場合、音声情報をサーバ装置１０１へ送信しない。
そのため、音声認識のためにサーバ装置１０１へ送信する音声情報のデータ転送量を更に削減することが可能となる。
また、本家電機器制御システムは、集音機器１０２が集音した音声情報から、一部の音声情報のみをサーバ装置１０１へ送信することで、サーバ装置１０１へのデータ集中を抑制できる。これにより、ゲートウェイ１０３とサーバ装置１０１との間のネットワーク負荷と、サーバ装置１０１での処理負荷を抑制できる。
また、本家電機器制御システムでは、集音機器１０２が集音した音声情報のうち、サーバ装置１０１への送信が必要とゲートウェイ１０３が判断した音声情報のみがサーバ装置１０１に送信される。そのため、家庭内の会話等プライベートな情報がサーバ装置１０１に送信されることを抑制できる。また、サーバ装置１０１へ送信する前に、利用者に送信可否を問い合わせることで、よりプライバシーの保護を強化することが可能となる。
本発明にかかる家電機器制御システムでは、集音機器が集音した音声情報のうち、ゲートウェイによって、サーバ装置で音声認識を行うと必要があると判断された音声情報のみがサーバ装置に送信されるため、音声情報を利用して家電機器を制御するネットワーク家電システムにおいて有用である。

Claims (11)

  1. サーバ装置と、家電機器と、ゲートウェイと、集音機器とを備える家電機器制御システムにおける家電機器の制御方法であって、
    前記ゲートウェイは、利用者の音声情報を前記集音機器から受信し、前記受信した音声情報を解析し、前記解析した音声情報が前記家電機器の制御に関連する音声情報であると判定した場合、前記音声情報を前記サーバ装置へ送信し、
    前記サーバ装置は、前記ゲートウェイから受信した音声情報を認識し、前記認識した音声情報が前記家電機器の制御に関連する音声情報であると判定した場合、前記ゲートウェイへ前記音声情報に対応する制御指示を送信し、
    前記家電機器は、前記ゲートウェイを介して前記サーバ装置から制御指示を受信し、前記制御指示を実行する制御方法。
  2. 前記ゲートウェイは、前記集音機器から受信した音声情報が、前記家電機器の制御に関連する定型文を示すと判定した場合、前記音声情報を前記サーバ装置へ送信する代わりに、前記定型文に対応する制御指示を前記家電機器へ送信する請求項１記載の制御方法。
  3. 前記ゲートウェイは、前記受信した音声情報が前記定型文を示すと判定した場合、前記定型文に対応する制御指示の内容をネットワークを介して接続された入力装置に出力させ、前記内容が正しい旨の前記利用者の確認入力が前記入力装置により受け付けられた場合、前記定型文に対応する制御指示を前記家電機器へ送信する請求項２記載の制御方法。
  4. 前記ゲートウェイは、前記サーバ装置から受信した制御指示の内容をネットワークを介して接続された入力装置に出力させ、前記内容が正しい旨の前記利用者の確認入力が前記入力装置により受け付けられた場合、前記サーバ装置から受信した制御指示を前記家電機器へ送信する請求項１〜３のいずれか一項に記載の制御方法。
  5. 前記サーバ装置は、前記ゲートウェイから送信された音声情報の認識結果の正誤を利用者に問い合わせるための問い合わせ通知を前記ゲートウェイに送信し、
    前記ゲートウェイは、前記問い合わせ通知が示す認識内容をネットワークを介して接続された入力装置に出力させ、前記認識内容に対する前記利用者の回答を示す音声情報であって前記入力装置で受け付けられた音声情報を前記入力装置から受信した場合、前記受け付けられた音声情報を解析せずに、前記サーバ装置に送信する請求項１〜４のいずれか一項に記載の制御方法。
  6. 前記ゲートウェイは、前記音声情報を前記サーバ装置に送信する場合、前記送信の可否を利用者に問い合わせるための問い合わせ通知をネットワークを介して接続された入力装置に出力し、前記利用者から前記送信を許可する確認入力が前記入力装置により受け付けられた場合、前記音声情報を前記サーバ装置に送信する請求項１〜５のいずれか一項に記載の制御方法。
  7. 前記ゲートウェイは、前記サーバ装置に前記音声情報を送信する場合、前記ゲートウェイの周辺の環境情報を取得して前記サーバ装置に送信し、
    前記サーバ装置は、前記ゲートウェイから送信された前記音声情報及び前記環境情報を用いて前記制御指示を決定する請求項１〜６のいずれか一項に記載の制御方法。
  8. 前記ゲートウェイは、前記定型文と前記定型文に対応する制御指示とが対応付けて保持された制御情報テーブルを用いて前記定型文に対応する制御指示を決定する請求項２記載の制御方法。
  9. 前記定型文は、制御対象となる家電機器と、前記家電機器に対する制御指示とを含む文であり、
    前記家電機器の制御に関連する音声情報は、前記定型文には該当しないが、前記家電機器を制御する関連する単語を含む音声情報である請求項２記載の制御方法。
  10. サーバ装置と、家電機器と、ゲートウェイと、集音機器とを備える家電機器制御システムであって、
    前記集音機器は、
    利用者の音声情報を収集する集音部と、
    前記収集された音声情報を前記ゲートウェイへ送信する送信部とを備え、
    前記ゲートウェイは、
    前記集音機器から前記音声情報を受信する第１送受信部と、
    前記受信された音声情報を解析する解析部とを備え、
    前記第１送受信部は、前記解析部により、前記音声情報が家電機器の制御に関連すると判定された場合、前記サーバ装置へ前記音声情報を送信し、
    前記サーバ装置は、
    前記ゲートウェイから前記音声情報を受信する第２送受信部と、
    前記受信された音声情報を認識する認識部とを備え、
    前記第２送受信部は、前記認識部により、前記音声情報が前記家電機器の制御に関連する音声情報であると判定された場合、前記ゲートウェイへ前記音声情報に対応する制御指示を送信し、
    家電機器は、
    前記ゲートウェイを介して前記サーバ装置から前記制御指示を受信する受信部と、
    前記受信された制御指示を実行する実行部とを備える家電機器制御システム。
  11. サーバ装置と、家電機器と、ゲートウェイと、集音機器とを備える家電機器制御システムにおける前記ゲートウェイであって
    前記集音機器から音声情報を受信する第１送受信部と、
    前記受信された音声情報を解析する解析部とを備え、
    前記第１送受信部は、前記解析部により、前記音声情報が家電機器の制御に関連すると判定された場合、前記サーバ装置へ前記音声情報を送信し、且つ、前記サーバ装置から送信された制御指示を前記家電機器に送信するゲートウェイ。
JP2015512317A 2013-04-19 2014-04-16 家電機器の制御方法、家電機器制御システム、及びゲートウェイ Active JP6416752B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361813856P 2013-04-19 2013-04-19
US61/813,856 2013-04-19
PCT/JP2014/002173 WO2014171144A1 (ja) 2013-04-19 2014-04-16 家電機器の制御方法、家電機器制御システム、及びゲートウェイ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018128907A Division JP6475386B2 (ja) 2013-04-19 2018-07-06 機器の制御方法、機器、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2014171144A1 JPWO2014171144A1 (ja) 2017-02-16
JP6416752B2 true JP6416752B2 (ja) 2018-10-31

Family

ID=51731106

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2015512317A Active JP6416752B2 (ja) 2013-04-19 2014-04-16 家電機器の制御方法、家電機器制御システム、及びゲートウェイ
JP2018128907A Active JP6475386B2 (ja) 2013-04-19 2018-07-06 機器の制御方法、機器、及びプログラム
JP2019013932A Active JP6690031B2 (ja) 2013-04-19 2019-01-30 システムの制御方法、システム、及びプログラム
JP2020069547A Active JP6902136B2 (ja) 2013-04-19 2020-04-08 システムの制御方法、システム、及びプログラム

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2018128907A Active JP6475386B2 (ja) 2013-04-19 2018-07-06 機器の制御方法、機器、及びプログラム
JP2019013932A Active JP6690031B2 (ja) 2013-04-19 2019-01-30 システムの制御方法、システム、及びプログラム
JP2020069547A Active JP6902136B2 (ja) 2013-04-19 2020-04-08 システムの制御方法、システム、及びプログラム

Country Status (3)

Country Link
US (2) US9390716B2 (ja)
JP (4) JP6416752B2 (ja)
WO (1) WO2014171144A1 (ja)

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6416752B2 (ja) * 2013-04-19 2018-10-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 家電機器の制御方法、家電機器制御システム、及びゲートウェイ
MY179900A (en) 2013-08-29 2020-11-19 Panasonic Ip Corp America Speech recognition method and speech recognition apparatus
US9697368B2 (en) * 2014-07-29 2017-07-04 Google Technology Holdings LLC Regulating communication of audio data from a client device based on a privacy setting stored by the client device
US9741344B2 (en) * 2014-10-20 2017-08-22 Vocalzoom Systems Ltd. System and method for operating devices using voice commands
KR102412896B1 (ko) * 2014-12-18 2022-06-24 삼성전자 주식회사 단말의 설비 제어를 지원하는 방법 및 장치
JP6573474B2 (ja) * 2015-04-14 2019-09-11 シャープ株式会社 音声認識システム
CA2983274C (en) * 2015-04-19 2020-08-18 Rebecca Carol Chaky Water temperature control system and method
JP6739907B2 (ja) * 2015-06-18 2020-08-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器特定方法、機器特定装置及びプログラム
JP6516585B2 (ja) * 2015-06-24 2019-05-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御装置、その方法及びプログラム
JP6621613B2 (ja) * 2015-08-10 2019-12-18 クラリオン株式会社 音声操作システム、サーバー装置、車載機器および音声操作方法
CN105204743A (zh) * 2015-09-28 2015-12-30 百度在线网络技术（北京）有限公司 用于语音和视频通讯的交互控制方法及装置
JP6689518B2 (ja) * 2015-10-29 2020-04-28 文化シヤッター株式会社 開閉制御システム及び開閉制御方法
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US9820039B2 (en) 2016-02-22 2017-11-14 Sonos, Inc. Default playback devices
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
JP6675078B2 (ja) * 2016-03-15 2020-04-01 パナソニックＩｐマネジメント株式会社 誤認識訂正方法、誤認識訂正装置及び誤認識訂正プログラム
US9911417B2 (en) * 2016-04-01 2018-03-06 Tai-An Lu Internet of things system with voice-controlled functions and method for processing information of the same
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
KR102481881B1 (ko) * 2016-09-07 2022-12-27 삼성전자주식회사 외부 디바이스를 제어하는 서버 및 그 방법
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US20180247352A1 (en) * 2017-02-27 2018-08-30 Ncr Corporation Chatbot order submission
KR101965181B1 (ko) * 2017-03-30 2019-04-03 엘지전자 주식회사 홈 어플라이언스, 및 음성 인식 모듈
KR101936640B1 (ko) * 2017-03-31 2019-01-09 엘지전자 주식회사 홈 어플라이언스, 및 음성 인식 모듈
KR102068182B1 (ko) * 2017-04-21 2020-01-20 엘지전자 주식회사 음성 인식 장치, 및 음성 인식 시스템
KR20180118461A (ko) 2017-04-21 2018-10-31 엘지전자 주식회사 음성 인식 장치 및 음성 인식 방법
CN107204185B (zh) * 2017-05-03 2021-05-25 深圳车盒子科技有限公司 车载语音交互方法、系统及计算机可读存储介质
KR101995443B1 (ko) * 2017-07-26 2019-07-02 네이버 주식회사 화자 검증 방법 및 음성인식 시스템
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
KR102428148B1 (ko) * 2017-08-31 2022-08-02 삼성전자주식회사 가전 기기의 음성 인식을 위한 시스템과 서버, 방법
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
CN109525450A (zh) * 2017-09-18 2019-03-26 光宝科技股份有限公司 监控装置、监控系统及监控方法
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
JP7036561B2 (ja) * 2017-10-03 2022-03-15 東芝ライフスタイル株式会社 家電システム
KR102334340B1 (ko) 2017-10-03 2021-12-02 구글 엘엘씨 레이턴시 고려 사항을 이용한 디스플레이 모드 종속 응답 생성
US10826857B2 (en) * 2017-10-20 2020-11-03 Sap Se Message processing for cloud computing applications
JP6962158B2 (ja) * 2017-12-01 2021-11-05 ヤマハ株式会社 機器制御システム、機器制御方法、及びプログラム
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
JP7062958B2 (ja) * 2018-01-10 2022-05-09 トヨタ自動車株式会社 通信システム、及び通信方法
CN110085219A (zh) * 2018-01-26 2019-08-02 博西华电器（江苏）有限公司 家用电器及通过语音控制该家用电器的方法和系统
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
JP7245999B2 (ja) * 2018-02-14 2023-03-27 パナソニックＩｐマネジメント株式会社 制御情報取得システム、及び、制御情報取得方法
JP7065314B2 (ja) * 2018-02-14 2022-05-12 パナソニックＩｐマネジメント株式会社 制御システム、及び、制御方法
JP7281683B2 (ja) 2018-02-22 2023-05-26 パナソニックＩｐマネジメント株式会社 音声制御情報出力システム、音声制御情報出力方法およびプログラム
CN111788525B (zh) * 2018-02-28 2023-08-08 富士胶片株式会社 感光化射线性或感放射线性树脂组合物、抗蚀剂膜、图案形成方法、电子器件的制造方法、树脂
CN108520746B (zh) * 2018-03-22 2022-04-01 北京小米移动软件有限公司 语音控制智能设备的方法、装置及存储介质
KR20190111624A (ko) * 2018-03-23 2019-10-02 삼성전자주식회사 전자 장치 및 전자 장치의 음성 인식 제어 방법
CN108665900B (zh) 2018-04-23 2020-03-03 百度在线网络技术（北京）有限公司 云端唤醒方法及系统、终端以及计算机可读存储介质
US10692493B2 (en) * 2018-05-01 2020-06-23 Dell Products, L.P. Intelligent assistance using voice services
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10325596B1 (en) * 2018-05-25 2019-06-18 Bao Tran Voice control of appliances
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US20210201910A1 (en) * 2018-10-05 2021-07-01 Mitsubishi Electric Corporation VOICE OPERATION ASSISTANCE SYSTEM, VOICE PROCESSING DEVICE, AND VOICE OPERATION ASSISTANCE DEVICE (as amended)
JP2020060951A (ja) * 2018-10-10 2020-04-16 三菱電機株式会社 制御装置、機器制御システム、機器制御方法及びプログラム
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
CN109788360A (zh) 2018-12-12 2019-05-21 百度在线网络技术（北京）有限公司 基于语音的电视控制方法和装置
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
CN109584874A (zh) * 2018-12-15 2019-04-05 深圳壹账通智能科技有限公司 电器设备控制方法、装置、电器设备及存储介质
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
KR20200092742A (ko) 2019-01-25 2020-08-04 삼성전자주식회사 보이스 어시스턴트 서비스를 제공하는 시스템 및 방법
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
JP7256443B2 (ja) * 2019-02-27 2023-04-12 ブラザー工業株式会社 プログラムセット、システム、特定のプリンタを制御する方法、コンピュータプログラム、および、端末装置
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11605378B2 (en) 2019-07-01 2023-03-14 Lg Electronics Inc. Intelligent gateway device and system including the same
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
CN112565849A (zh) * 2019-09-26 2021-03-26 深圳市茁壮网络股份有限公司 一种数字电视的语音控制方法、电视控制系统及存储介质
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) * 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
JP2021140114A (ja) * 2020-03-09 2021-09-16 パナソニックＩｐマネジメント株式会社 情報端末、インターホンシステム、処理方法及びプログラム
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
JP7459760B2 (ja) 2020-10-27 2024-04-02 セイコーエプソン株式会社 表示システムの制御方法、表示システム
JP7500390B2 (ja) 2020-11-04 2024-06-17 株式会社東芝 制御装置、制御方法、プログラムおよび通信システム
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
JP2022092342A (ja) * 2020-12-10 2022-06-22 パナソニックＩｐマネジメント株式会社 表示制御システムおよびプログラム
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
CN115440200B (zh) * 2021-06-02 2024-03-12 上海擎感智能科技有限公司 车机系统的控制方法及控制系统

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002182896A (ja) * 2000-12-12 2002-06-28 Canon Inc 音声認識システム及び音声認識装置ならびにそれらの方法
JP3275840B2 (ja) * 1998-08-12 2002-04-22 日本電気株式会社 機器操作システム及び方法、並びに記録媒体
EP1088299A2 (en) * 1999-03-26 2001-04-04 Scansoft, Inc. Client-server speech recognition
JP2001319045A (ja) 2000-05-11 2001-11-16 Matsushita Electric Works Ltd 音声マンマシンインタフェースを用いたホームエージェントシステム、及びプログラム記録媒体
JP3728177B2 (ja) 2000-05-24 2005-12-21 キヤノン株式会社 音声処理システム、装置、方法及び記憶媒体
JP3581648B2 (ja) * 2000-11-27 2004-10-27 キヤノン株式会社 音声認識システム、情報処理装置及びそれらの制御方法、プログラム
US6738743B2 (en) 2001-03-28 2004-05-18 Intel Corporation Unified client-server distributed architectures for spoken dialogue systems
JP2003015682A (ja) * 2001-06-28 2003-01-17 Toho Gas Co Ltd 音声認識制御装置及び音声認識制御方法
JP3997459B2 (ja) 2001-10-02 2007-10-24 株式会社日立製作所 音声入力システムおよび音声ポータルサーバおよび音声入力端末
US6941265B2 (en) * 2001-12-14 2005-09-06 Qualcomm Inc Voice recognition system method and apparatus
JP2003295893A (ja) * 2002-04-01 2003-10-15 Omron Corp 音声認識システム、装置、音声認識方法、音声認識プログラム及び音声認識プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2004012653A (ja) 2002-06-05 2004-01-15 Matsushita Electric Ind Co Ltd 音声認識システム、音声認識クライアント、音声認識サーバ、音声認識クライアントプログラムおよび音声認識サーバプログラム
US7464035B2 (en) * 2002-07-24 2008-12-09 Robert Bosch Corporation Voice control of home automation systems via telephone
FR2853126A1 (fr) * 2003-03-25 2004-10-01 France Telecom Procede de reconnaissance de parole distribuee
JP2005072764A (ja) 2003-08-21 2005-03-17 Hitachi Ltd 機器制御システムとそのための装置及び機器制御方法
JP2005249829A (ja) 2004-03-01 2005-09-15 Advanced Media Inc 音声認識を行うコンピュータネットワークシステム
US20060074658A1 (en) * 2004-10-01 2006-04-06 Siemens Information And Communication Mobile, Llc Systems and methods for hands-free voice-activated devices
KR100695127B1 (ko) 2004-10-08 2007-03-14 삼성전자주식회사 다 단계 음성 인식 장치 및 방법
US20110054900A1 (en) * 2007-03-07 2011-03-03 Phillips Michael S Hybrid command and control between resident and remote speech recognition facilities in a mobile voice-to-speech application
JP5233989B2 (ja) * 2007-03-14 2013-07-10 日本電気株式会社 音声認識システム、音声認識方法、および音声認識処理プログラム
US8032383B1 (en) * 2007-05-04 2011-10-04 Foneweb, Inc. Speech controlled services and devices using internet
JP5327838B2 (ja) * 2008-04-23 2013-10-30 Ｎｅｃインフロンティア株式会社 音声入力分散処理方法及び音声入力分散処理システム
US20090271002A1 (en) * 2008-04-29 2009-10-29 David Asofsky System and Method for Remotely Controlling Electronic Devices
JP4769904B1 (ja) 2010-12-06 2011-09-07 用 西村 録音通信システム、録音通信装置、録音通信方法および録音通信プログラム
JP5771002B2 (ja) * 2010-12-22 2015-08-26 株式会社東芝 音声認識装置、音声認識方法および音声認識装置を搭載したテレビ受像機
US20120226981A1 (en) * 2011-03-02 2012-09-06 Microsoft Corporation Controlling electronic devices in a multimedia system through a natural user interface
JP5658641B2 (ja) 2011-09-15 2015-01-28 株式会社Ｎｔｔドコモ 端末装置、音声認識プログラム、音声認識方法および音声認識システム
US8825020B2 (en) * 2012-01-12 2014-09-02 Sensory, Incorporated Information access and device control using mobile phones and audio in the home environment
US9117449B2 (en) * 2012-04-26 2015-08-25 Nuance Communications, Inc. Embedded system for construction of small footprint speech recognition with user-definable constraints
KR20130133629A (ko) * 2012-05-29 2013-12-09 삼성전자주식회사 전자장치에서 음성명령을 실행시키기 위한 장치 및 방법
US9722811B2 (en) * 2012-09-10 2017-08-01 Samsung Electronics Co., Ltd. System and method of controlling external apparatus connected with device
US9230560B2 (en) * 2012-10-08 2016-01-05 Nant Holdings Ip, Llc Smart home automation systems and methods
US9460715B2 (en) * 2013-03-04 2016-10-04 Amazon Technologies, Inc. Identification using audio signatures and additional characteristics
JP6416752B2 (ja) 2013-04-19 2018-10-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 家電機器の制御方法、家電機器制御システム、及びゲートウェイ

Also Published As

Publication number Publication date
JP2019115047A (ja) 2019-07-11
JP2020144375A (ja) 2020-09-10
JP6475386B2 (ja) 2019-02-27
JP6690031B2 (ja) 2020-04-28
JP6902136B2 (ja) 2021-07-14
USRE48569E1 (en) 2021-05-25
US9390716B2 (en) 2016-07-12
WO2014171144A1 (ja) 2014-10-23
US20150243287A1 (en) 2015-08-27
JPWO2014171144A1 (ja) 2017-02-16
JP2018190436A (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
JP6475386B2 (ja) 機器の制御方法、機器、及びプログラム
JP6947852B2 (ja) 複数のコンピューティングデバイスを使用したインターホン式の通信
US9479911B2 (en) Method and system for supporting a translation-based communication service and terminal supporting the service
JP6428954B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6516585B2 (ja) 制御装置、その方法及びプログラム
JP6739907B2 (ja) 機器特定方法、機器特定装置及びプログラム
JP6053097B2 (ja) 機器操作システム、機器操作装置、サーバ、機器操作方法およびプログラム
KR101726945B1 (ko) 수동 시작/종료 포인팅 및 트리거 구문들에 대한 필요성의 저감
US9344878B2 (en) Method and system for operating communication service
WO2016052018A1 (ja) 家電管理システム、家電、リモコン装置、ロボット
CN111869185B (zh) 生成基于IoT的通知并提供命令以致使客户端设备的自动助手客户端自动呈现基于IoT的通知
KR102489914B1 (ko) 전자 장치 및 이의 제어 방법
US20200104094A1 (en) Customizable embedded vocal command sets for a lighting and/or other environmental controller
JP2018190413A (ja) ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム
JP6619488B2 (ja) 人工知能機器における連続会話機能
TW201828043A (zh) 受連接環境中基於語音特性的隱私性控制
JP2017144521A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2018063328A (ja) 電子機器及びその制御方法
WO2019017033A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20210166688A1 (en) Device and method for performing environmental analysis, and voice-assistance device and method implementing same
CN105245913B (zh) 信息获取方法及装置
JP2020198588A (ja) 音声処理システム、会議システム、音声処理方法、及び音声処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181004

R150 Certificate of patent or registration of utility model

Ref document number: 6416752

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150