JP6690031B2 - システムの制御方法、システム、及びプログラム - Google Patents

システムの制御方法、システム、及びプログラム Download PDF

Info

Publication number
JP6690031B2
JP6690031B2 JP2019013932A JP2019013932A JP6690031B2 JP 6690031 B2 JP6690031 B2 JP 6690031B2 JP 2019013932 A JP2019013932 A JP 2019013932A JP 2019013932 A JP2019013932 A JP 2019013932A JP 6690031 B2 JP6690031 B2 JP 6690031B2
Authority
JP
Japan
Prior art keywords
voice information
server
gateway
control
control instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019013932A
Other languages
English (en)
Other versions
JP2019115047A (ja
Inventor
中野 稔久
稔久 中野
大森 基司
基司 大森
宜子 広瀬
宜子 広瀬
小塚 雅之
雅之 小塚
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201361813856P priority Critical
Priority to US61/813,856 priority
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America, パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America
Publication of JP2019115047A publication Critical patent/JP2019115047A/ja
Application granted granted Critical
Publication of JP6690031B2 publication Critical patent/JP6690031B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/22Interactive procedures; Man-machine interfaces
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Description

本発明は、ネットワークに接続可能な集音機器が音声情報を収集し、収集した音声情報に基づいて、ネットワークを介して家電機器を制御する、家電機器制御システムに関するものである。
近年、ネットワーク接続機能を有した家電機器の普及に伴い、ネットワークを介して家電機器を制御するシステムが提案されている。また、音声認識技術における認識率の向上に伴い、家電機器に対する操作命令を音声入力し、家電機器を制御することが可能となってきた。
従来の音声認識システムとしては、クライアントで入力した音声情報をサーバに送信し、音声認識をサーバで行うことで、処理能力が低いクライアントの負荷を低減する技術が提案されている(例えば、特許文献1参照)。
前記特許文献1では、クライアントが、音声情報の特徴パラメータを圧縮符号化し、圧縮符号化した特徴パラメータを送信することで、クライアントとサーバとの間のデータ送信量が抑えられている。
特開2001−337695号公報
しかしながら、前記特許文献1では、サーバが全ての音声認識を行っているため、音声認識対象の音声情報が全て、クライアントからサーバに送信されている。つまり、クライアントが入力した音声情報が全てサーバに転送される。その結果、サーバへのデータ集中を回避するために、クライアントとサーバとの間のデータ送信量を更に削減する必要があった。
上記課題を解決するための本発明の一態様による制御方法は、サーバ装置と機器とを備えるシステムにより実行されるシステムの制御方法であって、
前記機器は、
利用者が発した音声から音声情報を取得し、
前記音声情報が前記機器の制御に関連する定型文を示すと判定した場合、前記定型文に対応する制御指示を実行し、
前記音声情報がネットワークを介してサーバ装置への送信が必要と判定した場合、前記音声情報を前記サーバ装置へ送信し、
前記サーバ装置は、
前記機器から送信された前記音声情報を取得し、
前記音声情報に対して所定の処理を実施し、
前記音声情報が前記サーバ装置への送信が必要と判定した場合とは、
前記音声情報が前記ネットワークを介して接続される家電機器の制御に関連する音声情報であると判定した場合である。
この構成によれば、利用者のプライバシーを保護すると同時に、サーバへのデータ集中を回避し、利用者の音声情報を認識して利用者が所有する家電機器を適切に制御し得る。
本発明の実施の形態による家電機器制御システムの全体構成の一例を示す図である。 本発明の実施の形態によるサーバ装置の構成の一例を示すブロック図である。 本発明の実施の形態による集音機器の構成の一例を示すブロック図である。 本発明の実施の形態によるゲートウェイの構成の一例を示すブロック図である。 本発明の実施の形態による家電機器の構成の一例を示すブロック図である。 本発明の実施の形態による制御情報テーブルのデータ構成の一例を示す図である。 本発明の実施の形態による機器管理情報テーブルのデータ構成の一例を示す図である。 本発明の実施の形態による制御情報保持部が保持する制御情報テーブルのデータ構成の一例を示す図である。 本発明の実施の形態による機器管理情報テーブルのデータ構成の一例を示す図である。 本発明の実施の形態において、集音機器が音声情報を収集し、ゲートウェイ又はサーバ装置が制御指示を家電機器へ送信する場合の家電機器制御システムの動作の一例を示すフローチャートである。 本発明の実施の形態において、集音機器が音声情報を収集し、ゲートウェイ又はサーバ装置が制御指示を家電機器へ送信する場合の家電機器制御システムの動作の一例を示すフローチャートである。 本発明の実施の形態において、集音機器が音声情報を収集し、ゲートウェイ又はサーバ装置が制御指示を家電機器へ送信する場合の家電機器制御システムの動作の一例を示すフローチャートである。 本発明の実施の形態において、集音機器が音声情報を収集し、ゲートウェイ又はサーバ装置が制御指示を家電機器へ送信する場合の家電機器制御システムの動作の一例を示すフローチャートである。 本発明の実施の形態において、ゲートウェイにおける音声情報の解析処理を説明するための模式図である。 本発明の実施の形態において、サーバ装置における音声情報の認識処理を説明するための模式図である。 本発明の実施の形態の変形例のフローチャートである。 本発明の実施の形態において、制御指示の内容を利用者に問い合わせる画面の一例を示す図である。 本発明の実施の形態による確認結果データベースのデータ構成の一例を示す図である。 本発明の実施の形態の別の変形例のフローチャートである。 本発明の実施の形態の更に別の変形例のフローチャートである。 本発明の実施の形態において、制御指示の内容を利用者に問い合わせる画面の一例を示す図である。 本発明の実施の形態の別の変形例のフローチャートである。 本発明の実施の形態において、サーバ装置に音声情報を送信してもよいか否かを利用者に問い合わせる画面の一例を示す図である。
(本発明の一態様に至る経緯)
近年、部屋に設置された集音機器が利用者の発する会話や利用者の行為によって発生する音を収集してクラウドサーバに送信し、クラウドサーバがその音を分析して、利用者の指示、意図、及び状況等を理解して、その理解に基づいて部屋に設置された家電機器を制御する技術に関する研究が進められている。
利用者の指示、意図、及び状況等をグラウドサーバに理解させるには、集音機器が集音した音声を全てクラウドサーバに送信することが好ましい。その際、問題となるのが利用者のプライバシーである。つまり、全ての音声がクラウドサーバに送信されることに対して、プライバシーの観点から懸念を持つ利用者も存在する。
前記特許文献1では、認識対象の音声情報が全てクラウドサーバに送信されており、利用者のプライバシーを保護するという課題が全く考慮されていない。よって、上述の懸念を持つ利用者の要望に全く応えることはできない。
更に、特許文献1では、背景技術でも述べたように、認識対象となる音声情報が全てサーバに送信されているため、サーバへのデータ集中を回避するためには更なる改善の余地がある。
本発明の一態様の目的は、利用者のプライバシーを保護すると同時に、サーバへのデータ集中を回避し、利用者の音声情報を認識して利用者が所有する家電機器を適切に制御し得る技術を提供することである。
本発明の一態様による制御方法は、サーバ装置と、家電機器と、ゲートウェイと、集音機器とを備える家電機器制御システムにおける家電機器の制御方法であって、
前記ゲートウェイは、利用者の音声情報を前記集音機器から受信し、前記受信した音声情報を解析し、前記解析した音声情報が前記家電機器の制御に関連する音声情報であると判定した場合、前記音声情報を前記サーバ装置へ送信し、
前記サーバ装置は、前記ゲートウェイから受信した音声情報を認識し、前記認識した音声情報が前記家電機器の制御に関連する音声情報であると判定した場合、前記ゲートウェイへ前記音声情報に対応する制御指示を送信し、
前記家電機器は、前記ゲートウェイを介して前記サーバ装置から制御指示を受信し、前記制御指示を実行する。
この場合、ゲートウェイは、集音機器が集音した音声情報に、例えば所定のキーワードが含まれており、その音声情報が家電機器の制御に関する音声情報であれば、その音声情報をサーバ装置へ送信する。つまり、ゲートウェイは、音声情報が家電機器の制御に関する音声情報でなければ、その音声情報をサーバ装置に送信しない。そのため、音声認識のためにサーバ装置へ送信する音声情報のデータ転送量を削減することが可能となる。
また、集音機器が集音した音声情報のうちサーバ装置への送信が必要とゲートウェイが、判断した音声情報のみがサーバ装置に送信される。そのため、家庭内の会話等プライベートな情報がサーバ装置に送信されることを抑制できる。
上記態様において、前記ゲートウェイは、前記集音機器から受信した音声情報が、前記家電機器の制御に関連する定型文を示すと判定した場合、前記音声情報を前記サーバ装置へ送信する代わりに、前記定型文に対応する制御指示を前記家電機器へ送信してもよい。
この場合、ゲートウェイは、集音機器が集音した音声情報が定型文であれば、定型文に対応する制御指示を、家電機器に送信する。つまり、ゲートウェイは、自身で制御対象の家電機器に対する制御指示を決定できる場合、音声情報をサーバ装置へ送信しない。
そのため、音声認識のためにサーバ装置へ送信する音声情報のデータ転送量を更に削減すると同時に利用者のプライバシーを更に保護できる。
上記態様において、前記ゲートウェイは、前記受信した音声情報が前記定型文を示すと
判定した場合、前記定型文に対応する制御指示の内容をネットワークを介して接続された入力装置に出力させ、前記内容が正しい旨の前記利用者の確認入力が前記入力装置により受け付けられた場合、前記定型文に対応する制御指示を前記家電機器へ送信してもよい。
この場合、サーバ装置が認識した制御指示が正しいか否かを利用者に問い合わせ、正しい旨の確認結果が入力された場合に、家電機器に制御指示が送信される。そのため、利用者の意図に反する動作を家電機器が行うことを防止できる。
上記態様において、前記ゲートウェイは、前記サーバ装置から受信した制御指示の内容をネットワークを介して接続された入力装置に出力させ、前記内容が正しい旨の前記利用者の確認入力が前記入力装置により受け付けられた場合、前記サーバ装置から受信した制御指示を前記家電機器へ送信してもよい。
この場合、ゲートウェイが認識した制御指示が正しいか否かを利用者に問い合わせ、正しい旨の確認結果が入力された場合に、家電機器に制御指示が送信される。そのため、利用者の意図に反する動作を家電機器が行うことを防止できる。
上記態様において、前記サーバ装置は、前記ゲートウェイから送信された音声情報の認識結果の正誤を利用者に問い合わせるための問い合わせ通知を前記ゲートウェイに送信し、
前記ゲートウェイは、前記問い合わせ通知が示す前記認識内容をネットワークを介して接続された入力装置に出力させ、前記認識内容に対する前記利用者の回答を示す音声情報であって前記入力装置で受け付けられた音声情報を前記入力装置から受信した場合、前記受け付けられた音声情報を解析せずに、前記サーバ装置に送信してもよい。
ゲートウェイが利用者からの全ての回答を示す音声情報を一律に解析する態様を採用すると、例えば、この音声情報に定型文が含まれていれば、ゲートウェイは、家電機器にこの定型文に対応する制御指示を送信してしまう。これでは、サーバ装置は、利用者による確認結果を取得できず、音声情報の認識結果が正しいか否かを判断できない。そこで、本態様では、ゲートウェイは、利用者からの回答を示す音声情報を入力装置から受信した場合、この音声情報を解析することなくサーバ装置へ送信している。これにより、サーバ装置が利用者による回答を取得できなくなる事態を回避できる。
上記態様において、前記ゲートウェイは、前記音声情報を前記サーバ装置に送信する場合、前記送信の可否を利用者に問い合わせるための問い合わせ通知を前記ネットワークを介して接続された入力装置に出力し、前記利用者から前記送信を許可する確認入力が前記入力装置により受け付けられた場合、前記音声情報を前記サーバ装置に送信してもよい。
この場合、ゲートウェイが音声情報をサーバ装置に送信すると判断した場合であっても、利用者により音声情報をサーバ装置に送信してもよいとの承諾が得られた場合にのみ音声情報がサーバ装置に送信される。そのため、利用者のプライバシーを更に保護できると同時に、サーバ装置に送信されるデータ量を抑制できる。
上記態様において、前記ゲートウェイは、前記サーバ装置に前記音声情報を送信する場合、前記ゲートウェイの周辺の環境情報を取得して前記サーバ装置に送信し、
前記サーバ装置は、前記ゲートウェイから送信された前記音声情報及び前記環境情報を用いて前記制御指示を決定してもよい。
この場合、音声情報のみならず、ゲートウェイの周辺の環境情報、すなわち、利用者の宅内の環境情報もサーバ装置に送信されるため、サーバ装置は利用者が意図する制御指示をより正確に決定できる。
上記態様において、前記ゲートウェイは、前記定型文と前記定型文に対応する制御指示とが対応付けて保持された制御情報テーブルを用いて前記定型文に対応する制御指示を決定してもよい。
この場合、制御情報テーブルには定型文と定型文に対応する制御指示とが対応付けられているため、ゲートウェイは定型文に対応する制御指示を高速且つ正確に決定できる。
上記態様において、前記定型文は、制御対象となる家電機器と、前記家電機器に対する制御指示とを含む文であり、
前記家電機器の制御に関連する音声情報は、前記定型文には該当しないが、前記家電機器を制御する関連する単語を含む音声情報であってもよい。
以下本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態)
1.1 家電機器制御システムの構成
図1は、実施の形態による家電機器制御システムの全体構成の一例を示す図である。図1に示すように、家電機器制御システムは、サーバ装置101、集音機器102、ゲートウェイ103、及び家電機器104を備える。
図1の例では、集音機器102とゲートウェイ103と家電機器104とは利用者の宅内に設置されている。ゲートウェイ103とサーバ装置101とは、外部ネットワークを介して相互に通信可能に接続されている。外部ネットワークとしては例えば、インターネットが採用される。したがって、ゲートウェイ103及びサーバ装置101はTCP/IP等のインターネットの通信プロトコルを用いて相互に通信を行う。集音機器102、ゲートウェイ103、及び家電機器104は、内部ネットワークを介して相互に通信可能に接続されている。内部ネットワークとしては、例えば、IEEE802.3シリーズの有線LAN、IEEE802.11シリーズの無線LAN、或いは両者が混在するローカルエリアネットワークが採用される。
制御対象の家電機器104は、例えば、エアコン等の空調機器、テレビ等のAV機器、洗濯機、照明機器、電子シャッター、或いはインターフォン等である。ゲートウェイ103は、自身と接続している家電機器104に対し、家電機器104を識別する機器IDと機器種別とを対応付けて管理している。
宅内にある集音機器102は、利用者の会話を含む音声情報を収集し、宅内のゲートウェイ103へ送信する。音声情報を受信したゲートウェイ103は、音声モデルや辞書データ等を含むデータベースを用いて、受信した音声情報(入力音声)の簡易解析を行う。そして、ゲートウェイ103は、解析結果が、家電機器104の制御に関連する定型文である場合、家電機器104に対して定型文が示す制御指示を送信する。なお、この「定型文」は、ゲートウェイ103のデータベースが予め保持している解析キーワードであり、制御指示が予め対応付けられている。よって、ゲートウェイ103は、このデータベースを参照することで、解析の結果得られた「定型文」が示す制御指示を特定できる。ゲートウェイ103は、解析結果が、予め保持している定型文である場合、サーバ装置101へ音声情報を送信しない。
一方、解析結果が定型文ではないが、家電機器104の制御に関連する単語(例えば「電源」等)を含む場合、ゲートウェイ103は、集音機器102から受信した音声情報を
サーバ装置101へ送信する。なお、この「単語」は、ゲートウェイ103のデータベースが予め保持している解析キーワードであり、制御指示が対応付けられていない。よって、ゲートウェイ103は、「単語」と家電機器104を制御するための制御指示とを対応付けることができない。ゲートウェイ103は、解析結果が、予め保持している定型文でなく単語を含む場合、サーバ装置101へ音声情報を送信する。
音声情報を受信したサーバ装置101は、音声モデルや辞書データ等を含むデータベースを用いて、受信した音声情報(入力音声)の認識処理を行う。サーバ装置101は、認識結果が、家電機器104の制御に関連する内容(例えば「テレビを見たい」等)を含む場合に、ゲートウェイ103を介して、家電機器104に対して制御指示を送信する。
1.2 サーバ装置101の構成
続いて、サーバ装置101の詳細な構成を説明する。図2は、サーバ装置101の構成の一例を示すブロック図である。
サーバ装置101は、図2に示すように、送受信部201、認識部202、データベース保持部203、制御情報保持部204、機器管理情報保持部205、判断部206、及び制御部207を備える。
サーバ装置101は、具体的には図示されていないマイクロプロセッサ、RAM、ROM、及びハードディスク等から構成される。前記RAM、ROM、及びハードディスクにはコンピュータプログラムが記憶されており、前記マイクロプロセッサが前記コンピュータプログラムに従って動作することにより、サーバ装置101はその機能を果たす。
なお、サーバ装置101の送受信部201、認識部202、データベース保持部203、制御情報保持部204、機器管理情報保持部205、判断部206、制御部207等の各機能ブロックは、集積回路であるLSIとして実現されてもよい。これらは個別に1チップ化されてもよいし、1以上のブロック、又は各ブロックの一部を含むように1チップ化されてもよい。
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、各機能ブロックは、ソフトウェアで実現されてもよいし、LSIとソフトウェアの組み合わせで実現されてもよい。また、ソフトウェアは耐タンパ化されていてもよい。
(1) 送受信部201
送受信部201は、例えば、サーバ装置101をインターネットに接続させるための通信装置を含む。そして、送受信部201は、ゲートウェイ103から、集音機器102が収集した音声情報とゲートウェイIDとを受信する。また、送受信部201は、ゲートウェイ103へ、家電機器104の機能をコントロールするための制御指示を送信する。家電機器104への制御指示とは、例えば、テレビについては、例えば、電源ON/OFFの指示、チャンネル切り替えの指示、及び音量調節の指示等が該当し、エアコンについては、例えば、電源ON/OFFの指示及び温度調節の指示等が該当し、電動シャッターについては、例えば、電動シャッターの開閉の指示等が該当する。
(2) 認識部202及びデータベース保持部203
認識部202は、データベース保持部203が保持する音声モデルや辞書データを用いて、送受信部201を介して受信した音声情報(入力音声)を分析する認識処理を実行し、認識結果を出力する。ここで、サーバ装置101は、一般に利用、又は公開されている任意の音声認識技術を用いて、音声情報を認識すればよい。以下、簡単に説明する。
図15は、サーバ装置101における音声情報の認識処理を説明するための模式図である。音声モデル1501は、音声の波形の特徴がモデル化されたデータである。図15の例では、音声モデル1501として、例えば、「ア(a)」、「イ(i)」、「ウ(u)」といった、日本語の音素の音声モデル1501が示されている。
辞書データ1502には、単語を保持する単語データベース1504だけでなく、1以上のパターンの単語の並び順を保持する並び順データベース1505も含まれる。
図15の単語データベース1504の例では、日本語の「電源(dengen)」、「ON」、「OFF」、「点ける(tsukeru)」、「消す(kesu)」、「暑い(atsui)」、「寒い(samui)」、「温度(ondo)」、「気温(kion)」等が登録されている。
また、図15の並び順データベース1505の例では、日本語の「電源(dengen)」という単語の次にくる単語の候補として、日本語の助詞の「を(wo)」、「が(ga)」、「の(no)」等が挙げられ、この助詞の次にくる単語の候補として、日本語の「点ける(tsukeru)」、「消す(kesu)」等が挙げられている。
まず、認識部202は、入力された音声情報1503の音素の並びを音声モデル1501を用いて検出する。次に、認識部202は、検出した音素の並びに対して、単語データベース1504及び並び順データベース1505を参照して、1以上の音素に対して単語を割り当てる。ここで、並び順データベース1505には、各単語の候補に対する確率が定められており、認識部202は、この確率にしたがって単語を決定する。このような処理を用いて認識部202は音声情報1503を認識する。
(3) 制御情報保持部204
制御情報保持部204は、家電機器104ごとの機能をコントロールするための制御情報テーブルを保持している。
図6は、制御情報テーブルのデータ構成の一例を示す図である。図6の制御情報テーブルの例では、「機器種別」と「制御指示」とが対応付けて保持されている。「機器種別」は、エアコン、テレビ、洗濯機といった、家電機器104の種別を識別するデータである。図6の例では、エアコンに対する制御指示として、電源ON、電源OFF、及び温度を1度上げる等が保持されている。
図6において、「制御指示」としては、機能をコントロールするための指示情報が採用されてもよいし、制御コマンドそのものが採用されてもよい。また、図6に例示された機器種別及び制御指示は一例にすぎず、他の種別の家電機器104が制御対象となるのであれば、当然、その家電機器104の機器種別及び制御指示が図6に登録される。
(4) 機器管理情報保持部205
機器管理情報保持部205は、同一宅内に存在するゲートウェイ103、家電機器104、及び家電機器104の種別を管理するための機器管理情報テーブルを保持する。
図7は、機器管理情報テーブルのデータ構成の一例を示す図である。機器管理情報テーブルには、「ゲートウェイID」、「機器ID」、及び「機器種別」が対応付けて保持されている。「ゲートウェイID」は、ゲートウェイ103を個々に区別するための識別子であり、例えば、ゲートウェイ103の製造番号が採用できる。「機器ID」は、家電機器104を個々に区別するための識別子であり、例えば、家電機器104の製造番号が採用できる。「機器種別」は、図6に示す「機器種別」と同じである。
図7の機器管理情報テーブルの例では、ゲートウェイID「32456389」を持つ
ゲートウェイ103と、機器ID「123456」及び機器ID「896023」とを持つ家電機器104は同一宅内に存在することが示されている。また、両家電機器104は、それぞれ「エアコン」及び「テレビ」であることが示されている。
(5) 判断部206
判断部206は、ゲートウェイ103から受信した音声情報の認識部202による認識結果が家電機器104の制御に関するものである場合、機器管理情報保持部205が保持する機器管理情報テーブル(図7)と、送受信部201がゲートウェイ103から受信したゲートウェイIDとを用いて、認識結果に対応する家電機器104と同じ機器種別の家電機器104が、当該ゲートウェイ103と同一宅内に存在するか否かを判断する。例えば、ゲートウェイID「32456389」のゲートウェイ103から送信された音声情報の認識結果が「エアコン」の制御に関するものである場合、機器管理情報テーブル(図7)には、このゲートウェイ103に対して「エアコン」が対応付けて登録されているため、このゲートウェイ103と同一宅内に「エアコン」が存在すると判断される。
(6) 制御部207
制御部207は、上記(1)〜(5)の各ブロックを管理・制御して、サーバ装置101の機能を実現する。
1.3 集音機器102の構成
続いて、集音機器102の詳細な構成を説明する。図3は、集音機器102の構成の一例を示すブロック図である。
集音機器102は、図3に示すように、送受信部301、集音部302、及び制御部303を備える。
集音機器102は、具体的には図示されていないマイクロプロセッサ、RAM、ROM、及びハードディスク等から構成される。前記RAM、ROM、及びハードディスクにはコンピュータプログラムが記憶されており、前記マイクロプロセッサが前記コンピュータプログラムに従って動作することにより、集音機器102はその機能を果たす。
なお、送受信部301、集音部302、及び制御部303等の各機能ブロックは集積回路であるLSIとして実現されてもよい。これらは個別に1チップ化されてもよいし、1以上のブロック、又は各ブロックの一部を含むように1チップ化されてもよい。
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、各機能ブロックは、ソフトウェアで実現されてもよいし、LSIとソフトウェアの組み合わせで実現されてもよい。また、ソフトウェアは耐タンパ化されていてもよい。
(1)送受信部301
送受信部301は、例えば、IEEE802.3シリーズの有線LANやIEEE802.11シリーズの無線LANの通信装置を含む。そして、送受信部301は、集音部302が収集した音声情報をゲートウェイ103へ送信する。
(2)集音部302
集音部302は、利用者による家電を制御するための直接的な音声指示(例えば「テレビON」等)を収集する。また、集音部302は、利用者による家電機器104を制御するための直接的な指示ではない日常会話等も収集することができる。具体的には、集音部302は、マイク及びマイクが検知した音声信号を処理する処理部等を含む。ここで、集音部302は、例えば、マイクから出力される音声信号からノイズ等を除去し、アナログデジタル変換してデジタルの音声信号を生成する処理等を実行する。また、集音部302は、マイクから音声信号が出力されると、即座にノイズ除去及びアナログデジタル変換等の処理を開始し、処理結果を随時、送受信部301に出力する。
(3)制御部303
制御部303は、上記(1)〜(2)の各ブロックを管理・制御して、集音機器102の機能を実現する。
1.4 ゲートウェイ103の構成
続いて、ゲートウェイ103の詳細な構成を説明する。図4は、ゲートウェイ103の構成の一例を示すブロック図である。
ゲートウェイ103は、図4に示すように、送受信部401、解析部402、データベース保持部403、制御情報保持部404、機器管理情報保持部405、判断部406、ゲートウェイID保持部407、及び制御部408を備える。
ゲートウェイ103は、具体的には図示されていないマイクロプロセッサ、RAM、ROM、及びハードディスク等から構成される。前記RAM、ROM、及びハードディスクにはコンピュータプログラムが記憶されており、前記マイクロプロセッサが前記コンピュータプログラムに従って動作することにより、ゲートウェイ103はその機能を果たす。
なお、送受信部401、解析部402、データベース保持部403、制御情報保持部404、機器管理情報保持部405、判断部406、ゲートウェイID保持部407、制御部408等の各機能ブロックは集積回路であるLSIとして実現されてもよい。これらは個別に1チップ化されてもよいし、1以上のブロック、又は各ブロックの一部を含むように1チップ化されてもよい。
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
また、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、各機能ブロックは、ソフトウェアで実現されてもよいし、LSIとソフトウェアの組み合わせで実現されてもよい。また、ソフトウェアは耐タンパ化されていてもよい。
(1) 送受信部401
送受信部401は、ゲートウェイ103を内部ネットワークに接続させる通信装置及び外部ネットワークに接続させる通信装置を含む。そして、送受信部401は、集音機器102から、集音機器102が収集した音声情報を内部ネットワークを介して受信する。また、送受信部401は、家電機器104へ、家電機器104の機能をコントロールするための制御指示を内部ネットワークを介して送信する。また、送受信部401は、サーバ装置101へ、認識処理を依頼する音声情報を外部ネットワークを介して送信する。さらに、送受信部401は、サーバ装置101から受信した家電機器104への制御指示を外部ネットワークを介して受信し、対象の家電機器104へ送信する。
家電機器104への制御指示としては、例えば、テレビであれば、電源ON/OFFの指示、チャンネル切り替えの指示、及び音量調節の指示等が採用され、エアコンであれば、例えば、電源ON/OFFの指示及び温度調節の指示等が採用される。
(2) 解析部402及びデータベース保持部403
解析部402は、データベース保持部403が保持する音声モデル及び辞書データを用いて、送受信部401が集音機器102から受信した音声情報(入力音声)の解析を行い、解析結果を出力する。ここで、解析部402は、一般に利用、又は公開されている任意の音声認識技術を用いて、音声情報を解析すればよい。以下、簡単に説明する。
図14は、ゲートウェイ103における音声情報の解析処理を説明するための模式図である。音声モデル1401は、図15の音声モデル1501と同様、音声の波形の特徴がモデル化されたデータである。
辞書データ1402は、前述した家電機器104の制御に関連する1以上の定型文を保持する定型文データベース1404と、単語を保持する単語データベース1405とを含む。なお、辞書データ1402には、1以上のパターンの単語の並び順を保持する並び順データベースが含まれても良い。
定型文データベース1404には、例えば、「テレビON」、「テレビOFF」、「2チャンネル」、「照明ON」、「照明OFF」、「エアコンON」、「エアコンOFF」というように、制御対象となる家電機器104と、その家電機器104に対する制御指示が明確に分かる文が保持されている。
単語データベース1405には、例えば、「電源」、「ON」、「OFF」、「点ける」、「消す」、「温度」、「気温」というように、家電機器104を制御する際に用いられる単語や、「暑い」、「寒い」、「暗い」、というように、家電機器104の制御を示唆する単語が保持されている。
まず、解析部402は、入力された音声情報1403の音素の並びを音声モデル1401を用いて検出する。次に、解析部402は、検出した音素の並びに対して、単語データベース1405を参照して、1以上の音素に対して単語を割り当てる。そして、割り当てた単語から得られる文が定型文データベース1404に保持されているいずれか1の定型文と一致すれば、入力された音声情報は定型文であると判定する。
一方、解析部402は、検出した音素の並びに単語を割り当てた文が、定型文データベース1404に保持されたいずれの定型文にも該当しなかった場合、入力された音声情報は家電の制御に関する単語であると判定する。ここで、単語データベース1405には、家電機器104の制御に関する単語が登録されているため、検出した音素の並びに単語を割り当てることができなかった場合、解析部402は、入力された音声情報は家電機器104の制御に関する単語でなく、且つ定型文でもないと判定すればよい。
なお、ゲートウェイ103が保持する単語データベース1405に登録されている単語数はサーバ装置101が保持する単語データベース1504よりも遙かに少ない。また、ゲートウェイ103に並び順データベースを保持させる態様を採用したとしても、この並び順データベースに登録された並び順のパターンはサーバが保持する並び順データベース1505に登録されたパターンより遙かに少ない。また、ゲートウェイ103が保持する音声モデル1401に登録されている音声モデルの個数及び1の音声モデルを構成するデータ点数はサーバ装置101が保持する音声モデル1501に登録されている音声モデルの個数及び1の音声モデルを構成するデータ点数に比べて遙かに少ない。よって、サーバ装置101は、ゲートウェイ103に対してより高度な音声情報の認識処理を実現する。
解析部402は、音声情報の解析結果が、家電機器104の制御に関連する定型文である場合、音声情報をサーバ装置101に送信しないと判定し、判断部406に解析結果(定型文)を通知する。この場合、ゲートウェイ103が、定型文と家電機器104を制御するための制御指示とを対応付ける処理を行う。
一方、解析部402は、音声情報の解析結果が、家電機器104の制御に関連する定型文でなはないが、家電機器104の制御に関連する単語を含む場合、音声情報をサーバ装置101に送信すると判定し、送受信部401を介してサーバ装置101へ、音声情報を送信する。この場合、サーバ装置101が受信した音声情報の認識処理を行う。
なお、データベース保持部403は、サーバ装置101から新しい定型文及び単語が送信された場合、これらの定型文及び単語を、保持している辞書データ(定型文及び単語)に追加してもよい。この詳細については後述する。
(3) 制御情報保持部404
制御情報保持部404は、家電機器104ごとの機能をコントロールするための制御情報テーブルを保持している。
図8は、制御情報保持部404が保持する制御情報テーブルのデータ構成の一例を示す図である。図8の制御情報テーブルの例では、「機器種別」と「制御指示」と「定型文」とが対応付けて保持されている。「機器種別」は、図6に示す「機器種別」と同じである。「制御指示」は、図6に示す「制御指示」と同じである。「定型文」は、制御対象となる家電機器104と、その家電機器104に対する制御指示が明確に分かる文である。制御情報テーブルが保持する定型文は図14に示す定型文データベース1404にも保持されている。
図8の例では、エアコンに対応する制御指示として、電源ON、電源OFF、及び温度を1度上げる等が登録されている。また、図8の例では、エアコンの電源ONに対応する定型文として、「エアコンON」、「エアコン点ける」等が登録され、エアコンの電源OFFに対応する定型文として「エアコンOFF」、「エアコン消す」等が登録されている。ここで、制御情報テーブルに登録される「制御指示」としては、機能をコントロールするための指示情報が採用されてもよいし、制御コマンドそのものが採用されてもよい。また、図8の例では、機器種別としてエアコン及びテレビが例示されているが、利用者の宅内に他の種別の家電機器104が設置されていれば、その家電機器104の機器種別、制御指示、及び定型文が制御情報テーブルに登録される。
(4) 機器管理情報保持部405
機器管理情報保持部405は、ゲートウェイ103と同一宅内に存在する家電機器104及び家電機器104の機器種別を管理するための機器管理情報テーブルを保持する。
図9は、機器管理情報テーブルのデータ構成の一例を示す図である。図9に示す機器管理情報テーブルの例では、「機器ID」と「機器種別」とが対応付けて保持されている。「機器ID」は、ゲートウェイ103と同一宅内に存在する家電機器104を個々に区別するための識別子であり、例えば、家電機器104の製造番号が採用される。「機器種別」は、家電機器の種別を識別するためのデータである。
図9の例では、機器ID「123456」、機器ID「896023」を持つ家電機器104が、ゲートウェイ103と同一宅内に存在することが示されている。また、両家電機器104がそれぞれ「エアコン」と「テレビ」であることが示されている。なお、図9の例では、機器種別としてエアコン及びテレビが例示されているが、利用者の宅内に他の種別の家電機器104が設置されていれば、その家電機器104の機器ID及び機器種別が制御情報テーブルに登録される。
(5) 判断部406
判断部406は、解析部402から、定型文の解析結果が通知されると、機器管理情報保持部405が保持する機器管理情報テーブルを用いて、その解析結果に対応する家電機器104が、ゲートウェイ103と同一宅内に存在するか否かを判断する。そして、判断部406は、対応する家電機器104が同一宅内に存在すると判断した場合、制御情報保持部404が保持している制御情報テーブルを用いて、解析結果(定型文)に対応する制御指示を決定する。判断部406は、決定した制御指示を、送受信部401を介して、同一宅内に存在すると判断した家電機器104へ送信する。
例えば、解析部402からエアコンONの解析結果が通知されたとすると、判断部406は、機器管理情報テーブル(図9)の「機器種別」にエアコンが登録されているか否かを調べる。図9の例では、「機器種別」として、エアコンが登録されているため、判断部406は、解析結果に対応する家電機器104がゲートウェイ103と同一宅内に存在すると判断する。次に、判断部406は、制御情報テーブル(図8)を用いて「エアコンON」に対応する制御指示を特定する。図8の例では、「エアコンON」の定型文に対して「電源ON」の制御指示が対応付けられているため、判断部406は、エアコンの「電源ON」を制御指示として決定し、送受信部401に渡す。エアコンの「電源ON」の制御指示が渡された送受信部401は、「電源ON」の制御指示をエアコンの家電機器104に送信する。これにより、エアコンは電源がONする。
(6) ゲートウェイID保持部407
ゲートウェイID保持部407は、当該ゲートウェイを一意に識別可能な識別子(ゲートウェイID)を保持する。
(7) 制御部408
制御部408は、上記(1)〜(6)の各ブロックを管理・制御して、ゲートウェイ103の機能を実現する。
1.5 家電機器104の構成
続いて、家電機器104の詳細な構成を説明する。図5は、家電機器104の構成の一例を示すブロック図である。家電機器104は、図5に示すように、送受信部501、実行部502、及び制御部503を備える。
家電機器104は、具体的には図示されていないマイクロプロセッサ、RAM、ROM、及びハードディスク等から構成される。前記RAM、ROM、及びハードディスクにはコンピュータプログラムが記憶されており、前記マイクロプロセッサが前記コンピュータプログラムに従って動作することにより、家電機器104はその機能を果たす。
なお、送受信部501、実行部502、及び制御部503等の各機能ブロックは集積回路であるLSIとして実現されてもよい。これらは個別に1チップ化されてもよいし、1以上のブロック、又は各ブロックの一部を含むように1チップ化されてもよい。
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、各機能ブロックは、ソフトウェアで実現されてもよいし、LSIとソフトウェアの組み合わせで実現されてもよい。また、ソフトウェアは耐タンパ化されていてもよい。
(1) 送受信部501
送受信部501は、家電機器104を内部ネットワークに接続させる通信装置を含む。そして、送受信部501は、ゲートウェイ103から内部ネットワークを介して送信される制御指示受信する。
ここで、制御指示としては、機能をコントロールするための指示情報が採用されてもよいし、制御コマンドそのものが採用されてもよい。
(2) 実行部502
実行部502は、送受信部501が受信した制御指示に基づき処理を実行する。例えば、家電機器104がエアコンの場合、エアコン自身の電源を点けたり、消したり、温度調節したりする。
(3) 制御部503
制御部503は、上記(1)〜(2)の各ブロックを管理・制御して、家電機器104の機能を実現する。
1.6 家電機器制御システムの動作
集音機器102が音声情報を収集し、ゲートウェイ103又はサーバ装置101が制御指示を家電機器104へ送信する場合の家電機器制御システムの動作の一例について、図10〜図13を用いて説明する。
まず、集音機器102の集音部302は、音声信号を検知すると、検知した音声信号から音声情報を生成し、送受信部301を介してゲートウェイ103へ送信する(ステップS1001)。
ゲートウェイ103は、送受信部401を介して音声情報を受信する(ステップS1002)。次に、ゲートウェイ103の解析部402は、データベース保持部403で保持する音声モデル1401及び辞書データ1402を用いて、受信した音声情報が定型文か否かを解析する(ステップS1003)。
解析部402による解析結果が定型文である場合(ステップS1004でYes)、処理を図11に示すステップS1101に進める。ステップS1101において、判断部406は、機器管理情報保持部405で保持する機器管理情報テーブル(図9)を用いて、定型文に対応する家電機器104がゲートウェイ103と同一宅内に存在するか否かを判断する(ステップS1101)。
ステップS1102において存在しないと判断された場合(ステップS1102でNo)、処理が終了される。一方、ステップS1102において、存在すると判断された場合(ステップS1102でYes)、判断部406は、制御情報保持部404が保持する制御情報テーブル(図8)を用いて、解析結果が示す定型文に対応する家電機器104の制御指示を抽出して、送受信部401を介して家電機器104へ送信する(ステップS1103)。例えば、解析結果が「エアコンON」の定型文であったとすると、エアコンの「電源ON」が制御指示として抽出される。
次に、家電機器104の送受信部501は制御指示を受信し(ステップS1104)、実行部502は、受信した制御指示を用いて処理を実行する(ステップS1105)。例えば、解析結果が「エアコンON」の定型文であったとすると、「電源ON」の制御指示がエアコンに送信される。そして、エアコンは、「電源ON」の制御指示を受信し、自身の電源をONする。
図10に示すステップS1004において、ゲートウェイ103の解析部402が定型文でないと判断した場合(ステップS1004でNo)、処理が図12のステップS1201に進められる(ステップS1005)。ステップS1201において、解析部402は、データベース保持部403で保持する音声モデル1401及び辞書データ1402を用いて、受信した音声情報に家電機器104の制御に関連する単語が含まれるか否かを解析する(ステップS1201)。解析部402が含まないと判断した場合(ステップS1202でNo)、処理が終了される。一方、ステップS1202において、含むと判断された場合(ステップS1202でYes)、解析部402は、送受信部401を介して、受信した音声情報と、ゲートウェイID保持部407が保持するゲートウェイIDとを対応付けてサーバ装置101へ送信する(ステップS1203)。
サーバ装置101の送受信部201が音声情報とゲートウェイIDとを受信すると(ステップS1204)、認識部202は、データベース保持部203が保持する音声モデル1501及び辞書データ1502を用いて、受信した音声情報が家電機器104の制御に関連するか否かを認識する(ステップS1205)。
ステップS1206において、受信した音声情報が家電機器104の制御に関連しないと判断された場合(ステップS1206でNo)、処理が終了される。一方、ステップS1206において、判断部206は、受信した音声情報が家電機器104の制御に関連する音声情報であると判断した場合(ステップS1206でYes)、処理を図13のステップS1301に進める。
ステップS1301において、判断部206は、機器管理情報保持部205で保持する機器管理情報テーブル(図7)と、受信したゲートウェイIDとを用いて、認識部202の認識結果に対応する家電機器104が存在するか否かを判断する(ステップS1302)。
ステップS1302において、判断部206は、対応する家電機器104が存在しないと判断した場合(ステップS1302でNo)、処理を終了する。一方、判断部206は、対応する家電機器104が存在すると判断した場合(ステップS1302でYes)、処理をステップS1303に進める。
認識部202による音声情報の認識結果に例えば「暑い」の単語が含まれていたとする。この「暑い」は部屋の温度に関連する単語であるため、判断部206は、「暑い」に対応する家電機器104はエアコンであると判断する。そして、判断部206は、機器管理情報テーブル(図7)において、対象となるゲートウェイIDに対応する「機器種別」としてエアコンが登録されていなければ、ステップS1306でNoと判断すればよい。一方、判断部206は、機器管理情報テーブル(図7)において、対象となるゲートウェイIDに対応する「機器種別」としてエアコンが登録されていれば、ステップS1302でYesと判断すればよい。
ステップS1303において、判断部206は、制御情報保持部204で保持する制御情報テーブル(図6)を用いて、認識部202の認識結果に対応する家電機器104の制御指示を決定し、送受信部201を介して、家電機器104へ送信する(ステップS1303)。なお、サーバ装置101が送信した制御指示は、ゲートウェイ103を介して、家電機器104に送信される。
例えば、認識部202の認識結果に対応する家電機器104がエアコンであったとする。この場合、判断部206は、制御情報テーブル(図6)において、エアコンに対応付けられた「制御指示」のうちいずれかの制御指示を決定すればよい。例えば、認識部202の認識結果において「暑い」の他に「電源ON」の単語が含まれていたとする。この場合、判断部206は、電源ONを制御指示として決定すればよい。そして、判断部206は、エアコンの電源ONの制御指示を送受信部501を介して対象となるゲートウェイ103に送信すればよい。
ステップS1304において、家電機器104は、送受信部501を介して制御指示を受信し(ステップS1304)、実行部502は、受信した制御指示に基づき処理を実行する(ステップS1305)。例えば、エアコンの電源ONの制御指示をゲートウェイ103が受信したとすると、ゲートウェイ103はこの制御指示を制御対象のエアコンに送信する。エアコンの送受信部501がこの制御指示を受信すると、エアコンの実行部502は、エアコンの電源をONする処理を実行する。
<変形例>
本実施の形態は、以下の変形例を採用することができる。
(1)ゲートウェイ103は、音声情報の簡易分析を行い、(a)サーバ装置101にて更なる詳細分析が必要であると判断した場合、又は(b)周辺機器や周辺環境等、他の状況や状態も加味する必要があると判断した場合、受信した音声情報をサーバ装置101へ送信すればよい。一方、ゲートウェイ103は、(a)又は(b)に該当しないと判断した場合、自身で制御指示を決定し、家電機器104へ送信すればよい。
例えば、ゲートウェイ103は、簡易解析の結果、音声情報から「あつい」の単語を解析できたが、この「あつい」は、部屋の温度が「暑い」ことを指しているのか、食べ物の温度が「熱い」ことを指しているのかが分からない。この場合、ゲートウェイ103は、(a)又は(b)に該当すると判断すればよい。
そして、サーバ装置101は、受信した音声情報から、ニュアンス、トーン、及び文脈等を解析して、利用者の意図を理解し、制御指示を決定すればよい。また、この場合、サーバ装置101は、ゲートウェイ103に音声情報に加えて、周辺の環境情報を送信させ、環境情報も加味して、制御指示を決定すればよい。ここで、環境情報としては、例えば、ゲートウェイ103が設置された宅内の温度及び湿度の情報、宅内に人物がいる又は人物がいないを示す情報、稼働している家電機器104の有無又は種別を示す情報、及び各人物の表面温度が採用できる。
例えば、音声情報の認識結果に「暑い」の単語が含まれ、エアコンが稼働していなかったとすると、サーバ装置101は、冷房モードでエアコンの電源をONする制御指示を決定すればよい。
また、例えば、音声情報の認識結果に「寒い」の単語が含まれ、エアコンが稼働していなかったとすると、サーバ装置101は、暖房モードでエアコンの電源をONする制御指示を決定すればよい。
また、例えば、音声情報の認識結果に「暑い」の単語が含まれ、エアコンが稼働していたとすると、サーバ装置101は、エアコンの温度を下げる制御指示を決定すればよい。
また、例えば、音声情報の認識結果に「寒い」の単語が含まれ、エアコンが稼働していたとすると、サーバ装置101は、エアコンの温度を上げる制御指示を決定すればよい。
また、例えば、音声情報の認識結果に「電源ON」の単語が含まれ、且つ、テレビの話題が含まれていたとすると、サーバ装置101は、テレビの電源ONを制御指示として決定すればよい。
なお、ゲートウェイ103は、例えば、エアコンに温度及び湿度の情報を問い合わせ、エアコンが備える温度センサ及び湿度センサにより宅内の温度及び湿度を検知させ、検知結果を取得することで、宅内の温度及び湿度の情報を取得すればよい。
また、ゲートウェイ103は、例えば、宅内にセキュリティーシステムが設置されており、そのセキュリティーシステムが留守番モードに設定されていれば、宅内に人物がいないと判断し、そのセキュリティーシステムが在宅モードに設定されていれば、宅内に人物がいると判断すればよい。或いは、ゲートウェイ103は、例えば、宅内にスマート分電盤が設置されていれば、スマート分電盤が検知する消費電力の推移から宅内に人物がいるいないを判断してもよい。
また、ゲートウェイ103は、各家電機器104にステータスの確認情報を送信し、各家電機器104から返信された確認結果から稼働している家電機器104の有無を判断すればよい。
また、ゲートウェイ103は、例えば、エアコンが人物の表面温度を測定する機能を持つものであれば、エアコンに人物の表面温度を検知させ、人物の表面温度を取得すればよい。
(2)集音機器102は、家電機器104に集音機能として組み込まれてもよいし、ゲートウェイ103に集音機能として組み込まれてもよい。前者の場合、ゲートウェイ103は、各家電機器104から音声情報を取得することになる。また、後者の場合、ゲートウェイ103は、利用者がゲートウェイごしに発した音声から音声情報を取得することになる。
また、集音機器102は、家電機器104及びゲートウェイ103のそれぞれに集音機能として組み込まれてもよい。また、集音機器102の集音機能を家電機器104及びゲートウェイ103のそれぞれに組み込んだ上で、集音機器102を家電機器104及びゲートウェイ103とは独立して設けてもよい。
また、集音機器102は、例えば、部屋の天井に埋め込まれる、或いは、床から立設された専用の装置で構成されてもよいし、利用者によって携帯される携帯端末(例えば、スマートフォン、携帯電話、或いはタブレット端末)が備えるマイク及びアプリケーションで構成されてもよい。
(3)家電機器104は、利用者が自身に話しかけていると認識した場合、利用者が発する全ての音声情報、又は、複数の利用者が会話しているのであれば、会話全体の音声情報をサーバ装置101に送信してもよい。或いは、家電機器104は、音声情報の簡易解析を行い、その音声情報が家電機器104の制御に関連する音声情報であると判断した場合、ゲートウェイ103に音声情報を送信してもよい。
ここで、家電機器104は、「自身に話しかけられている」か否かを以下の手法で判断すればよい。例えば、利用者の顔が家電機器104へ向いているか否かを検出する手法、利用者が自身のリモコンを操作したか否かを検出する手法、及び利用者が自身に向けて手を振る等のジェスチャーを検出する手法が採用できる。
ここで、家電機器104は、利用者の目線が自身に向いているか否かにより利用者の顔が自身に向いているか否かを判断すればよい。この場合、家電機器104は、利用者の顔に赤外線を照射して赤外カメラで利用者の顔を撮像し、得られた画像から角膜反射位置及び瞳孔位置等を検出し、これらの位置関係から利用者の視線を検知すればよい。そして、家電機器104は、検知した利用者の視線の延長線上に自身が位置すれば、利用者は自身を向いていると判断すればよい。
また、家電機器104は、ジェスチャー認識装置を用いて利用者が自身に向けてジェスチャーを行っているか否かを判断すればよい。
(4)ゲートウェイ103が音声情報をサーバ装置101へ送信する場合に、家電機器104の制御に関連する単語を含む音声情報だけではなく、その前後の音声情報(例えば、前後1分間の音声情報等)も合わせて送信してもよい。これにより、サーバ装置101
は、前後の音声情報を用いて利用者の意図をより正確に理解できる。
(5)サーバ装置101が家電機器104に制御指示を送信した後、利用者に当該制御指示の内容をディスプレイを持つ入力装置に提示して、利用者の許諾を得た上で、制御指示を家電機器104が実行してもよい。ここで、入力装置は、宅内ネットワークを介してゲートウェイ103と通信できる機能やマイク等の集音機能を持つ装置であり、例えば、テレビやスマートフォンが採用できる。なお、入力装置は、ゲートウェイ103に組み込まれてもよいし、家電機器104に組み込まれてもよい。
以下、この変形例について説明する。図16は、本発明の実施の形態の変形例のフローチャートである。まず、サーバ装置101の判断部206がゲートウェイ103から送信された音声情報から制御指示を決定すると、判断部206は、決定した制御指示が正しいか否かを利用者に問い合わせるための問い合わせ通知を送受信部201を介してゲートウェイ103に送信する(ステップS1601)。
ゲートウェイ103の送受信部401はこの問い合わせ通知を受信すると(ステップS1611)、受信した問い合わせ通知を入力装置に送信する(ステップS1612)。入力装置はこの問い合わせ通知を受信すると(ステップS1621)、制御指示の内容をディスプレイに表示する(ステップS1622)。ここで、入力装置は、例えば、図17に示すような画面をディスプレイに表示する。図17は、制御指示の内容を利用者に問い合わせる画面の一例を示す図である。図17の例では、音声情報からエアコンの電源ONの制御指示をサーバ装置101が決定したため、「エアコンの電源をONしてよろしいですか?」との文言が表示されている。この文言の下には、「OK」と記載された同意ボタン1701と「NO」と記載された非同意ボタン1702とが配置されている。利用者は、エアコンの電源ONに同意する場合、つまり、サーバ装置101による音声認識が正しい場合、同意ボタン1701を選択する操作を入力装置に入力する。一方、利用者は、エアコンの電源ONに同意しない場合、すなわち、サーバ装置101による音声認識が正しくない場合、非同意ボタン1702を選択する操作を入力装置に入力する。
入力装置は、利用者から同意ボタン1701又は非同意ボタン1702が選択する操作が入力され、制御指示に同意するか否かの利用者からの確認結果が入力されると(ステップS1623)、確認結果をゲートウェイ103に送信する(ステップS1624)。ここで、利用者により同意ボタン1701が選択されると、同意する旨の情報を含む確認結果がゲートウェイ103に送信され、利用者により非同意ボタン1702が選択されると、同意しない旨の情報を含む確認結果がゲートウェイ103に送信される。
ゲートウェイ103の送受信部401が確認結果を受信すると(ステップS1613)、判断部406は、確認結果に同意する旨の情報が含まれていれば(ステップS1614でYES)、サーバ装置101による音声情報の認識結果は正しいと判断し、ステップS1601で送信された問い合わせ通知に係る制御指示を送受信部401を介して対象となる家電機器104に送信する(ステップS1615)。例えば、エアコンの電源をONするとの制御指示に利用者が同意した場合、エアコンに電源ONの制御指示が送信される。
対象の家電機器104の送受信部501が、ゲートウェイ103からの制御指示を受信すると(ステップS1631)、実行部502は制御指示を実行する(ステップS1632)。例えば、エアコンは、電源ONの制御指示を受信したとすると、自身の電源をONする。
ステップS1614において、同意しない旨の情報が確認結果に含まれていれば(ステップS1614でNO)、ステップS1615がスルーされ、処理がステップS1616
に進められる。
ステップS1616において、ゲートウェイ103の制御部503は、ステップS1613で受信した確認結果を送受信部501を介してサーバ装置101に送信する(ステップS1616)。サーバ装置101の送受信部201が確認結果を受信すると(ステップS1602)、判断部206は、受信した確認結果を、問い合わせに係る制御指示及び音声情報と関連付けて、確認結果データベースに保存する(ステップS1603)。図18は、確認結果データベースのデータ構成の一例を示す図である。図18の確認結果データベースの例では、「ゲートウェイID」、「日付」、「確認結果」、「音声情報」、及び「認識した制御指示」が対応付けて保持されている。「ゲートウェイID」は確認結果を送信したゲートウェイ103のゲートウェイIDである。「日付」は確認結果の受信日時である。「確認結果」は確認結果の内容である。ここでは、同意又は非同意が確認結果の内容として採用される。「音声情報」は、問い合わせに係る制御指示の認識元の音声情報である。図18の例では、「あつい(atsui)」の音声情報が保持されている。ここで、確認結果データベースに保持される音声情報は、例えば、認識した音声のテキストデータであってもよいし、音声信号の波形データであってもよい。
「認識した制御指示」は、サーバ装置101の認識部202による音声情報の認識結果である。図18の1行目のレコードの例では、このレコードに保持された音声情報に対して、認識部202がエアコンの電源ONと認識したため、「エアコンの電源ON」が保持されている。
このように確認結果データベースを構築することで、サーバ装置101は、音声情報に対する制御指示を学習できる。例えば、あるゲートウェイ103から「あつい」の音声情報が送信され、サーバ装置101は、この「あつい」を部屋の温度が高いと解釈して、エアコンの電源ONを制御指示として決定したが、この制御指示に対して利用者から同意しない旨の確認結果が入力されたとする。この場合、サーバ装置101は、以後、「あつい」に対してエアコンの電源ON以外の制御指示を決定すればよい。
この変形例では、サーバ装置101が認識した制御指示が正しいか否かを利用者に問い合わせ、同意する旨の確認結果が入力された場合に、家電機器104に制御指示が送信される。そのため、利用者の意図に反する動作を家電機器104が行うことを防止できる。
(6)ゲートウェイ103が家電機器104に制御指示を送信する場合、利用者に当該制御指示の内容を入力装置(例えば、テレビやスマートフォン等)に提示して、利用者の許諾を得た上で、制御指示を家電機器104が実行してもよい。
以下、この変形例について説明する。図19は、本発明の実施の形態の別の変形例のフローチャートである。まず、ゲートウェイ103の解析部402による音声情報の解析結果が定型文であり、判断部406がその定型文に対応する制御指示を決定すると、判断部406は、決定した制御指示が正しいか否かを利用者に問い合わせるための問い合わせ通知を送受信部401を介して入力装置に送信する(ステップS1801)。ステップS1811〜S1814は、図16のステップS1621〜S1624と同じである。
ゲートウェイ103の送受信部401が確認結果を受信すると(ステップS1802)、判断部406は、確認結果に同意する旨の情報が含まれていれば(ステップS1803でYES)、解析部402による音声情報の解析結果は正しいと判断し、ステップS1801で送信した問い合わせ通知に係る制御指示を送受信部401を介して対象となる家電機器104に送信する(ステップS1821)。ステップS1822は、図16のステップS1632と同じである。
ステップS1803において、同意しない旨の情報が確認結果に含まれていれば(ステップS1803でNO)、ステップS1804がスルーされ、処理が終了される。
この変形例では、ゲートウェイ103が認識した制御指示が正しいか否かを利用者に問い合わせ、同意する旨の確認結果が入力された場合に、家電機器104により制御指示が実行される。そのため、利用者の意図に反する動作を家電機器104が行うことを防止できる。
(7)サーバ装置101のデータベース保持部203が保持する音声モデルや辞書データと、ゲートウェイ103のデータベース保持部403が保持する音声モデルや辞書データとは更新可能とされてもよい。この場合、ゲートウェイ103がデータベース保持部403に保持されている音声モデル1401や辞書データ1402を更新してもよいし、ゲートウェイ103がサーバ装置101から更新用データを取得して、データベース保持部403に保持されている音声モデル1401や辞書データ1402を更新してもよい。
まず、サーバ装置101から更新用データを取得してゲートウェイ103がデータベースを更新する態様について説明す。例えば、初期のデータベース保持部403において、定型文としてエアコンの電源をONする制御指示として「エアコンON」が保持されていたが、同じ制御指示を示す「エアコン入れる」が保持されていなかったする。この場合、「エアコン入れる」の音声情報はサーバ装置101に送信されるが、サーバ装置101がこの音声情報を、(5)の変形例の手法を用いて、エアコンの電源をONすると認識できたとする。この場合、サーバ装置101は「エアコン入れる」がエアコンの電源ONの定型文であるとの更新用データをゲートウェイ103に送信する。この更新用データを受信したゲートウェイ103は、この「エアコン入れる」を定型文としてデータベース保持部403に保持すると共に、エアコンの電源ONの制御指示と対応付けて制御情報テーブル(図8)にも登録する。これにより、以後、「エアコン入れる」の音声情報が入力されても、この音声情報は、ゲートウェイ103により定型文と判断され、サーバ装置101に送信されずにゲートウェイ103側で処理される。
これにより、例えば、方言による定型文のゆらぎが学習できる。例えば、「エアコンON(eakon on)」は日本のどの地方でもエアコンの電源ON意味する文として通用するが、これと同じの意味の「エアコン入れる(eakon ireru)」の文は日本のある地方では通用しないこともある。一方、ゲートウェイ103に「エアコンON」に対応する日本の全ての地方の方言の定型文を登録させておくのは、ゲートウェイ103のメモリリソースの制限上、好ましくない。そこで、ゲートウェイ103に必要に応じて定型文を登録させることで、このような方言を学習できる。また、この手法を用いれば、方言の学習だけでなく、家庭内でのみ通用する特殊な用語も定型文として学習できる。
次に、ゲートウェイ103がデータベースを更新する態様について説明する。例えば、サーバ装置101が「暑い」との音声情報に対していつもエアコンの電源ONの制御指示をゲートウェイ103に送信していたとする。この場合、ゲートウェイ103は、「暑い」の音声情報に対してエアコンの電源ONの制御指示が規定値以上、サーバ装置101から送信されると、「暑い」をデータベース保持部403に定型文として登録すると共に、制御情報テーブル(図8)において、「暑い」をエアコンの電源ONの制御指示と対応付けて登録すればよい。これを実現するために、ゲートウェイ103は、例えば、サーバ装置101に送信した音声情報と、サーバ装置101から送信されたその音声情報に対する制御指示とをログ情報として記憶装置に蓄積させておく。そして、ゲートウェイ103は、このログ情報を例えば定期的に解析し、ある音声情報に対して規定値以上、同じ制御指示がサーバ装置101から送信されていれば、その音声情報が示す単語又は文を定型文としてデータベース保持部403に登録すると共に、その定型文を該当する制御指示と対応付けて制御情報テーブル(図8)に登録すればよい。
(8)ゲートウェイ103は、予め登録された解析キーワード(単語や定型文)の抽出等の簡易分析を主に実施し、意図やニュアンス等の高度な認識処理はサーバ装置101が実施すればよい。この場合、学習機能(音声モデル1501や辞書データ1502等のデータベースの更新や、音声情報の解析及び認識方法のアップデート等)はサーバ装置101が備え、サーバ装置101は、学習結果をゲートウェイ103と共有してもよい。つまり、サーバ装置101は、音声モデル1501や辞書データ1502の更新に併せてゲートウェイ103が保持する音声モデル1401や辞書データ1402を更新すればよい。このような、サーバ装置101の学習機能によって、定型文のデータベースは更新されて増強され、ゲートウェイ103とも共有される。
(9)家電機器104に対して利用者が明示的に制御指示をした場合と、サーバ装置101が会話内容から利用者の意図を理解して制御指示をする場合とで処理を異ならせてもよい。利用者が明示的に指示をした場合、ゲートウェイ103又はサーバ装置101から家電機器104への制御指示は、直接、家電機器104に送信され、家電機器104は即座に制御指示を実行すればよい。一方、意図を理解して制御指示が出された場合は、一度、ゲートウェイ103は、入力装置に制御指示の内容を提示し、利用者から同意する旨の確認結果が入力されると、制御指示を対象となる家電機器104へ送信すればよい。
(10)ゲートウェイ103からサーバ装置101へ送信される音声情報は暗号化して送信され、サーバ装置101で蓄積されてもよい。この場合、サーバ装置101は、音声情報を平文又は暗号文のいずれの形式で蓄積してもよい。さらに、蓄積時の音声情報は特別な鍵で暗号化されてもよい。特別な鍵としては、利用者が設定したパスワード等の利用者のみが知るデータに基づいて生成されるデータや、第三者のみが知るデータに基づいて生成されるデータが採用できる。また、特別な鍵としては、利用者や第三者の協力の下、復号できるデータが採用されてもよい。
(11)ゲートウェイ103が音声情報を解析した結果として、制御指示を家電機器104に対して送信した後に、当該音声情報をサーバ装置101へ送信し、サーバ装置101が音声認識を実行してもよい。ここで、ゲートウェイ103の制御指示とサーバ装置101の制御指示とが異なる場合、サーバ装置101の制御指示を優先してもよいし、ゲートウェイ103の制御指示を優先してもよい。或いは、利用者に両方の制御指示を提示して確認を求め、利用者による確認結果が示す制御指示で家電機器104を動作させてもよい。
(12)上記実施の形態において、サーバ装置101から制御指示に関する問い合わせ通知が送信された場合、ゲートウェイ103は、問い合わせ通知に対する確認結果である音声情報を解析することなくサーバ装置101に送信してもよい。
以下、この変形例について説明する。図20は、本発明の実施の形態の更に別の変形例のフローチャートである。ステップS1922、S1923、S1924、S1913、S1914、S1915、S1902、S1903、S1904以外の処理は、図16の処理と同じであるため、説明を省略する。
ゲートウェイ103から問い合わせ通知を受信した入力装置は、制御指示の内容をディスプレイに表示する(ステップS1922)。ここで、入力装置は、例えば、図21に示すような画面をディスプレイに表示する。図21は、制御指示の内容を利用者に問い合わせる画面の一例を示す図である。ここでは、確認結果の入力は音声によりなされるものと
する。また、サーバ装置101が音声情報からエアコンの電源ONの制御指示を決定している。そのため、図21には、「エアコンの電源ONでよろしいですか?」、「確認結果を音声で入力して下さい。」との文言が表示されている。
利用者が入力装置に対して音声で同意又は非同意の確認結果を入力すると(ステップS1923)、入力装置は、その確認結果を示す音声情報をゲートウェイ103に送信する(ステップS1924)。この場合、利用者は同意する場合は「はい」、「OK」、又は「同意する」等の音声を発し、同意しない場合、「いいえ」、「NO」、又は「同意しない」等の音声を発すればよい。
ゲートウェイ103は、確認結果を示す音声情報を受信すると(ステップS1913)、音声情報を解析せずにサーバ装置101に送信する。サーバ装置101の送受信部201が、確認結果を示す音声情報を受信すると(ステップS1902)、認識部202は、音声情報を認識する(ステップS1903)。ここでは、音声情報に「はい」等の同意する旨の単語が含まれていれば、認識部202は、音声情報の認識結果は正しいと判断する。そして、認識部202は、問い合わせ通知に係る制御指示をゲートウェイ103に送信する(ステップS1904)。なお、ステップS1903において、音声情報に「いいえ」等の同意しない旨の単語が含まれていれば、認識部202は、音声情報の認識結果は正しくなかっと判断し、処理を終了すればよい。或いは、利用者から音声情報に対応する制御指示を聞き出し、聞き出した結果を音声情報と対応付けて確認結果データベース(図18)に登録すればよい。
ゲートウェイ103は、制御指示を受信すると、対象となる家電機器104に制御指示を転送する(ステップS1931)。
ここで、ゲートウェイ103が確認結果を示す音声情報を解析する態様を採用すると、例えば、音声情報に定型文が含まれていれば、ゲートウェイ103は、家電機器104にこの定型文に対応する制御指示を送信してしまう。これでは、サーバ装置101は、利用者による確認結果を取得できず、音声情報の認識結果が正しいか否かを判断できない。そこで、この変形例では、ゲートウェイ103は、確認結果を示す音声情報を入力装置から受信した場合、この音声情報を解析することなくサーバ装置101へ送信している。これにより、サーバ装置101が利用者による確認結果を取得し、音声情報の認識結果が正しいか否かを判断できる。
(13)本実施の形態において、ゲートウェイ103は、音声情報をサーバ装置101に送信すると判定した場合、利用者に音声情報を送信してもよいか否かを問い合わせてもよい。以下、この変形例について説明する。図22は、本発明の実施の形態の別の変形例のフローチャートである。図22に示すフローチャートは図12に示すフローチャートにおいて、ステップS2201、S2202、S2203、S2211、S2212、S2213の処理が追加されている。
ステップS2201において、ゲートウェイ103は、音声情報をサーバ装置101に送信してもよよいか否かを利用者に問い合わせるための問い合わせ通知を入力装置に送信する。この入力装置は、図16等で示した入力装置と同様、ディスプレイを持つ家電機器104で構成される。
入力装置は問い合わせ通知を受信すると(ステップS2211)、問い合わせ画面をディスプレイに表示する(ステップS2212)。ここで、入力装置は、例えば、図23に示すような画面をディスプレイに表示する。図23は、サーバ装置101に音声情報を送信してもよいか否かを利用者に問い合わせる画面の一例を示す図である。図23の例では、「今の会話の内容をサーバ装置に送信してもよいですか?」との文言が表示されている。この文言の下には、「OK」と記載された同意ボタン2301と「NO」と記載された非同意ボタン2302とが配置されている。利用者は、音声情報をサーバ装置101に送信してもよいと判断した場合、同意ボタン2301を選択する操作を入力装置に入力する。一方、利用者は、音声情報をサーバ装置101に送信してはいけないと判断した場合、非同意ボタン2302を選択する操作を入力装置に入力する。
入力装置は、利用者から同意ボタン2301又は非同意ボタン2302を選択する操作が入力され、音声情報をサーバ装置101に送信してもよいか否かについての確認結果が入力されると(ステップS2213)、確認結果をゲートウェイ103に送信する(ステップS2214)。ここで、利用者により同意ボタン2301が選択されると、同意する旨の情報を含む確認結果がゲートウェイ103に送信され、利用者により非同意ボタン2302が選択されると、同意しない旨の情報を含む確認結果がゲートウェイ103に送信される。ゲートウェイ103は、確認結果を受信し(ステップS2202)、同意する旨の確認結果であれば(ステップS2203でYES)、処理をステップS1203に進め、非同意の確認結果であれば(ステップS2203でNO)、処理を終了する。
この変形例では、ゲートウェイ103が音声情報をサーバ装置101に送信すると判断した場合であっても、利用者により音声情報をサーバ装置101に送信してもよいとの承諾が得られた場合にのみ音声情報がサーバ装置101に送信される。そのため、利用者のプライバシーを更に保護できると同時に、サーバ装置101に送信されるデータ量を抑制できる。
(14)上記実施の形態では、サーバ装置101、集音機器102、及びゲートウェイ103、家電機器104に図2〜図5で示す複数の機能(構成要素)を持たせたが、これに限定されない。図2〜図5で示す各機能(構成要素)は、図示した分担パターン以外の分担パターンでサーバ装置101、集音機器102、ゲートウェイ103、及び家電機器104に実装されてもよい。
(15)本実施の形態は、上記に示す方法であるとしてもよい。また、この方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本実施の形態は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標)Disc)、半導体メモリー等に記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリーを備えたコンピュータシステムであって、前記メモリーは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
また、前記コンピュータプログラム若しくは前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記コンピュータプログラム若しくは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムに
より実施するとしてもよい。
(16)上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
以上により、本家電機器制御システムは、ゲートウェイ103において、音声情報の簡易分析が行われ、ゲートウェイ103で制御指示が決定できなかった場合、サーバ装置101に音声情報が送信される。これにより、音声認識のためにサーバ装置101へ送信される音声情報のデータ転送量を削減できる。
本家電機器制御システムにおいて、ゲートウェイ103は、集音機器102が集音した音声情報に対し、予め保持するキーワード(家電機器104の制御に関連する単語)を抽出し、抽出したキーワードを含む音声情報を、サーバ装置101へ送信する。つまり、ゲートウェイ103は、音声情報に予め保持するキーワードが含まれなていないければ、その音声情報をサーバ装置101に送信しない。また、ゲートウェイ103は、集音機器102が集音した音声情報が定型文であれば、定型文に対応する制御指示を、家電機器104に送信する。つまり、ゲートウェイ103は、自身で操作対象の家電機器104に対する制御指示を決定できる場合、音声情報をサーバ装置101へ送信しない。
そのため、音声認識のためにサーバ装置101へ送信する音声情報のデータ転送量を更に削減することが可能となる。
また、本家電機器制御システムは、集音機器102が集音した音声情報から、一部の音声情報のみをサーバ装置101へ送信することで、サーバ装置101へのデータ集中を抑制できる。これにより、ゲートウェイ103とサーバ装置101との間のネットワーク負荷と、サーバ装置101での処理負荷を抑制できる。
また、本家電機器制御システムでは、集音機器102が集音した音声情報のうち、サーバ装置101への送信が必要とゲートウェイ103が判断した音声情報のみがサーバ装置101に送信される。そのため、家庭内の会話等プライベートな情報がサーバ装置101に送信されることを抑制できる。また、サーバ装置101へ送信する前に、利用者に送信可否を問い合わせることで、よりプライバシーの保護を強化することが可能となる。
本発明にかかる家電機器制御システムでは、集音機器が集音した音声情報のうち、ゲートウェイによって、サーバ装置で音声認識を行うと必要があると判断された音声情報のみがサーバ装置に送信されるため、音声情報を利用して家電機器を制御するネットワーク家電システムにおいて有用である。
101 :サーバ装置
102 :集音機器
103 :ゲートウェイ
104 :家電機器
201 :送受信部
202 :認識部
203 :データベース保持部
204 :制御情報保持部
205 :機器管理情報保持部
206 :判断部
207 :制御部
301 :送受信部
302 :集音部
303 :制御部
401 :送受信部
402 :解析部
403 :データベース保持部
404 :制御情報保持部
405 :機器管理情報保持部
406 :判断部
407 :ゲートウェイID保持部
408 :制御部
501 :送受信部
502 :実行部
503 :制御部

Claims (4)

  1. サーバ装置と機器とを備えるシステムにより実行されるシステムの制御方法であって、
    前記機器は、
    利用者が発した音声から音声情報を取得し、
    前記音声情報が前記機器の制御に関連する定型文を示すと判定した場合、前記定型文に対応する制御指示を実行し、
    前記音声情報がネットワークを介して接続される家電機器の制御に関する音声情報であると判定した場合、前記音声情報を前記サーバ装置へ送信し、
    前記サーバ装置は、
    前記機器から送信された前記音声情報を取得し、
    前記音声情報に対応する制御指示を、前記制御指示の対象である家電機器に送信し、
    前記サーバ装置は、
    前記機器から送信された前記音声情報を取得し、
    前記音声情報に対応する家電機器の制御を実施する問合せを前記機器へ送信し、
    前記機器は、
    前記サーバ装置から送信された前記問合せを受信し、
    前記サーバ装置は、
    前記問合せに対して前記利用者の承認を受け付けた場合に、制御の対象である前記家電機器へ前記制御指示を送信する、
    システムの制御方法。
  2. 前記機器は、
    前記音声情報を前記サーバ装置へ送信する場合、前記送信の可否を前記利用者に問い合わせ、前記利用者から前記問合せに対する許可を受けた場合に、前記音声情報を前記サーバ装置へ送信する、
    請求項1に記載のシステムの制御方法。
  3. 機器とサーバ装置とを備えるシステムであって、
    前記機器は、
    利用者が発した音声から音声情報を取得する集音部と、
    ネットワークを介してサーバ装置と通信する第1の通信部と、
    第1の処理回路と、
    前記機器の制御に関連する定型文と制御指示とを対応付けて記憶する記憶部とを備え、
    前記第1の処理回路は、
    前記音声情報が前記定型文を示すと判定した場合、前記定型文に対応する制御指示を実行し、前記音声情報がネットワークを介して接続される家電機器の制御に関する音声情報であると判断した場合、前記音声情報を前記サーバ装置へ送信し、
    前記サーバ装置は、
    ネットワークを介して機器と通信する第2の通信部と、
    第2の処理回路と、を備え、
    前記第2の通信部は前記機器から送信された前記音声情報を取得し、
    前記第2の処理回路は、前記音声情報に対応する制御指示を、前記制御指示の対象である家電機器に送信し、
    前記サーバ装置は、
    前記機器から送信された前記音声情報を取得し、
    前記音声情報に対応する家電機器の制御を実施する問合せを前記機器へ送信し、
    前記機器は、
    前記サーバ装置から送信された前記問合せを受信し、
    前記サーバ装置は、
    前記問合せに対して前記利用者の承認を受け付けた場合に、制御の対象である前記家電機器へ前記制御指示を送信する、
    システム。
  4. サーバ装置と機器とを備えるシステムに実行させるプログラムであって、
    前記機器に、
    利用者が発した音声から音声情報を取得させ、
    前記音声情報が前記機器の制御に関連する定型文を示すと判定した場合、前記定型文に対応する制御指示を実行させ、
    前記音声情報がネットワークを介して接続される家電機器の制御に関する音声情報であると判定した場合、前記音声情報を前記サーバ装置へ送信させ、
    前記サーバ装置に、
    前記機器から送信された前記音声情報を取得させ、
    前記音声情報に対応する制御指示を、前記制御指示の対象である家電機器に送信させ、
    前記サーバ装置に、
    前記機器から送信された前記音声情報を取得させ、
    前記音声情報に対応する家電機器の制御を実施する問合せを前記機器へ送信させ、
    前記機器は、
    前記サーバ装置から送信された前記問合せを受信させ、
    前記サーバ装置は、
    前記問合せに対して前記利用者の承認を受け付けた場合に、制御の対象である前記家電機器へ前記制御指示を送信させる、
    プログラム。
JP2019013932A 2013-04-19 2019-01-30 システムの制御方法、システム、及びプログラム Active JP6690031B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US201361813856P true 2013-04-19 2013-04-19
US61/813,856 2013-04-19

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020069547A JP6902136B2 (ja) 2013-04-19 2020-04-08 システムの制御方法、システム、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018128907A Division JP6475386B2 (ja) 2013-04-19 2018-07-06 機器の制御方法、機器、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020069547A Division JP6902136B2 (ja) 2013-04-19 2020-04-08 システムの制御方法、システム、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019115047A JP2019115047A (ja) 2019-07-11
JP6690031B2 true JP6690031B2 (ja) 2020-04-28

Family

ID=51731106

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2015512317A Active JP6416752B2 (ja) 2013-04-19 2014-04-16 家電機器の制御方法、家電機器制御システム、及びゲートウェイ
JP2018128907A Active JP6475386B2 (ja) 2013-04-19 2018-07-06 機器の制御方法、機器、及びプログラム
JP2019013932A Active JP6690031B2 (ja) 2013-04-19 2019-01-30 システムの制御方法、システム、及びプログラム
JP2020069547A Active JP6902136B2 (ja) 2013-04-19 2020-04-08 システムの制御方法、システム、及びプログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2015512317A Active JP6416752B2 (ja) 2013-04-19 2014-04-16 家電機器の制御方法、家電機器制御システム、及びゲートウェイ
JP2018128907A Active JP6475386B2 (ja) 2013-04-19 2018-07-06 機器の制御方法、機器、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020069547A Active JP6902136B2 (ja) 2013-04-19 2020-04-08 システムの制御方法、システム、及びプログラム

Country Status (3)

Country Link
US (2) US9390716B2 (ja)
JP (4) JP6416752B2 (ja)
WO (1) WO2014171144A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6416752B2 (ja) * 2013-04-19 2018-10-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 家電機器の制御方法、家電機器制御システム、及びゲートウェイ
WO2015029304A1 (ja) 2013-08-29 2015-03-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音声認識方法及び音声認識装置
US9697368B2 (en) * 2014-07-29 2017-07-04 Google Technology Holdings LLC Regulating communication of audio data from a client device based on a privacy setting stored by the client device
US9741344B2 (en) * 2014-10-20 2017-08-22 Vocalzoom Systems Ltd. System and method for operating devices using voice commands
KR20160074309A (ko) * 2014-12-18 2016-06-28 삼성전자주식회사 단말의 설비 제어를 지원하는 방법 및 장치
JP6573474B2 (ja) * 2015-04-14 2019-09-11 シャープ株式会社 音声認識システム
JP6739907B2 (ja) * 2015-06-18 2020-08-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 機器特定方法、機器特定装置及びプログラム
JP6516585B2 (ja) * 2015-06-24 2019-05-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 制御装置、その方法及びプログラム
JP6621613B2 (ja) * 2015-08-10 2019-12-18 クラリオン株式会社 音声操作システム、サーバー装置、車載機器および音声操作方法
CN105204743A (zh) * 2015-09-28 2015-12-30 百度在线网络技术(北京)有限公司 用于语音和视频通讯的交互控制方法及装置
JP6675078B2 (ja) * 2016-03-15 2020-04-01 パナソニックIpマネジメント株式会社 誤認識訂正方法、誤認識訂正装置及び誤認識訂正プログラム
US9911417B2 (en) * 2016-04-01 2018-03-06 Tai-An Lu Internet of things system with voice-controlled functions and method for processing information of the same
US20180247352A1 (en) * 2017-02-27 2018-08-30 Ncr Corporation Chatbot order submission
KR101965181B1 (ko) * 2017-03-30 2019-04-03 엘지전자 주식회사 홈 어플라이언스, 및 음성 인식 모듈
KR101936640B1 (ko) * 2017-03-31 2019-01-09 엘지전자 주식회사 홈 어플라이언스, 및 음성 인식 모듈
KR20180118461A (ko) 2017-04-21 2018-10-31 엘지전자 주식회사 음성 인식 장치 및 음성 인식 방법
CN107204185B (zh) * 2017-05-03 2021-05-25 深圳车盒子科技有限公司 车载语音交互方法、系统及计算机可读存储介质
KR101995443B1 (ko) * 2017-07-26 2019-07-02 네이버 주식회사 화자 검증 방법 및 음성인식 시스템
CN109525450A (zh) * 2017-09-18 2019-03-26 光宝科技股份有限公司 监控装置、监控系统及监控方法
US10826857B2 (en) * 2017-10-20 2020-11-03 Sap Se Message processing for cloud computing applications
CN111433736A (zh) * 2017-12-01 2020-07-17 雅马哈株式会社 机器控制系统、机器控制方法、以及程序
JP2019120859A (ja) * 2018-01-10 2019-07-22 トヨタ自動車株式会社 通信システム、通信方法及びプログラム
CN110085219A (zh) * 2018-01-26 2019-08-02 博西华电器(江苏)有限公司 家用电器及通过语音控制该家用电器的方法和系统
KR20190111624A (ko) * 2018-03-23 2019-10-02 삼성전자주식회사 전자 장치 및 전자 장치의 음성 인식 제어 방법
US10692493B2 (en) * 2018-05-01 2020-06-23 Dell Products, L.P. Intelligent assistance using voice services
US10325596B1 (en) * 2018-05-25 2019-06-18 Bao Tran Voice control of appliances
CN109788360A (zh) 2018-12-12 2019-05-21 百度在线网络技术(北京)有限公司 基于语音的电视控制方法和装置
US20210335355A1 (en) * 2019-07-01 2021-10-28 Lg Electronics Inc. Intelligent gateway device and system including the same

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000058942A2 (en) * 1999-03-26 2000-10-05 Koninklijke Philips Electronics N.V. Client-server speech recognition
JP2001319045A (ja) 2000-05-11 2001-11-16 Matsushita Electric Works Ltd 音声マンマシンインタフェースを用いたホームエージェントシステム、及びプログラム記録媒体
JP3728177B2 (ja) 2000-05-24 2005-12-21 キヤノン株式会社 音声処理システム、装置、方法及び記憶媒体
JP3581648B2 (ja) * 2000-11-27 2004-10-27 キヤノン株式会社 音声認識システム、情報処理装置及びそれらの制御方法、プログラム
JP2002182896A (ja) * 2000-12-12 2002-06-28 Canon Inc 音声認識システム及び音声認識装置ならびにそれらの方法
US6738743B2 (en) 2001-03-28 2004-05-18 Intel Corporation Unified client-server distributed architectures for spoken dialogue systems
JP3997459B2 (ja) 2001-10-02 2007-10-24 株式会社日立製作所 音声入力システムおよび音声ポータルサーバおよび音声入力端末
US6941265B2 (en) * 2001-12-14 2005-09-06 Qualcomm Inc Voice recognition system method and apparatus
JP2003295893A (ja) * 2002-04-01 2003-10-15 Omron Corp 音声認識システム、装置、音声認識方法、音声認識プログラム及び音声認識プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2004012653A (ja) 2002-06-05 2004-01-15 Matsushita Electric Ind Co Ltd 音声認識システム、音声認識クライアント、音声認識サーバ、音声認識クライアントプログラムおよび音声認識サーバプログラム
US7464035B2 (en) * 2002-07-24 2008-12-09 Robert Bosch Corporation Voice control of home automation systems via telephone
FR2853126A1 (fr) * 2003-03-25 2004-10-01 France Telecom Procede de reconnaissance de parole distribuee
JP2005072764A (ja) 2003-08-21 2005-03-17 Hitachi Ltd 機器制御システムとそのための装置及び機器制御方法
JP2005249829A (ja) 2004-03-01 2005-09-15 Advanced Media Inc 音声認識を行うコンピュータネットワークシステム
US20060074658A1 (en) * 2004-10-01 2006-04-06 Siemens Information And Communication Mobile, Llc Systems and methods for hands-free voice-activated devices
KR100695127B1 (ko) 2004-10-08 2007-03-14 삼성전자주식회사 다 단계 음성 인식 장치 및 방법
US20110054900A1 (en) * 2007-03-07 2011-03-03 Phillips Michael S Hybrid command and control between resident and remote speech recognition facilities in a mobile voice-to-speech application
WO2008114708A1 (ja) * 2007-03-14 2008-09-25 Nec Corporation 音声認識システム、音声認識方法、および音声認識処理プログラム
US8032383B1 (en) * 2007-05-04 2011-10-04 Foneweb, Inc. Speech controlled services and devices using internet
JP5327838B2 (ja) * 2008-04-23 2013-10-30 Necインフロンティア株式会社 音声入力分散処理方法及び音声入力分散処理システム
US20090271002A1 (en) * 2008-04-29 2009-10-29 David Asofsky System and Method for Remotely Controlling Electronic Devices
JP4769904B1 (ja) * 2010-12-06 2011-09-07 用 西村 録音通信システム、録音通信装置、録音通信方法および録音通信プログラム
JP5771002B2 (ja) * 2010-12-22 2015-08-26 株式会社東芝 音声認識装置、音声認識方法および音声認識装置を搭載したテレビ受像機
US20120226981A1 (en) * 2011-03-02 2012-09-06 Microsoft Corporation Controlling electronic devices in a multimedia system through a natural user interface
JP5658641B2 (ja) 2011-09-15 2015-01-28 株式会社Nttドコモ 端末装置、音声認識プログラム、音声認識方法および音声認識システム
US8825020B2 (en) * 2012-01-12 2014-09-02 Sensory, Incorporated Information access and device control using mobile phones and audio in the home environment
US9117449B2 (en) * 2012-04-26 2015-08-25 Nuance Communications, Inc. Embedded system for construction of small footprint speech recognition with user-definable constraints
KR20130133629A (ko) * 2012-05-29 2013-12-09 삼성전자주식회사 전자장치에서 음성명령을 실행시키기 위한 장치 및 방법
US9722811B2 (en) * 2012-09-10 2017-08-01 Samsung Electronics Co., Ltd. System and method of controlling external apparatus connected with device
US9230560B2 (en) * 2012-10-08 2016-01-05 Nant Holdings Ip, Llc Smart home automation systems and methods
US9460715B2 (en) * 2013-03-04 2016-10-04 Amazon Technologies, Inc. Identification using audio signatures and additional characteristics
JP6416752B2 (ja) 2013-04-19 2018-10-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 家電機器の制御方法、家電機器制御システム、及びゲートウェイ

Also Published As

Publication number Publication date
JP6416752B2 (ja) 2018-10-31
JP2018190436A (ja) 2018-11-29
US20150243287A1 (en) 2015-08-27
JP6902136B2 (ja) 2021-07-14
WO2014171144A1 (ja) 2014-10-23
JPWO2014171144A1 (ja) 2017-02-16
JP6475386B2 (ja) 2019-02-27
JP2019115047A (ja) 2019-07-11
US9390716B2 (en) 2016-07-12
JP2020144375A (ja) 2020-09-10
USRE48569E1 (en) 2021-05-25

Similar Documents

Publication Publication Date Title
JP6690031B2 (ja) システムの制御方法、システム、及びプログラム
TWI557599B (zh) 語音控制方法及語音控制系統
US9479911B2 (en) Method and system for supporting a translation-based communication service and terminal supporting the service
CN105118257B (zh) 智能控制系统及方法
US7349758B2 (en) Interactive personalized robot for home use
WO2016206494A1 (zh) 语音控制方法、装置和移动终端
CN106773742B (zh) 语音控制方法及语音控制系统
WO2014199596A1 (ja) 話者識別方法、話者識別装置及び話者識別システム
JP6053097B2 (ja) 機器操作システム、機器操作装置、サーバ、機器操作方法およびプログラム
JPWO2015011867A1 (ja) 情報管理方法
CN104932276B (zh) 家庭智能电源的控制方法和装置
CN104932455B (zh) 智能家居系统中智能设备的分组方法和分组装置
US11119725B2 (en) Customizable embedded vocal command sets for a lighting and/or other environmental controller
US20180182393A1 (en) Security enhanced speech recognition method and device
KR101936639B1 (ko) 홈 어플라이언스 및 홈 어플라이언스 시스템
CN110910541A (zh) 门禁控制方法、系统、网络设备及计算机可读存储介质
WO2018023513A1 (zh) 一种基于运动识别的家居控制方法
WO2018023523A1 (zh) 一种运动及情感识别家居控制系统
WO2018023515A1 (zh) 一种手势及情感识别家居控制系统
CN107369279A (zh) 门铃触发器及门铃触发方法
CN105245913B (zh) 信息获取方法及装置
JP6858335B2 (ja) 電子機器及びその制御方法
JP2020198588A (ja) 音声処理システム、会議システム、音声処理方法、及び音声処理プログラム
KR20190111624A (ko) 전자 장치 및 전자 장치의 음성 인식 제어 방법
WO2018023518A1 (zh) 一种语音交互识别智能终端

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200408

R150 Certificate of patent or registration of utility model

Ref document number: 6690031

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150