JP6468069B2

JP6468069B2 - 電子機器制御システム、サーバー、及び、端末装置

Info

Publication number: JP6468069B2
Application number: JP2015101611A
Authority: JP
Inventors: 近藤　裕介; 裕介近藤
Original assignee: Onkyo Corp
Current assignee: Onkyo Corp
Priority date: 2015-05-19
Filing date: 2015-05-19
Publication date: 2019-02-13
Anticipated expiration: 2035-05-19
Also published as: JP2016218200A

Description

本発明は、スマートフォン等の電子機器を制御するための電子機器制御システム、電子機器制御システムを構成するサーバー、及び、端末装置に関する。

近年、ユーザーが発話した音声を利用して、スマートフォン等の電子機器を制御する技術が開発されている（例えば、特許文献１参照。）。図５は、従来の電子機器制御システムのシステム構成を示す図である。電子機器制御システム１１は、端末装置１２、ホームサーバー１３、ルーター１４を備える。電子機器制御システム１１において、ユーザーは、端末装置１１に対して発話することにより、スマートフォン１５からオーディオデータを再生することができる。端末装置１１は、ユーザーが発話した音声を集音し音声データをホームサーバー１３に送信する。ホームサーバー１３は、音声認識機能を有しており、端末装置１２が送信した音声データを音声認識する。

音声認識率を高めるため、ホームサーバー１３には、スマートフォン１５に記憶されているオーディオデータに関するタグ情報（テキスト情報）が記憶されている。タグ情報は、アーティスト名、アルバム、タイトル等である。ここで、タグ情報は、アルファベット（例えば、Beatles）であったり、カタカナ（例えば、ビートルズ）であったりする場合がある。このため、ホームサーバー１３は、タグ情報を発音情報（例えば、bi.tA.r6u-.zu-）に変換し、変換した発音情報を記憶している。また、ホームサーバー１３は、端末装置１２が送信した音声データを発音情報に変換する。これにより、ホームサーバー１３は、記憶している発音情報と、変換した発音情報と、を比較することで、例えば、ユーザーが発話したアーティスト名を特定することができる。

ホームサーバー１３は、タグ情報（例えば、アーティスト名）と制御コマンド（例えば、プレイ）とをスマートフォン１５に送信する。スマートフォン１５は、ホームサーバー１３が送信したタグ情報と制御コマンドとに従って、オーディオデータを再生する。

特開２０１３−０８８５３５号公報

上記した従来の電子機器制御システム１１では、ホームサーバー１３が音声認識機能を有している。音声認識機能では、音声認識辞書（タグ情報）と音声認識エンジンとがセットになっている。このため、ホームサーバー１３に音声認識エンジンを実装した場合、ホームサーバー１３に大きなプロセッサパワーが必要となり、単価が上昇するという問題がある。また、外部のクラウドサーバーで音声認識を行うため、タグ情報をクラウドサーバーに送信することが考えられる。しかし、タグ情報は、スマートフォン１５のユーザー毎に異なるため、ユーザー毎の管理が必要である。また、タグ情報を扱うことの許諾をユーザーから得る必要がある。

本発明の目的は、電子機器制御システムにおいて、サーバーの単価を抑制すること等である。

第１の発明の電子機器制御システムは、音声データに対応する発音情報を送信する外部サーバーと通信を行うサーバーと、前記サーバーと通信を行う端末装置と、を備える電子機器制御システムであって、前記端末装置は、外部の音声を集音し音声データとして出力するマイクと、前記マイクが出力する音声データをサーバーに送信する第１制御部と、を備え、前記サーバーは、電子機器に記憶されているオーディオデータに関するタグ情報と、タグ情報に対応する発音情報と、を対応付けて記憶するための記憶部と、前記端末装置が送信する音声データを受信し、受信した音声データを前記外部サーバーに送信し、送信した音声データに対応する発音情報を前記外部サーバーから受信し、受信した発音情報と、前記記憶部に記憶されている発音情報と、に基づいて、タグ情報を決定し、決定したタグ情報とともに、制御コマンドを前記電子機器に送信する第２制御部と、を備えることを特徴とする。

本発明では、第２制御部は、受信した発音情報と、記憶部に記憶されている発音情報と、に基づいて、タグ情報を決定する。例えば、第２制御部は、タグ情報として、アーティスト名を決定する。そして、第２制御部は、決定したタグ情報とともに、制御コマンドを電子機器に送信する。例えば、第２制御部は、決定したアーティスト名とともに、制御コマンド「プレイ」を電子機器に送信する。電子機器は、アーティスト名と制御コマンド「プレイ」により、対応するアーティスト名の楽曲を再生することができる。本発明では、サーバーは、音声認識を行わず、外部サーバーで音声認識を行うため、サーバーのプロセッサパワーが少なくてよい。このため、サーバーの単価を抑えることができる。

また、外部サーバーがタグ情報を扱わないため、ユーザー毎に異なるタグ情報の管理が不要になる。また、タグ情報を扱うことの許諾をユーザーから得ることが不要となる。

第２の発明の電子機器制御システムは、第１の発明の電子機器制御システムにおいて、前記第２制御部は、タグ情報を発音情報に変換し、タグ情報と、変換した発音情報と、を対応付けて前記記憶部に記憶することを特徴とする。

本発明では、第２制御部は、タグ情報を発音情報に変換し、タグ情報と、変換した発音情報と、を対応付けて記憶部に記憶する。これにより、タグ情報を外部サーバー等に送信する必要がないため、外部とやり取りするデータ量が多くなることが防止される。

第３の発明の電子機器制御システムは、第１の発明の電子機器制御システムにおいて、前記第２制御部は、前記電子機器から送信されるタグ情報を受信し、受信したタグ情報を発音情報に変換し、受信したタグ情報と、変換した発音情報と、を対応付けて前記記憶部に記憶することを特徴とする。

第４の発明のサーバーは、第１〜第３の発明のいずれかの電子機器制御システムにおけるサーバーである。

第５の発明の端末装置は、第１〜第３の発明のいずれかの電子機器制御システムにおける端末装置である。

本発明によれば、サーバーの単価を抑えることができる。また、ユーザー毎に異なるタグ情報の管理が不要になる。また、タグ情報を扱うことの許諾をユーザーから得ることが不要となる。

本発明の実施形態に係る電子機器制御システムのシステム構成を示す図である。音声認識キーワードデータベースを示す図である。電子機器制御システムの動作を示すシーケンス図である。音声認識キーワードデータベースからキーワードを抽出する、ホームサーバーのフィルタ処理を示すフローチャートである。従来の電子機器制御システムのシステム構成を示す図である。

以下、本発明の実施形態について説明する。図１は、本実施形態に係る電子機器制御システムの構成を示すブロック図である。電子機器制御システム１は、端末装置２、ホームサーバー３、クラウドサーバー４、ルーター５を備える。クラウドサーバー４は、外部に設置された外部サーバーである。端末装置２は、ホームサーバー３と通信を行う。ホームサーバー３は、クラウドサーバー４と通信を行う。本実施形態では、制御対象の電子機器は、スマートフォン６である。

端末装置２は、マイクロコンピュータ２１、マイク２２、スピーカー２３等を備える。マイクロコンピュータ２１（第１制御部）は、端末装置２を構成する各部を制御する。また、マイクロコンピュータ２１は、無線ＬＡＮネットワークプロセッサーを有しており、ルーター５と無線ＬＡＮに従った通信を行う。マイク２２は、外部の音声を集音し音声データとして出力する。マイク２２が出力した音声データは、図示しないＤＳＰ（Digital Signal Processor）を介して、マイクロコンピュータ２１に入力される。なお、マイク２２は、デジタルマイクであり、集音した音声データをＡ／Ｄ変換してＤＳＰに出力する。スピーカー２３は、音声データに基づいて音声を出力する。なお、スピーカー２３には、図示しないＤ／Ａコンバータが音声データ（デジタルデータ）をＤ／Ａ変換し、図示しないパワーアンプが増幅した音声データが出力される。

ホームサーバー３（サーバー）は、ＣＰＵ（Central Processing Unit）３１、ＲＡＭ（Random Access Memory）３２、記憶部３３、ネットワークインターフェース（以下、「ＮＷＩ／Ｆ」という。）３４を備える。ＣＰＵ３１（第２制御部）は、ホームサーバー３を構成する各部を制御する。ＲＡＭ３２は、ＣＰＵ３１のワークメモリとして機能する。記憶部３３は、各種のプログラム、データを記憶するためのものである。また、記憶部３３には、音声認識キーワードデータベース（以下、「音声認識キーワードＤＢ」という。）が記憶されている。ＮＷＩ／Ｆ３４は、外部の機器（例えば、ルーター５）と有線ＬＡＮ、無線ＬＡＮに従った通信を行うためのものである。

ルーター５は、アクセスポイント機能を有しており、端末装置２、スマートフォン６と無線ＬＡＮに従った通信を行う。また、ルーター５は、ホームサーバー３と有線ＬＡＮに従った通信を行う。また、ルーター５は、ホームサーバー３とクラウドサーバー４とをインターネット接続する。

クラウドサーバー４（外部サーバー）は、音声認識機能を有する。クラウドサーバー４は、音声認識機能により、音声データを音声コマンドと発音情報とに変換する。スマートフォン５には、音楽再生アプリケーションプログラム（以下、「音楽再生アプリ」という。）Ｐがインストールされている。

図２は、音声認識キーワードＤＢを示す図である。スマートフォン６は、音楽再生アプリＰの初回起動時に、音声認識キーワードＤＢに登録されるタグ情報等をリストとして送信する。音声認識キーワードＤＢにおいては、アクセサリー（Accessory）「スマートフォン（Smart Phone）」の「アプリケーション名（Application Name）」として、「音楽プレイヤー（Music Player）」が登録されている。これに対応する単語として、「Music Player」が登録されている。また、プロファイル（Profile）「音楽再生（MusicPlay）」に対応する単語として、「Music」、「音楽」等が登録されている。

また、「アクション（Action）」の「再生（Play）」に対応する単語として、「Play」、「再生」、「一時停止（Pause）」に対応する単語として、「Pause」、「一時停止」等が登録されている。また、「ターゲット（Target）」の「アーティスト（Artist）」に対応する単語として、「Artist」、「歌手」、「タイトル（Title）」に対応する単語として、「Title」、「題名」が登録されている。また、音声認識キーワードＤＢには、アーティスト名等のタグ情報と、タグ情報に対応する発音情報と、が対応付けて登録されている。ホームサーバー３のＣＰＵ３１は、ＮＷＩ／Ｆ３４を介して、スマートフォン６から送信されるタグ情報を受信すると、タグ情報を発音情報に変換する。そして、ＣＰＵ３１は、受信したタグ情報（例えば、「Beatles」）と、変換した発音情報（例えば、「bi.tA.r6u-.zu-」）と、を対応付けて音声認識キーワードＤＢに登録する。

図３は、電子機器制御システムの動作を示すシーケンス図である。以下、図３に基づいて、スマートフォン６を制御する一連の動作を説明する。まず、ユーザーは、スマートフォン６にインストールされている音楽再生アプリＰを起動する（図３の（１））。音楽再生アプリＰが起動されると、スマートフォン６は、タグ情報等をリストとしてホームサーバー３に送信する（図３の（２））。ホームサーバー３のＣＰＵ３１は、ＮＷＩ／Ｆ３４を介して、タグ情報等を受信すると、音声認識キーワードＤＢに登録する（図３の（３））。

ユーザーは、端末装置２がホームサーバー３に音声データを送信するデータ送信モードとするために、所定のキーワードを発話する。本実施形態では、端末装置２は、所定のキーワードにより、データ送信モードに遷移する。例えば、ユーザーは、所定のキーワードとして、「こんにちはオンキヨー」と発話する（図３の（４））。次に、例えば、ユーザーは、ビートルズの楽曲を再生したい場合、「Play Beatles」と発話する（図３の（５））。端末装置２のマイク２２は、ユーザーが発話した音声を集音し音声データとしてマイクロコンピュータ２１に出力する。マイクロコンピュータ２１は、音声データ（「Play Beatles」）をホームサーバー３に送信する（図３の（６））。ホームサーバー３のＣＰＵ３１は、ＮＷＩ／Ｆ３４を介して、端末装置２が送信した音声データを受信する。次に、ＣＰＵ３１は、ＮＷＩ／Ｆ３４を介して、クラウドサーバー４に音声データを送信し、クラウドサーバー４に音声認識を要求する（図３の（７））。

クラウドサーバー４は、ホームサーバー３が送信した音声データを受信する。クラウドサーバー４は、音声認識機能を有しており、音声データを音声コマンド（例えば、「Play」）と、発音情報（例えば、「bi.tA.r6u-.zu-」）と、に変換する。次に、クラウドサーバー４は、変換した音声コマンドと、発音情報と、をホームサーバー３に送信し、音声認識の結果を応答する（図３の（８））。ホームサーバー３のＣＰＵ３１は、ＮＷＩ／Ｆ３４を介して、クラウドサーバー４が送信した音声コマンドを受信する。ＣＰＵ３１は、音声認識結果の解析を行う（図３の（９））。具体的には、ＣＰＵ３１は、音声認識キーワードＤＢに登録されている登録単語と、受信した音声コマンドと、に基づいて、音声コマンド（例えば、「Play」）に対応する制御コマンド（例えば、「Play」）を決定する。また、ＣＰＵ３１は、受信した発音情報（例えば、「bi.tA.r6u-.zu-」）と、音声認識キーワードＤＢに登録されている発音情報（例えば、「bi.tA.r6u-.zu-」）と、に基づいて、タグ情報（例えば、「Beatles」）を決定する。

次に、ＣＰＵ３１は、ＮＷＩ／Ｆ３４を介して、決定した制御コマンドと、タグ情報と、をスマートフォン６に送信する（図３の（１０））。スマートフォン６は、ホームサーバー３から送信される制御コマンドと、タグ情報と、を受信する。スマートフォン６は、制御コマンドと、タグ情報と、に従って、オーディオデータ（例えば、ビートルズの楽曲）を再生する（図３の（１１））。次に、スマートフォン６は、ビートルズを再生したことを示すテキスト「Played Beatles」をホームサーバー３に送信する（図３の（１２））。ホームサーバー３のＣＰＵ３１は、ＮＷＩ／Ｆ３４を介して、スマートフォン６から送信されるテキストを受信する。ＣＰＵ３１は、ＮＷＩ／Ｆ３４を介して、受信したテキストをクラウドサーバー４に送信し、クラウドサーバー４に音声合成を要求する（図３の（１３））。

クラウドサーバー４は、音声合成を行い、音声合成データをホームサーバー３に送信し、音声合成の結果を応答する（図３の（１４））。ホームサーバー３のＣＰＵ３１は、ＮＷＩ／Ｆ３４を介して、クラウドサーバー４から送信される音声合成データを受信する。次に、ＣＰＵ３１は、ＮＷＩ／Ｆ３４を介して、受信した音声合成データを端末装置２に送信する（図３の（１５））。端末装置２のマイクロコンピュータ２１は、ホームサーバー３が送信した音声合成データを受信する。マイクロコンピュータ２１は、受信した音声合成データに基づいてスピーカー２３から音声を出力させる（図３の（１６））。

以下、音声認識キーワードＤＢからキーワードを抽出する、ホームサーバー３のフィルタ処理を、図４に示すフローチャートに基づいて説明する。クラウドサーバー３は、音声認識を行い、音声認識の結果を応答する（Ｓ１）。次に、ホームサーバー３のＣＰＵ３１は、クラウドサーバー４から受信した音声認識結果が、アプリケーション名（Application Name）、プロファイル（Profile）、アクション（Action）のいずれかであるかを判断する（Ｓ２）。ＣＰＵ３１は、クラウドサーバー４から受信した音声認識結果が、アプリケーション名（Application Name）、プロファイル（Profile）、アクション（Action）のいずれかであると判断した場合（Ｓ２：Ｙｅｓ）、制御コマンドの送信先にアクセサリー（Accessory）を設定する（Ｓ３）。

ＣＰＵ３１は、クラウドサーバー４から受信した音声認識結果が、アプリケーション名（Application Name）、プロファイル（Profile）、アクション（Action）のいずれかでないと判断した場合（Ｓ２：Ｎｏ）、ターゲット（Target）であるか否かを判断する（Ｓ４）。ＣＰＵ３１は、クラウドサーバー４から受信した音声認識結果が、ターゲット（Target）でないと判断した場合（Ｓ４：Ｎｏ）、処理を終了する。

ＣＰＵ３１は、クラウドサーバー４から受信した音声認識結果が、ターゲット（Target）であると判断した場合（Ｓ４：Ｙｅｓ）、発音情報であるか否かを判断する（Ｓ５）。ＣＰＵ３１は、クラウドサーバー４から受信した音声認識結果が、発音情報でないと判断した場合（Ｓ５：Ｎｏ）、処理を終了する。ＣＰＵ３１は、クラウドサーバー４から受信した音声認識結果が、発音情報であると判断した場合（Ｓ５：Ｙｅｓ）、受信した発音情報と、音声認識キーワードＤＢに登録されている発音情報と、に基づいて、タグ情報に変換する（Ｓ６）。

以上説明したように、本実施形態では、ホームサーバー３のＣＰＵ３１は、受信した発音情報と、記憶部３３に記憶されている発音情報と、に基づいて、タグ情報を決定する。例えば、ＣＰＵ３１は、タグ情報として、アーティスト名を決定する。そして、ＣＰＵ３１は、決定したタグ情報とともに、制御コマンドをスマートフォン６に送信する。例えば、ＣＰＵ３１は、決定したアーティスト名とともに、制御コマンド「Play」をスマートフォン６に送信する。スマートフォン６は、アーティスト名と制御コマンド「Play」とにより、対応するアーティスト名の楽曲を再生することができる。本実施形態では、ホームサーバー３は、音声認識を行わず、クラウドサーバー４で音声認識を行うため、ホームサーバー３のプロセッサパワーが少なくてよい。このため、ホームサーバー３の単価を抑えることができる。

また、クラウドサーバー４がタグ情報を扱わないため、ユーザー毎に異なるタグ情報の管理が不要になる。また、タグ情報を扱うことの許諾をユーザーから得ることが不要となる。

また、本実施形態では、ホームサーバー３のＣＰＵ３１は、タグ情報を発音情報に変換し、タグ情報と、変換した発音情報と、を対応付けて記憶部３３に記憶する。これにより、タグ情報をクラウドサーバー４等に送信する必要がないため、外部とやり取りするデータ量が多くなることが防止される。

以上、本発明の実施形態について説明したが、本発明を適用可能な形態は、上述の実施形態には限られるものではなく、以下に例示するように、本発明の趣旨を逸脱しない範囲で適宜変更を加えることが可能である。

上述の実施形態においては、電子機器として、スマートフォンを例示した。これに限らず、携帯音楽再生装置、タブレットＰＣ等であってもよい。

本発明は、電子機器を制御するための電子機器制御システム、電子機器制御システムを構成するサーバー、及び、端末装置に好適に採用され得る。

１電子機器制御システム
２端末装置
２１マイクロコンピュータ（第１制御部）
２２マイク
３ホームサーバー（サーバー）
３１ＣＰＵ（第２制御部）
３３記憶部
４クラウドサーバー（外部サーバー）
６スマートフォン（電子機器）

Claims

音声データに対応する発音情報を送信する外部サーバーと通信を行うサーバーと、前記サーバーと通信を行う端末装置と、を備える電子機器制御システムであって、
前記端末装置は、
外部の音声を集音し音声データとして出力するマイクと、
前記マイクが出力する音声データをサーバーに送信する第１制御部と、を備え、
前記サーバーは、
電子機器に記憶されているオーディオデータに関するタグ情報と、タグ情報に対応する発音情報と、を対応付けて記憶するための記憶部と、
前記端末装置が送信する音声データを受信し、
受信した音声データを前記外部サーバーに送信し、
送信した音声データに対応する発音情報を前記外部サーバーから受信し、
受信した発音情報と、前記記憶部に記憶されている発音情報と、に基づいて、タグ情報を決定し、
決定したタグ情報とともに、制御コマンドを前記電子機器に送信する第２制御部と、
を備えることを特徴とする電子機器制御システム。
前記第２制御部は、タグ情報を発音情報に変換し、タグ情報と、変換した発音情報と、を対応付けて前記記憶部に記憶することを特徴とする請求項１に記載の電子機器制御システム。
前記第２制御部は、前記電子機器から送信されるタグ情報を受信し、受信したタグ情報を発音情報に変換し、受信したタグ情報と、変換した発音情報と、を対応付けて前記記憶部に記憶することを特徴とする請求項１に記載の電子機器制御システム。
請求項１〜３のいずれか１項に記載のサーバー。
請求項１〜３のいずれか１項に記載の端末装置。