JP7242248B2 - 電子機器、その制御方法、およびそのプログラム - Google Patents

Description

本発明は、音声を認識できる電子機器に関する。

近年、音声を認識する技術が向上し、音声によって電子機器を操作できる音声アシスタント機能と呼ばれる技術が知られている。例えば、特許文献１には、マイクを介して入力された音声をネットワーク上で処理し、その音声に対して音声で応答するコミュニケーションロボットが開示されている。

特開２０１５－０１３３５１号公報

しかし、機器への指示を意図しない音声によって機器が動作することを防ぐために、ユーザは音声アシスタント機能を利用するときのみオンにし、それ以外のときは音声アシスタント機能をオフにするユースケースが存在する。このようなユースケースにおいて、機器の音声アシスタント機能がオフの場合、ユーザは手動で音声アシスタント機能をオンにする必要があるという課題があった。

そこで本発明は、ユーザは手動で操作しなくても、機器の音声アシスタント機能をオンにできるようにすることを目的とする。

上記目的を達成するために、本発明の電子機器は、音声を集音する集音手段と、外部機器と通信する第一の通信手段と、音声を認識するための前記外部機器の機能が有効か否かに関する情報を前記第一の通信手段を介して取得する取得手段と、前記取得手段によって取得した前記外部機器の前記機能の状態が有効ではない場合、前記外部機器に対する音声を含む所定の音声を前記集音手段を用いて集音したことに応じて、前記外部機器の前記機能を有効化するよう前記第一の通信手段を介して前記外部機器を制御する制御手段とを有し、前記制御手段は、前記外部機器の前記機能が有効である場合、前記外部機器に対する音声を含む所定の音声が前記集音手段によって集音された場合でも、前記外部機器に対する制御を行わないことを特徴とする。

本発明によれば、ユーザは手動で操作しなくても、機器の音声アシスタント機能をオンにできる。

第１の実施形態におけるシステム構成を示す図である。 第１の実施形態におけるスマートスピーカーの構成の一例を示すブロック図である。 第１の実施形態におけるデジタルカメラの構成の一例を示すブロック図である。 第１の実施形態におけるデジタルカメラの電力状態の一例を示す図である。 第１の実施形態におけるスマートスピーカーの遠隔制御機能を設定する処理の一例を示すシーケンス図である。 第１の実施形態における機器管理ＤＢの一例を示す図である。 第１の実施形態における電力状態ＰＳ２の状態のスマートスピーカーがデジタルカメラの音声アシスタント機能の動作状態に関わる情報を取得する処理の一例を示すシーケンス図である。 第１の実施形態における電力状態ＰＳ１の状態のスマートスピーカーがデジタルカメラの音声アシスタント機能の動作状態に関わる情報を取得する処理の一例を示すシーケンス図である。 第１の実施形態におけるデジタルカメラの音声アシスタント機能がオフの状態における遠隔制御機能の処理の一例を示すシーケンス図である。 第１の実施形態におけるデジタルカメラの音声アシスタント機能がオンの状態における遠隔制御機能の処理の一例を示すシーケンス図である。 第１の実施形態におけるスマートスピーカーの遠隔制御機能の処理の一例を示すフローチャートである。 第１の実施形態におけるデジタルカメラの遠隔制御機能の処理の一例を示すフローチャートである。

以下、本発明の好ましい実施の形態を、図面を参照しながら詳細に説明する。

［第１の実施形態］
＜システム構成＞
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、スマートスピーカー１００、デジタルカメラ２００、無線ＬＡＮルータ３００、サーバ４００、スマートフォン５００によって構成される。

スマートスピーカー１００は、音声アシスタント機能を有する電子機器である。音声アシスタント機能は、ユーザの音声の内容を解釈し、その内容に応じた処理を実行する機能である。一般的に音声アシスタント機能を有する電子機器は、集音した音声に含まれる所定の単語（いわゆるウェイクワード）を認識してから、そのウェイクワードに続く音声を解釈する。本実施形態においてスマートスピーカー１００は、無線ＬＡＮネットワークを介して接続したサーバ４００へ集音した音声を送信し、サーバ４００を利用して音声の内容を解釈する。本実施形態のスマートスピーカー１００および後述するデジタルカメラ２００は、ウェイクワードは機器内で認識し、そのウェイクワードに続く音声はサーバ４００を利用して内容を解釈する。

スマートスピーカー１００は商用電源等の外部電源から電力を供給されて動作する。スマートスピーカー１００は無線ＬＡＮルータ３００およびサーバ４００と接続した状態にある。また、スマートスピーカー１００は、デジタルカメラ２００との間で、Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙによる通信が可能である。スマートスピーカー１００はデジタルカメラ２００の音声アシスタント機能の動作状態に関わる情報を取得する。

デジタルカメラ２００は、音声アシスタント機能を有する機器である。デジタルカメラ２００は、リチウムイオン電池やバッテリ等の電池を有し、この電池から電力を供給され動作する。電池の蓄えられる電力量は有限であるため、ユーザはデジタルカメラ２００の電力の消費をなるべく抑えたい。そのため、デジタルカメラ２００は音声アシスタント機能および無線ＬＡＮ機能を通常はオフにし、ユーザが必要に応じてそれらを有効化するものとする。本実施形態におけるデジタルカメラ２００の構成は、例えばスマートフォン、タブレット端末等にも適用できる。

無線ＬＡＮルータ３００は、無線ＬＡＮネットワークを形成する。スマートスピーカー１００、デジタルカメラ２００、および後述するスマートフォン５００は、無線ＬＡＮルータ３００によって形成された無線ＬＡＮネットワークを介して、無線ＬＡＮ通信を行うことができる。またスマートスピーカー１００およびデジタルカメラ２００は無線ＬＡＮルータ３００を介してサーバ４００と通信できる。

サーバ４００は、音声の内容を認識するためのサービスを提供する。例えば、サーバ４００は音声データを文字や文章に変換するサービス、文字や文章を解析してデジタルカメラ２００への指示に変換するサービス、等のサービスを提供する。ユーザはサーバ４００が提供するサービスを利用することで、このようなスマートフォンやデジタルカメラ等の持ち運び可能な電子機器では負荷が大きい処理を手軽に実行することができる。スマートスピーカー１００およびデジタルカメラ２００は、サーバ４００が提供するサービスを利用して、音声を解析する。

スマートフォン５００は、無線ＬＡＮ通信を介してスマートスピーカー１００の各種設定を実行する。つまり、スマートスピーカー１００の各種設定を実行するためのアプリケーションが、スマートフォン５００内にインストールされている。

図１に示したシステム構成において、本実施形態のスマートスピーカー１００は、デジタルカメラ２００の音声アシスタント機能の一部を遠隔制御する機能を有する。音声アシスタント機能が動作していないデジタルカメラ２００にユーザが話しかけた場合に、スマートスピーカー１００は集音したユーザの音声を受信し、デジタルカメラ２００の音声アシスタント機能を有効化する。さらにスマートスピーカー１００は集音した音声データをデジタルカメラ２００に送信し、デジタルカメラ２００に集音した音声に対応する機能を実行するよう遠隔制御することが可能である。遠隔制御の詳細は後述の図９および図１０の説明に記載する。

＜スマートスピーカー１００の構成例＞
図２は、スマートスピーカー１００の構成の一例を示すブロック図である。

制御部１０１は、入力された信号やＲＯＭ１０２に格納されるプログラムに従って、スマートスピーカー１００の各部を制御する。制御部１０１は、例えば一つ又は複数のＣＰＵやＭＰＵ等のプロセッサで構成される。なお、制御部１０１が機器全体を制御する代わりに、複数のハードウェアが処理を分担することで、機器全体を制御してもよい。

ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性のメモリであり、制御部１０１によって実行される後述のプログラム等が格納される。

ＲＡＭ１０３は、揮発性メモリであり、制御部１０１がプログラムを実行するためのワークメモリや、各種データの一時格納領域等として使用される。

記録媒体１０４は、記録メディアである。記録媒体１０４は例えば、メモリーカード、フラッシュメモリ、ハードディスクで構成される。記録媒体１０４は、スマートスピーカー１００に着脱可能なよう構成してもよいし、スマートスピーカー１００に内蔵されていてもよい。すなわち、スマートスピーカー１００は少なくとも記録媒体１０４にアクセスする手段を有していればよい。

操作部１０５は、ユーザの操作を受け付け、入力された情報を制御部１０１に通知する処理部である。操作部１０５は、例えばタッチパネル、ボタンスイッチ、十字キー等によって構成される。また操作部１０５は、ユーザがスマートスピーカー１００の電源のオン／オフを指示するための電源スイッチを含む。

表示部１０６は、画像データや機器の動作状態等を表示するための処理部である。表示部１０６は、例えば液晶パネルやＬＥＤ等によって構成される。なお、表示部１０６は必ずしもスマートスピーカー１００が有する必要はない。スマートスピーカー１００は表示部１０６と接続することができ、表示部１０６の表示を制御する表示制御機能を少なくとも有していればよい。

集音部１０７は、ユーザの音声を検出してデジタルデータに変換して、ＲＡＭ１０３に記録する処理部である。集音部１０７は例えばマイクロフォンを有する。

音声出力部１０８は、ＲＡＭ１０３に格納されたデータを音声に変換し、スピーカー等を介して外部に出力する処理部である。

無線ＬＡＮ通信部１０９は、ＩＥＥＥ８０２．１１の規格に準拠して無線通信を行う処理部である。無線ＬＡＮ通信部１０９は、無線ＬＡＮのＳＴＡ（ステーション）として動作し、無線ＬＡＮルータ３００によって形成される無線ＬＡＮネットワークに接続して無線通信する。

ＢＴ通信部１１０は、Ｂｌｕｅｔｏｏｔｈの規格に準拠して無線通信を行う処理部である。本実施形態においてＢｌｕｅｔｏｏｔｈ通信（ＢＴ通信）は、Ｂｌｕｅｔｏｏｔｈのバージョン４．０以降に規定されているＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（以下、ＢＬＥ）というモードを採用する。このＢＬＥ通信は、無線ＬＡＮ通信と比べて通信可能な範囲が狭く（通信可能な距離が短い）、無線ＬＡＮ通信と比べて通信速度が遅い。その一方で、ＢＬＥ通信は、無線ＬＡＮ通信と比べて消費電力が少ない。本実施形態においてＢＴ通信部１１０はセントラルとして動作し、デジタルカメラ２００との間で無線データ通信を行う。

内部バス１２０は、各処理部を互いに接続する。

ここで、ＢＬＥ通信における通信機器の役割について説明する。ＢＬＥ通信で接続する２つの通信機器は、それぞれセントラルとペリフェラルの役割に分かれる。ＢＬＥ通信規格の接続形態はマスタースレーブ方式のスター型ネットワークである。セントラルとして動作する通信機器（以下、セントラル機器という）がマスターとなり、ペリフェラルとして動作する通信機器（以下、ペリフェラル機器という）がスレーブとなる。セントラル機器は、ペリフェラル機器のネットワークへの参加の管理やペリフェラル機器との無線接続における各種パラメータの設定等をする。セントラル機器は複数のペリフェラル機器と同時接続できるが、ペリフェラル機器は一度に１つのセントラル機器しか無線接続を確立することはできない。また、セントラル機器同士は無線接続を確立することはできず、無線接続を確立するためには片方がセントラル、もう片方がペリフェラルとならなければならない。以上、ＢＬＥ通信における通信機器の役割について説明した。

本実施形態では、無線ＬＡＮ通信部１０９により実現される通信の通信速度は、ＢＴ通信部１１０により実現される通信の通信速度よりも速い。また、無線ＬＡＮ通信部１０９により実現される通信は、ＢＴ通信部１１０による通信よりも、通信可能な範囲が広い。

ここで、スマートスピーカー１００は、常時、商用電源等の外部電源から電力を供給されているとする。

＜デジタルカメラ２００の構成例＞
図３は、デジタルカメラ２００の構成の一例を示すブロック図である。

制御部２０１は、入力された信号やＲＯＭ２０２に格納されるプログラムに従って、デジタルカメラ２００の各部を制御する。制御部２０１は、例えば一つ又は複数のＣＰＵやＭＰＵ等のプロセッサで構成される。なお、制御部２０１が機器全体を制御する代わりに、複数のハードウェアが処理を分担することで、機器全体を制御してもよい。

ＲＯＭ２０２は、電気的に消去・記録可能な不揮発性のメモリであり、制御部２０１によって実行される後述のプログラムが格納される。

ＲＡＭ２０３は、揮発性メモリであり、制御部２０１がプログラムを実行するためのワークメモリや、各種データの一時格納領域等として使用される。

記録媒体２０４は、記録メディアである。記録媒体２０４は例えば、メモリーカード、フラッシュメモリ、ハードディスクで構成される。記録媒体２０４は、デジタルカメラ２００に着脱可能なよう構成してもよいし、デジタルカメラ２００に内蔵されていてもよい。すなわち、デジタルカメラ２００は少なくとも記録媒体２０４にアクセスする手段を有していればよい。

操作部２０５は、ユーザの操作を受け付け、入力された情報を制御部２０１に通知する処理部である。操作部２０５は、例えばタッチパネル、ボタンスイッチ、十字キー等によって構成される。また操作部２０５は、ユーザがデジタルカメラ２００の電源のオン／オフを指示するための電源スイッチを含む。

表示部２０６は、画像データや機器の動作状態等を表示するための処理部である。表示部２０６は、例えば液晶パネルやＬＥＤ等によって構成される。なお、表示部２０６は必ずしもデジタルカメラ２００が有する必要はない。デジタルカメラ２００は表示部２０６と接続することができ、表示部２０６の表示を制御する表示制御機能を少なくとも有していればよい。

集音部２０７は、ユーザの音声を検出してデジタルデータに変換して、ＲＡＭ２０３に記録する処理部である。集音部２０７は例えばマイクロフォンを介してユーザの音声を検出する。

音声出力部２０８は、ＲＡＭ２０３に格納されたデータを音声に変換し、スピーカー等を介して外部に出力する処理部である。

無線ＬＡＮ通信部２０９は、ＩＥＥＥ８０２．１１の規格に準拠して無線通信を行う処理部である。無線ＬＡＮ通信部２０９は、無線ＬＡＮのＳＴＡ（ステーション）として動作し、無線ＬＡＮルータ３００によって形成される無線ＬＡＮネットワークに接続して無線通信する。

ＢＴ通信部２１０は、Ｂｌｕｅｔｏｏｔｈの規格に準拠して無線通信を行う処理部である。ＢＴ通信部２１０は、ペリフェラルとして動作し、スマートスピーカー１００との間でＢＬＥ通信を行う。

電源制御部２１１は、電源部２１２から各処理部への電力供給を制御する処理部である。

電源部２１２はデジタルカメラ２００の各要素に電力を供給することができる。電源部２１２は例えば、リチウムイオン電池やバッテリ等である。

内部バス２２０は、各処理部を互いに接続する。

ここで、電源制御部２１１によるデジタルカメラ２００の電源制御について、図４を用いて説明する。デジタルカメラ２００は、上述したように電池で駆動する機器であり、低消費電力の実現のため、電源制御部２１１を有する。

図４は、デジタルカメラ２００の電力状態の一例を示す図である。電力状態ＰＳ０は、デジタルカメラ２００のすべての処理部に対して電力供給が行われていない状態、すなわちデジタルカメラ２００の電源スイッチがオフされた状態である。電力状態ＰＳ１は、電源制御部２１１によって、集音部２０７、音声出力部２０８、および無線ＬＡＮ通信部２０９に通電していない状態であり、電力状態ＰＳ０の次に消費電力を抑えた状態である。電力状態ＰＳ２は、すべての処理部に電力が供給されている状態である。デジタルカメラ２００はユーザによる電源スイッチのオン操作によって電力状態ＰＳ０から電力状態ＰＳ２へ遷移する。デジタルカメラ２００はユーザによる電源スイッチのオフ操作によって電力状態ＰＳ２または電力状態ＰＳ１から電力状態ＰＳ０へ遷移する。また、制御部２０１が電源制御部２１１に指示することで、デジタルカメラ２００は電力状態ＰＳ１から電力状態ＰＳ２、または電力状態ＰＳ２から電力状態ＰＳ１へ遷移する。例えば、電力状態ＰＳ１の状態において、制御部２０１はＢＴ通信部２１０を介して、スマートスピーカー１００からの音声アシスタント機能の有効化を要求するパケットを受信した場合、電源制御部２１１に電力状態ＰＳ２に遷移するよう指示する。電源制御部２１１はその指示を受け、集音部２０７、音声出力部２０８、無線ＬＡＮ通信部２０９に電力を供給する。逆に電源制御部が制御部２０１から電力状態ＰＳ２から電力状態ＰＳ１に遷移するよう指示された場合、集音部２０７、音声出力部２０８、無線ＬＡＮ通信部２０９への電力の供給を停止する。

＜スマートスピーカー１００の遠隔制御機能を設定する処理のシーケンス＞
図５はスマートスピーカー１００の遠隔制御機能を設定する処理の一例を示すシーケンス図である。遠隔制御機能の詳細は、後述の図９および図１０の説明に記載する。この処理を実行することで、スマートスピーカー１００はデジタルカメラ２００に対するユーザの音声をデジタルカメラ２００の代わりに集音することができる。また、スマートスピーカー１００がその集音した音声の音声データをデジタルカメラ２００の音声アシスタント機能がオンになった後にデジタルカメラ２００に送信することで、デジタルカメラ２００はその音声データに基づいて、処理を実行することができる。

本処理は、スマートスピーカー１００を設定するためのアプリケーションをユーザがスマートフォン５００上で操作することで実行される。このアプリケーションはスマートフォン５００にインストールされている。スマートフォン５００は、そのユーザの操作に従ってスマートスピーカー１００およびデジタルカメラ２００と無線ＬＡＮ通信し、上述した処理を実行する。

なお、スマートフォン５００、スマートスピーカー１００、およびデジタルカメラ２００は、同一の無線ＬＡＮネットワークに接続している。また、スマートフォン５００は、無線ＬＡＮネットワーク内においてスマートスピーカー１００およびデジタルカメラ２００を検出しており、それぞれの機器に対してアクセス可能な状態である。

ステップＳ５０１において、スマートフォン５００は、無線ＬＡＮ通信を介して、デジタルカメラ２００に、デジタルカメラ２００の情報の取得を要求するメッセージを送信する。デジタルカメラ２００の情報は、例えばデジタルカメラ２００の機器名、ウェイクワード、およびＢＤアドレスの情報である。ここで機器名とは、例えばデジタルカメラ２００の名前としてユーザに設定された文字列である。ウェイクワードは、デジタルカメラ２００の音声アシスタント機能を実行するための単語である。ＢＤアドレスは、ＢＬＥ通信において通信相手となる機器を識別するために使われる４８ビットのアドレス情報である。このＢＤアドレスは機器ごとに異なる。

ステップＳ５０２において、デジタルカメラ２００は、ステップＳ５０１において受信したメッセージの応答として、無線ＬＡＮ通信を介して、デジタルカメラ２００の情報をスマートフォン５００に送信する。

ステップＳ５０３において、スマートフォン５００は、無線ＬＡＮ通信を介して、スマートスピーカー１００に、遠隔制御機能の設定を開始することを要求するメッセージを送信する。本ステップにおいてスマートフォン５００は、ステップＳ５０２で受信したデジタルカメラ２００の機器名、ウェイクワード、ＢＤアドレスの情報をスマートスピーカー１００に送信する。

ステップＳ５０４において、スマートスピーカー１００は、ステップＳ５０３において受信したデジタルカメラ２００の情報を機器管理ＤＢに登録する。機器管理ＤＢは、機器名、ウェイクワード、ＢＤアドレス、および音声アシスタント機能の動作状態に関わる情報を、機器ごとに管理するデータベース情報である。機器管理ＤＢはＲＯＭ２０２に格納される。ここで、図６（ａ）は、本ステップ終了時点での機器管理ＤＢを示す。ＩＤ１はスマートスピーカー１００の情報であり、ＩＤ２はデジタルカメラ２００の情報である。本ステップではデジタルカメラ２００の情報が登録される。

ステップＳ５０５において、スマートスピーカー１００は、デジタルカメラ２００との間でＢＬＥ通信の接続を確立させる。具体的には、スマートスピーカー１００のＢＴ通信部２１０が、ペリフェラル機器であるデジタルカメラ２００から定期的に送信されているアドバタイズメッセージに対してＢＬＥ通信の接続を要求するメッセージを送信することで、ＢＬＥ通信の接続を確立する。

ステップＳ５０６において、スマートスピーカー１００は、ＢＬＥ通信を介して、デジタルカメラ２００によって提供される状態通知サービスを、ＡＴＴプロトコルを用いて検出する。状態通知サービスは音声アシスタント機能の動作状態がオンであるかオフであるかを定期的に通信相手に通知するサービスである。

ステップＳ５０７において、スマートスピーカー１００は、ＢＬＥ通信を介して、デジタルカメラ２００に、ステップＳ５０６で検出した音声アシスタント機能の動作状態を通知するサービスの開始を要求する。

ステップＳ５０８において、デジタルカメラ２００はスマートスピーカー１００に対して状態通知サービスを開始する。状態通知サービスについては後述する。

ステップＳ５０９において、デジタルカメラ２００は、ＢＬＥ通信を介して、状態通知サービスを開始したことを示す通知をスマートスピーカー１００に送信する。

ステップＳ５１０において、スマートスピーカー１００は、無線ＬＡＮ通信を介して、遠隔制御機能の設定が完了したことを示す通知を、スマートフォン５００に送信する。

以上、図５を用いて、スマートスピーカー１００の遠隔制御機能を設定する処理のシーケンスについて説明した。

なお、本実施形態では、スマートスピーカー１００に遠隔制御機能を設定する処理を実行するためのアプリケーションはスマートフォン５００にインストールされている構成としたが、必ずしもスマートフォン５００にインストールされている必要はない。例えばスマートスピーカー１００がＷｅｂアプリケーションを実行している状態において、ユーザはＷｅｂＡＰＩを用いてスマートフォン５００のＷｅｂクライアント機能（たとえばＷｅｂブラウザ）を介して本処理を実行してもよい。

また、本実施形態ではユーザはスマートフォン５００を用いてスマートスピーカー１００の本処理を実行したが、ユーザはデジタルカメラ２００を用いてスマートスピーカー１００に本処理を実行させてもよい。例えば、ユーザは本処理を実行するためのアプリケーションをデジタルカメラ２００にインストールし、デジタルカメラ２００を用いてスマートスピーカー１００に本処理を実行させる。

＜音声アシスタント機能の動作状態の情報を取得する処理のシーケンス＞
図７および図８はスマートスピーカー１００が、スマートスピーカー１００がデジタルカメラ２００の音声アシスタント機能の動作状態に関わる情報を取得する処理の一例について説明するシーケンス図である。

デジタルカメラ２００はＢＬＥ通信を介して、音声アシスタント機能の動作状態を示す情報を定期的にスマートスピーカー１００に送信する。例えばデジタルカメラ２００は１００ミリ秒ごとの間隔でスマートスピーカーに対して音声アシスタント機能の動作状態を示す情報を送信する。スマートスピーカー１００は、デジタルカメラ２００から受信した情報に基づいて、機器管理ＤＢのデジタルカメラ２００の音声アシスタント機能の動作状態を更新する。

また、本シーケンスにおけるデジタルカメラ２００の動作は、図５で説明した状態通知サービスに相当する。図７および図８に示すシーケンスは、デジタルカメラ２００が状態通知サービスを実行中に、音声アシスタント機能がオンまたはオフである場合の動作について示す。

まず、図７について説明する。本処理はデジタルカメラ２００の電源がオンの場合に実行される。図７はデジタルカメラ２００が電力状態ＰＳ２の状態におけるシーケンス図である。

ステップＳ７０１において、デジタルカメラ２００は音声アシスタント機能をオンからオフに変更する。このとき、デジタルカメラ２００の電力状態は電力状態ＰＳ２から電力状態ＰＳ１に遷移する。本ステップの動作が実行される条件は、例えば、ユーザがデジタルカメラ２００を所定時間操作しなかった場合や、ユーザが操作部２０５等を介して手動で音声アシスタント機能を無効化した場合等である。

ステップＳ７０２において、デジタルカメラ２００は、ＢＬＥ通信を介して、スマートスピーカー１００に、音声アシスタント機能がオフであることを示す状態通知メッセージを送信する。デジタルカメラ２００はこの状態通知メッセージをステップＳ７０２以後も定期的に繰り返し送信する。

ステップＳ７０３において、スマートスピーカー１００は、機器管理ＤＢのデジタルカメラ２００の音声アシスタント機能の動作状態を「オフ」に変更する。本ステップにより、機器管理ＤＢは図６（ｂ）に示す状態に更新される。

次に図８について説明する。図８はデジタルカメラ２００が電力状態ＰＳ１の状態におけるシーケンス図である。

ステップＳ８０１において、デジタルカメラ２００は音声アシスタント機能をオフからオンに変更する。このとき、デジタルカメラ２００の電力状態は電力状態ＰＳ１から電力状態ＰＳ２に遷移する。本ステップの動作が開始する条件は、例えば、ユーザが操作部２０５等を介して手動で音声アシスタント機能を有効化した場合等である。

ステップＳ８０２において、デジタルカメラ２００は、ＢＬＥ通信を介して、スマートスピーカー１００に、音声アシスタント機能がオンであることを示す状態通知メッセージを送信する。デジタルカメラ２００はこの状態通知メッセージをステップＳ８０２以後も定期的に繰り返し送信する。

ステップＳ８０３において、スマートスピーカー１００は、機器管理ＤＢのデジタルカメラ２００の音声アシスタント機能の動作状態を「オン」に変更する。本ステップにより、機器管理ＤＢは図６（ｃ）に示す状態に更新される。

以上、図７および図８を用いて、スマートスピーカー１００が、デジタルカメラ２００の音声アシスタント機能の動作状態に関わる情報を取得する処理のシーケンスについて、説明した。

＜スマートスピーカー１００の遠隔制御機能の処理のシーケンス＞
図９および図１０はスマートスピーカー１００の遠隔制御機能の処理の一例を示すシーケンス図である。図９に示すシーケンスは、デジタルカメラ２００の音声アシスタント機能がオフの状態でユーザが音声を発した場合の処理の一例を示す。図１０に示すシーケンスは、デジタルカメラ２００の音声アシスタント機能がオンの状態でユーザが音声を発した場合の処理の一例を示す。なお、本処理の実行前に、図５を用いて説明したスマートスピーカー１００の遠隔制御機能を設定する処理は実施済みである。

まず図９について説明する。本処理の開始時において、デジタルカメラ２００の音声アシスタント機能はオフであり、電力状態は電力状態ＰＳ１である。またスマートスピーカー１００の機器管理ＤＢの状態は、図６（ｂ）に示す状態である。

本シーケンスは、例えばユーザがデジタルカメラ２００に「ねぇトーマス、最後に撮影した写真を見せて」と発声したことをトリガに開始される。なお、ここでユーザは、スマートスピーカー１００およびデジタルカメラ２００に十分に声が届く範囲にいるものとする。

ステップＳ９０１において、スマートスピーカー１００は、集音した音声に含まれるウェイクワードを検出する。例えばスマートスピーカー１００は集音した音声から「トーマス」というウェイクワードを検出する。スマートスピーカー１００はこの音声の音声データをＲＡＭ２０３に記憶する。

ステップＳ９０２において、スマートスピーカー１００は、機器管理ＤＢを参照し、ステップＳ９０１で検出したウェイクワードに該当するエントリが存在するか否かを判定する。例えばスマートスピーカー１００は「トーマス」というウェイクワードがエントリに存在するか否かを判定する。検出したウェイクワードに該当するエントリが存在しなかった場合、スマートスピーカー１００は処理を終了する。検出したウェイクワードに該当するエントリが存在すると判定した場合、スマートスピーカー１００はステップＳ９０３に進む。

ステップＳ９０３において、スマートスピーカー１００はステップＳ９０１で検出したウェイクワードに該当する機器が自機器（スマートスピーカー１００）か外部機器かを判定する。自機器と判定した場合、スマートスピーカー１００は自身の音声アシスタント機能を用いて集音した音声を解析し、その音声に対応する処理を実行する。外部機器と判定した場合、スマートスピーカー１００はステップＳ９０４に進む。

ステップＳ９０４において、スマートスピーカー１００は外部機器の音声アシスタント機能の動作状態がオンかオフかを判定する。例えば、本ステップでは機器管理ＤＢが図６（ｂ）で示す状態であるため、スマートスピーカー１００はＩＤ２（デジタルカメラ）がウェイクワード「トーマス」に該当すると判定し、その音声アシスタント機能の動作状態はオフである、と判定する。

ステップＳ９０５において、スマートスピーカー１００は、ＢＬＥ通信を介して、デジタルカメラ２００に対して、音声アシスタント機能の有効化を要求するメッセージを送信する。ここでスマートスピーカー１００は、スマートスピーカー１００が接続している無線ＬＡＮネットワークに接続するための情報であるＳＳＩＤと暗号キーの情報を、本メッセージに含める。デジタルカメラ２００は、このメッセージを受信し、音声アシスタント機能を有効化するための処理を開始する。なお、この無線ＬＡＮネットワークは、図１で説明した無線ＬＡＮルータ３００によって形成された無線ＬＡＮネットワークである。

ステップＳ９０６において、デジタルカメラ２００は電力状態を電力状態ＰＳ１から電力状態ＰＳ２に遷移する。

ステップＳ９０７において、デジタルカメラ２００は、ステップＳ９０５で受信したＳＳＩＤと暗号キーの情報を用いて、無線ＬＡＮネットワークに接続する。またデジタルカメラ２００は、無線ＬＡＮネットワークを介してサーバ４００を検出し、音声アシスタント機能を利用可能な状態にする。

ステップＳ９０８において、デジタルカメラ２００は、ＢＬＥ通信を介して、ステップＳ９０５で受信した要求が完了したことを通知するメッセージを、スマートスピーカー１００に送信する。なお、本メッセージは、完了通知を示す情報に加え、デジタルカメラ２００の音声アシスタント機能がオン状態である情報、および無線ＬＡＮ通信を介してデジタルカメラ２００にアクセスするための情報（デジタルカメラ２００のＩＰアドレス等）を含む。

ステップＳ９０９において、スマートスピーカー１００は、機器管理ＤＢのＩＤ２（デジタルカメラ２００）の音声アシスタント機能の動作状態を「オン」に変更する。本ステップにより、機器管理ＤＢは図６（ｃ）に示す状態となる。

ステップＳ９１０において、スマートスピーカー１００は、無線ＬＡＮ通信を介して、ステップＳ９０１で入力を検出した音声に対応する音声アシスタント機能の実行を要求するメッセージを、デジタルカメラ２００に送信する。本メッセージは、ステップＳ９０１においてスマートスピーカー１００が集音した音声の音声データを含む。

ステップＳ９１１において、デジタルカメラ２００は、ステップＳ９１０のメッセージに応じて、音声アシスタント機能を実行する。具体的には、サーバ４００を利用して、ステップＳ９１０で受信した音声データの「最後に撮影した写真を見せて」の部分を解釈して必要な処理を判定する。デジタルカメラ２００は記録媒体２０４に最後に記録された静止画データを表示部２０６に表示し、ユーザへの応答として「はい、表示しました」という音声を出力する。

ステップＳ９１２において、デジタルカメラ２００は、無線ＬＡＮ通信を介して、ステップＳ９１０において受信したメッセージの要求が完了したことを示すメッセージを、スマートスピーカー１００に送信する。

以上、ステップＳ９０１からステップＳ９１１までのステップが、ユーザの「ねぇトーマス、最後に撮影した写真を見せて」の音声に対応する音声アシスタント機能の処理に該当する。

次に図１０について説明する。本処理の開始時において、デジタルカメラ２００の音声アシスタント機能はオンであり、電力状態は電力状態ＰＳ２である。またスマートスピーカー１００の機器管理ＤＢの状態は、図６（ｃ）に示す状態である。本シーケンスは、例えば図９に示した処理に続いて、ユーザがデジタルカメラ２００に「ねぇトーマス、ひとつ前の写真を見せて」と発声したことをトリガに開始される。

ステップＳ１００１において、スマートスピーカー１００は、集音したユーザの音声からウェイクワードを検出する。例えばスマートスピーカー１００は集音した音声から「トーマス」というウェイクワードを検出する。

ステップＳ１００２において、スマートスピーカー１００は、機器管理ＤＢを参照し、ステップＳ１００１で検出したウェイクワードに該当するエントリが存在するか否かを判定する。例えばスマートスピーカー１００は「トーマス」というウェイクワードがエントリに存在するか否かを判定する。検出したウェイクワードに該当するエントリが存在しなかった場合、スマートスピーカー１００は処理を終了する。

ステップＳ１００３において、ステップＳ８０２において存在すると判定した場合、スマートスピーカー１００はそのウェイクワードに該当する機器の音声アシスタント機能の動作状態がオンかオフかを判定する。例えば、本ステップでは機器管理ＤＢが図６（ｃ）で示す状態であるため、スマートスピーカー１００はＩＤ２（デジタルカメラ）がウェイクワード「トーマス」に該当すると判定し、その音声アシスタント機能の動作状態はオンである、と判定する。この場合、スマートスピーカー１００はデジタルカメラ２００を遠隔制御する必要がないため、スマートスピーカー１００は処理を終了する。

ステップＳ１００４において、デジタルカメラ２００は、集音部２０７を介して、音声入力を検出する。なお、説明の都合上、本ステップのステップ番号をＳ１００４としているが、本ステップの処理はユーザの発声をトリガに実行される処理であり、スマートスピーカー１００の処理とは独立して実行される。

ステップＳ１００５において、デジタルカメラ２００は、ステップＳ１００４で集音した音声に応じて、音声アシスタント機能を実行する。例えば、ステップＳ１００４で集音した音声の音声データの「ひとつ前の写真を見せて」の部分を解釈して必要な処理を判定し、デジタルカメラ２００は記録媒体２０４の最後から二番目に記録された静止画データを表示部２０６に表示する。またデジタルカメラ２００はユーザへの応答として「はい、表示しました」という音声を出力する。

以上、図９および図１０を用いて、スマートスピーカー１００の遠隔制御機能の処理シーケンスについて説明した。

なお、ステップＳ９０１で入力された音声に対応する音声アシスタント機能を実行する方法として、スマートスピーカー１００が、無線ＬＡＮ通信を介して、音声データをデジタルカメラ２００に送信する方法について説明したが、他の方法も可能である。

他の方法として、ＷｅｂＡＰＩを利用する方法がある。デジタルカメラ２００の各種機能をネットワーク経由で遠隔制御可能とするＷｅｂＡＰＩ機能が提供されている場合、スマートスピーカー１００はステップＳ９０１で集音した音声を解析する。サーバ上で音声データをＷｅｂＡＰＩに変換し、スマートスピーカー１００はその変換したＷｅｂＡＰＩをデジタルカメラ２００に対して実行する構成でもよい。なお、音声データをＷｅｂＡＰＩに変換する機能は、インターネット上のサーバによって提供される構成とし、スマートスピーカー１００は当該サーバを利用する構成としてもよい。

また他の形態として、スマートスピーカー１００が、ユーザの代わりとなって、音声出力部２０８を介して、ステップＳ８０１で入力された音声データを出力する構成としてもよい。

＜スマートスピーカー１００の遠隔制御機能の処理フロー＞
図１１はスマートスピーカー１００の遠隔制御機能の処理の一例を示すフローチャートである。

ステップＳ１１０１において、制御部１０１は、集音部１０７を介して集音した音声に含まれるウェイクワードを検出する。制御部１０１は、集音した音声の音声データをＲＡＭ２０３に記録する。本ステップは、図９のステップＳ９０１に対応する。

ステップＳ１１０２において、制御部１０１は、ＲＯＭ２０２に記録されている機器管理ＤＢに、ステップＳ１１０１において検出したウェイクワードが登録されているか否か判定する。制御部１０１はウェイクワードが登録されていると判定した場合はステップＳ１１０３に進み、登録されていない判定した場合は処理を終了する。本ステップは、図９のステップＳ９０２に対応する。

ステップＳ１１０３において、制御部１０１は、ステップＳ１１０２において機器管理ＤＢに登録されていると判定したウェイクワードに該当する機器を特定し、その機器が外部機器かどうかを判定する。制御部１０１は外部機器（デジタルカメラ２００）であると判定した場合はステップＳ１１０４に進み、自機器であると判定した場合はステップＳ１１０８に進む。本ステップは、図９のステップＳ９０３に対応する。

ステップＳ１１０４において、制御部１０１は、ステップＳ１１０３においてデジタルカメラ２００の音声アシスタント機能の動作状態がオンかオフかを判定する。制御部１０１は音声アシスタント機能の動作状態がオフであると判定した場合はステップＳ１１０５に進み、オンであると判定された場合は本処理を終了する。本ステップは、図９のステップＳ９０４に対応する。

ステップＳ１１０５において、制御部１０１は、ＢＴ通信部１１０を介して、デジタルカメラ２００の音声アシスタント機能の有効化を要求するメッセージを送信する。本ステップは図９のステップＳ９０５に対応する。

ステップＳ１１０６において、制御部１０１はデジタルカメラ２００からステップＳ１１０７に送信したメッセージの応答となる完了通知を所定時間内に受信したか否かを判定する。所定時間内にデジタルカメラ２００から通知を受信した場合、制御部１０１はステップＳ１１０８に進み、所定時間内にデジタルカメラ２００から通知を受信しない場合、制御部１０１はステップＳ１１０７に進む。本ステップは、図９のステップＳ９０８に対応する。

ステップＳ１１０７において、制御部１０１はデジタルカメラ２００の音声アシスタント機能を有効化できないことをユーザに報知し、本処理を終了する。エラー処理は、例えば、音声出力部１０８や表示部１０６によって「デジタルカメラ２００と通信できない」、「デジタルカメラ２００が近くに存在しない」などのメッセージをユーザに報知する。

ステップＳ１１０８において、制御部１０１は機器管理ＤＢを更新する。制御部１０１はデジタルカメラ２００の音声アシスタント機能の動作状態を「オン」に変更する。本ステップは、図９のステップＳ９０９に対応する。

ステップＳ１１０９において、制御部１０１は、無線ＬＡＮ通信部１０９を介して、ステップＳ１１０１で集音した音声に対応する音声アシスタント機能の実行を要求するメッセージをデジタルカメラ２００に送信する。本ステップは、図９のステップＳ９１０に対応する。

ステップＳ１１１０において、制御部１０１は所定時間内にデジタルカメラ２００から完了通知を受信したか否かを判定する。所定時間内に完了通知を受信した場合、制御部１０１は処理を終了する。所定時間経過してもデジタルカメラ２００から完了通知を受信できない場合、またはエラー応答を受信した場合、制御部１０１はステップＳ１１１１に進む。本ステップは、図９のステップＳ９１２に対応する。

ステップＳ１１１１において、制御部１０１はユーザの音声による指示がデジタルカメラ２００に実行されないことを報知し、本処理を終了する。エラー処理は、例えば、音声出力部１０８や表示部１０６によって「デジタルカメラ２００と通信できない」、「デジタルカメラ２００が近くに存在しない」「もう一度、声をかけてください」などのメッセージをユーザに報知する。

ステップＳ１１１２において、制御部１０１は、ステップＳ１１０１で集音した音声に対応する音声アシスタント機能を実行する。具体的には、制御部１０１は無線ＬＡＮ通信部２０９を介してサーバ４００を利用して、集音した音声の内容を解釈し、音声によって指示された処理を実行する。

以上、スマートスピーカー１００の遠隔制御機能の処理フローについて、説明した。

＜デジタルカメラ２００の遠隔制御機能の処理フロー＞
図１２はデジタルカメラ２００の遠隔制御機能の処理の一例を示すフローチャートである。本フローチャートは、デジタルカメラ２００が起動することにより開始される。

ステップＳ１２０１において、制御部２０１は、音声アシスタント機能がオンかオフかを判定する。音声アシスタント機能がオンの場合、制御部２０１はステップＳ１２０９に進む。音声アシスタント機能がオフの場合、制御部２０１はステップＳ１２０２に進む。

ステップＳ１２０２において、制御部２０１はＢＴ通信部２１０を介してスマートスピーカー１００から音声アシスタント機能の有効化を要求するメッセージを受信したか否かを判断する。メッセージを受信した場合、制御部２０１はステップＳ１２０３に進む。メッセージを受信していない場合、制御部２０１はステップＳ１２０１に戻り、音声アシスタント機能の動作状態を判定する。

ステップＳ１２０３において、制御部２０１は電源制御部２１１を制御し、電力状態を電力状態ＰＳ１から電力状態ＰＳ２に遷移する。

ステップＳ１２０４において、制御部２０１はステップＳ１２０２において受信したメッセージに含まれるＳＳＩＤおよび暗号キーを用いて、無線ＬＡＮ通信部２０９を介して無線ＬＡＮネットワークに接続する。また、制御部２０１は無線ＬＡＮ通信部２０９を介してサーバ４００を検出し、音声アシスタント機能を利用可能な状態にする。

ステップＳ１２０５において、制御部２０１はＢＴ通信部２１０を介してスマートスピーカー１００に音声アシスタント機能を有効化したことを示す完了通知を送信する。

ステップＳ１２０６において、制御部２０１は無線ＬＡＮ通信部２０９を介してスマートスピーカー１００から音声データを受信したか否かを判断する。音声データを受信しない場合、制御部２０１は処理を終了し、音声アシスタント機能を有効化した状態で待機する。音声データを受信した場合、制御部２０１はステップＳ１２０７の処理に進む。

ステップＳ１２０７において、制御部２０１は受信した音声データを解析し、解析した結果に基づいて処理を実行する。

ステップＳ１２０８において、制御部２０１はスマートスピーカー１００に無線ＬＡＮ通信部２０９を介して、受信した音声データに基づいて処理を完了したことを示すメッセージを送信する。

以上、デジタルカメラ２００の音声アシスタント機能がオフの場合を説明した。次にデジタルカメラ２００の音声アシスタント機能がオンだった場合について説明する。

ステップＳ１２０９において、制御部２０１は音声を集音したか否かを判定する。音声を集音した場合、制御部２０１はステップＳ１２１０に進む。音声を集音しなかった場合、制御部２０１は処理を終了し、ユーザに指示されるまで待機する。

ステップＳ１２１０において、制御部２０１は集音した音声に基づいて、音声アシスタント機能を実行する。制御部２０１は集音した音声の音声データを解析し、解析した結果に基づいて処理を実行する。

以上、デジタルカメラ２００の遠隔制御機能の処理フローについて説明した。

以上説明した実施形態により、デジタルカメラ２００の音声アシスタント機能がオフの状態でもスマートスピーカー１００が代わりに音声を集音することで、ユーザは音声アシスタント機能を利用することができる。これにより、ユーザはデジタルカメラ２００の消費電力を抑えつつも音声アシスタント機能を利用することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

Claims (11)

1. 音声を集音する集音手段と、
   外部機器と通信する第一の通信手段と、
   音声を認識するための前記外部機器の機能が有効か否かに関する情報を前記第一の通信手段を介して取得する取得手段と、
   前記取得手段によって取得した前記外部機器の前記機能の状態が有効ではない場合、前記外部機器に対する音声を含む所定の音声を前記集音手段を用いて集音したことに応じて、前記外部機器の前記機能を有効化するよう前記第一の通信手段を介して前記外部機器を制御する制御手段と
   を有し、
   前記制御手段は、前記外部機器の前記機能が有効である場合、前記外部機器に対する音声を含む所定の音声が前記集音手段によって集音された場合でも、前記外部機器に対する制御を行わないことを特徴とする電子機器。
2. 第二の通信手段をさらに有し、
   前記第一の通信手段を介する通信は前記第二の通信手段を介する通信より消費電力が少ない
   ことを特徴とする請求項１に記載の電子機器。
3. 前記制御手段は、前記機能が有効ではない状態にある前記外部機器に対して前記機能を有効化するよう前記第一の通信手段を介して制御した場合、前記所定の音声に含まれる前記外部機器に対する指示に関する情報を前記第二の通信手段を介して前記外部機器に送信する
   ことを特徴とする請求項２に記載の電子機器。
4. 前記制御手段は、前記機能が有効ではない状態にある前記外部機器に対して前記機能を有効化するよう前記第一の通信手段を介して制御した場合、前記外部機器の前記機能を有効化したことをユーザに報知する
   ことを特徴とする請求項１から３のいずれか１項に記載の電子機器。
5. 前記制御手段は、前記情報を前記第一の通信手段を介して所定の間隔で受信することを特徴とする請求項１から４のいずれか１項に記載の電子機器。
6. さらに音を出力する出力手段を有し、
   前記制御手段は、前記機能が有効ではない状態にある前記外部機器に対して前記機能を有効化するよう前記第一の通信手段を介して制御した場合、前記集音手段によって集音された前記所定の音声を前記出力手段によって出力する
   ことを特徴とする請求項１から５のいずれか１項に記載の電子機器。
7. 前記第一の通信手段は、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に準拠して通信することを特徴とする請求項１から６のいずれか１項に記載の電子機器。
8. 前記所定の音声は、前記外部機器を示す音声と、前記外部機器を制御するための音声と、を含むことを特徴とする請求項１から７のいずれか１項に記載の電子機器。
9. 前記電子機器は外部電源に接続し、外部電源から電力を供給することを特徴とする請求項１から８のいずれか１項に記載の電子機器。
10. 音声を集音する集音手段と、外部機器と通信する通信手段を有する電子機器の制御方法であって、
    音声を認識するための前記外部機器の機能が有効か否かに関する情報を前記通信手段を介して取得する取得ステップと、
    前記取得ステップにおいて取得した前記外部機器の前記機能の状態が有効ではない場合、前記外部機器に対する音声を含む所定の音声を前記集音手段を用いて集音したことに応じて、前記外部機器の前記機能を有効化するよう前記通信手段を介して前記外部機器を制御する制御ステップと、
    を有し、
    前記制御ステップでは、前記外部機器の前記機能が有効である場合、前記外部機器に対する音声を含む所定の音声が前記集音手段によって集音された場合でも、前記外部機器に対する制御を行わないことを特徴とする制御方法。
11. コンピュータを請求項１から９のいずれか１項に記載の電子機器の各手段として機能させるための、コンピュータが読み取り可能なプログラム。

Images