JP7483970B2 - 情報処理方法 - Google Patents

Description

本発明は、ユーザとの対話を通じて、必要とされるタスクを実行し、結果をユーザに提供するデジタルアシスタント技術に関する。特に、リモートでデジタルアシスタント機能を実現する技術に関する。

デジタルアシスタント機能を有する主デバイスと、デジタルアシスタント機能を持たない副デバイスとによりアシスタント機能を実現するシステムがある。例えば、特許文献１には、「パーソナルアシスタント情報を提供するための１つまたは複数の技法および／またはシステムが提供される。例えば、主デバイスが、副デバイスとの通信チャネルを確立することができる。主デバイスは、ユーザに関連付けられたコンテキストを受け取ることができる。デジタルパーソナルアシスタント機能により使用可能となるまたはそのような機能にアクセスすることができる主デバイスは、デジタルパーソナルアシスタント機能を呼び出してコンテキストを評価し、パーソナルアシスタント結果を生成することができる。パーソナルアシスタント結果は、ユーザへの提示のために主デバイスから副デバイスに提供することができる。このようにして、副デバイスは、そのような機能を備えなくても、またはそのような機能にアクセスすることができなくても、デジタルパーソナルアシスタント機能を提供するように見える（要約抜粋）」システムが開示される。

特表２０１７－５３８９８５号公報

スマートフォン等、携帯型デバイスにおいて、音声コマンドによるデジタルアシスタント機能を利用する場合、手元にデバイスがある場合は、問題なく使用できる。しかしながら、携帯型デバイスとはいえ、ユーザから離れた場所に置かれることも多い。例えば、ユーザは、帰宅すると、充電等のため、手元から離すことが多い。

特許文献１に開示の技術によれば、ユーザによる音声コマンドの受け取りは、デジタルアシスタント機能を備える主デバイスを介して行われる。従って、主デバイスがユーザの手元から離れた場合は、使用できない。

また、特許文献１に開示の技術は、ユーザは１人であることが前提である。しかしながら、家庭などでは、個々の家人がスマートフォン等のデジタルアシスタント機能を有する主デバイスを保持する。また、個々の家人は、複数の主デバイスを所持することもある。つまり、複数のユーザとユーザの数以上の主デバイスが存在し得る。しかしながら、特許文献１に開示の技術では、このような環境での使用は想定されていない。

本発明は、上記事情に鑑みてなされたもので、デジタルアシスタント機能を有するデバイスがユーザの手元から離れた場所にある場合であっても、個々のユーザにデジタルアシスタント機能を提供可能な技術を提供することを目的とする。

本発明は、デジタルアシスタント処理を実行する主デバイスに取得した音データを中継する中継デバイスの情報処理方法であって、周囲の音を前記音データとして取得する音取得ステップと、前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバイス決定ステップと、前記送信先主デバイスが決定された場合に、前記音データを送信するとともに、当該音データに応じて実行されたデジタルアシスタント処理結果を回答として前記送信先主デバイスから受信する送受信ステップと、前記送受信ステップで受信した回答を提示する回答提示ステップと、を備え、前記送信先デバイス決定ステップでは、前記音データを解析して発声主であるユーザを判別してユーザが特定できた場合に当該ユーザに対応づけて登録されている前記主デバイスを、前記送信先主デバイスと決定し、ユーザが特定できない場合は前記送信先主デバイスを決定しないことを特徴とする。また本発明は、デジタルアシスタント処理を実行する主デバイスに取得した音データを中継する中継デバイスの情報処理方法であって、周囲の音を前記音データとして取得する音取得ステップと、前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバイス決定ステップと、前記送信先主デバイスに、前記音データを送信するとともに、当該音データに応じて実行されたデジタルアシスタント処理結果を回答として前記送信先主デバイスから受信する送受信ステップと、前記送受信ステップで受信した回答を提示する回答提示ステップと、を備え、前記音取得ステップでは、前記音データを音源毎に分離し、前記送信先デバイス決定ステップでは、分離された前記音データそれぞれについて、前記送信先主デバイスを決定し、前記送信先主デバイスが決定できない場合は前記送信先主デバイスを決定せず、前記送受信ステップでは、分離された前記音データを、決定された前記送信先主デバイスにそれぞれ送信するとともに、各前記送信先主デバイスからそれぞれ前記回答を受信し、前記回答提示ステップでは、各前記送信先主デバイスから受信した前記回答を、それぞれ提示することを特徴とする。

また、本発明は、デジタルアシスタント処理を実行する主デバイスに取得した音データを中継する中継デバイスの情報処理方法であって、周囲の音を前記音データとして取得する音取得ステップと、前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバイス決定ステップと、前記送信先主デバイスに、前記音データを送信するとともに、当該音データに応じて実行されたデジタルアシスタント処理結果を回答として前記送信先主デバイスから受信する送受信ステップと、前記送受信ステップで受信した回答を提示する回答提示ステップと、前記デジタルアシスタント処理を実行するアシスタント処理ステップと、を備え、前記アシスタント処理ステップでは、前記音データを解析し、前記デジタルアシスタント処理を実行するために、個人情報が必要であるか否かを判別し、前記送信先デバイス決定ステップでは、前記アシスタント処理ステップにおいて、前記個人情報が必要であると判別した場合、前記送信先主デバイスを決定し、前記送信先主デバイスが決定できない場合は前記送信先主デバイスを決定せず、前記回答提示ステップでは、前記アシスタント処理ステップにおいて前記デジタルアシスタント処理を実行した場合、当該デジタルアシスタント処理結果を提示することを特徴とする。また本発明は、デジタルアシスタント処理を実行する主デバイスに取得した音データを中継する中継デバイスの情報処理方法であって、周囲の音を前記音データとして取得する音取得ステップと、前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバイス決定ステップと、前記送信先主デバイスに、前記音データを送信するとともに、当該音データに応じて実行されたデジタルアシスタント処理結果を回答として前記送信先主デバイスから受信する送受信ステップと、前記送受信ステップで受信した回答を提示する回答提示ステップと、前記デジタルアシスタント処理を実行するアシスタント処理ステップと、を備え、前記アシスタント処理ステップでは、前記音データを解析し、当該音データから前記主デバイスを特定する情報を抽出し、前記送信先デバイス決定ステップでは、前記アシスタント処理ステップで抽出した情報で特定される前記主デバイスを、前記送信先主デバイスと決定し、前記送信先主デバイスが特定できない場合は前記送信先主デバイスを決定しないことを特徴とする。

本発明によれば、デジタルアシスタント機能を有するデバイスがユーザの手元から離れた場所にある場合であっても、個々のユーザにデジタルアシスタント機能を提供できる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

（ａ）および（ｂ）は、第一実施形態の概要を説明するための説明図である。 第一実施形態のアシスタントシステムのシステム構成図である。 第一実施形態の副デバイスのハードウェア構成図である。 第一実施形態の主デバイスのハードウェア構成図である。 第一実施形態の副デバイスの機能ブロック図である。 （ａ）は、第一実施形態の連携情報データベースを、（ｂ）は、第一実施形態のユーザ情報データベースを、それぞれ説明するための説明図である。 （ａ）は、第一実施形態の主デバイスの機能ブロック図であり、（ｂ）は、第一実施形態の副デバイス管理データベースを説明するための説明図である。 第一実施形態のデジタルアシスタント連携処理のフローチャートである。 （ａ）および（ｂ）は、第一実施形態の画面例をそれぞれ説明するための説明図である。 （ａ）は、第一実施形態の変形例の画面例を、（ｂ）は、第一実施形態の変形例の対応装置登録データベース例を、（ｃ）は、第一実施形態の変形例の副デバイスの出力例を、それぞれ、説明するための説明図である。 第二実施形態の概要を説明するための説明図である。 第二実施形態の副デバイスの機能ブロック図である。 第二実施形態の副デバイスのデジタルアシスタント連携処理のフローチャートである。 第二実施形態の出力例を説明するための説明図である。 本発明の実施形態の変形例の概要を説明するための説明図である。 （ａ）は、本発明の実施形態の変形例の画面例を、（ｂ）は、同変形例の処理の概要を、それぞれ説明するための説明図である。 本発明の実施形態の変形例のサーバのハードウェア構成図である。

＜＜第一実施形態＞＞
以下、本発明の第一実施形態を説明する。全明細書において、同じ機能を有するものには、同じ符号を付し、繰り返しの説明は省略する。

まず、本実施形態の処理の概要を説明する。図１（ａ）および図１（ｂ）は、本実施形態の処理の概要を説明するための図である。

本実施形態では、ユーザとの対話を通じて、必要とされるタスクを実行し、結果をユーザに提供するデジタルアシスタント機能を、リモートで提供する。具体的には、デジタルアシスタント機能を備えるスマートフォン等の携帯型の情報処理装置に対し、ユーザからの音声コマンドを中継するとともに、ユーザに結果を提供する中継装置を設ける。以下、デジタルアシスタント機能を備える携帯型の情報処理装置を、主デバイスと呼ぶ。

自宅等では、主デバイスがユーザから離れた場所に置かれることがある。例えば、ユーザは、居間にいて、主デバイスは居間とは別の部屋で充電器に接続されている場合等である。

本実施形態では、このような時、居間に配置される、例えば、テレビ（ＴＶ）等の映像表示装置を、デジタルアシスタント機能の中継装置として機能させる。すなわち、テレビは、音声コマンドを、音声コマンドの音声の発声主のスマートフォンに中継する。以下、中継装置として機能する装置を、副デバイスと呼ぶ。

本実施形態では、図１（ａ）に示すように、複数のユーザＡ、Ｂ、Ｃが、それぞれ、自身の主デバイス３００ａ、３００ｂ、３００ｃを所持しているものとする。そして、テレビが副デバイス１００として機能する。なお、デジタルアシスタント機能の中継装置として機能する副デバイスは、例えば、スマートスピーカ１０１であってもよい。この場合の、本実施形態の概要図を、図１（ｂ）に示す。

図１（ａ）および図１（ｂ）に示すように、副デバイス１００（または、１０１）は、ユーザＡから音声コマンドを受信すると、ユーザＡの主デバイス３００ａにその音声コマンドを中継する。そして、主デバイス３００ａからの回答を受信し、出力する。また、ユーザＢから音声コマンドを受信すると、ユーザＢの主デバイス３００ｂにその音声コマンドを中継し、主デバイス３００ｂから受信した回答を出力する。ユーザＣの場合も同様に、音声コマンドを受信すると、ユーザＣの主デバイス３００ｃにその音声コマンドを中継し、得られた回答を出力する。

回答の出力は、例えば、副デバイスがテレビ１００の場合、スピーカからの音声出力、ディスプレイ上への表示等である。また、副デバイスがスマートスピーカ１０１の場合、スピーカからの音声出力等である。以下、上記機能を実現するアシスタントシステムを説明する。

［システムの全体構成］
まず、本実施形態のアシスタントシステム９００の全体構成を説明する。図２は、本実施形態のアシスタントシステム９００の全体構成図である。

本図に示すように、本実施形態のアシスタントシステム９００は、副デバイス１００と、主デバイス３００と、アクセスポイント（ＡＰ）５１０と、を備える。なお、本実施形態のアシスタントシステム９００は、さらに、外部ネットワーク５２０を介して、アクセスポイント５１０と接続されるサーバ５３０を備えてもよい。また、主デバイス３００を充電する充電台５１１を備えてもよい。

主デバイス３００は、個々のユーザにデジタルアシスタント機能を提供する装置である。通信機能、ユーザインタフェース、情報処理機能を備える装置であればよい。

本実施形態では、主デバイス３００として、例えば、スマートフォン等の携帯型情報処理装置３００ａ、３００ｂ、３００ｃや、スマートウォッチ３０１、ヘッドマウントディスプレイ（ＨＭＤ）３０２や、ワイヤレスヘッドフォン３０３等が用いられる。以下、本実施形態では、主デバイス３００として、スマートフォンを用いる場合を例にあげて説明する。なお、主デバイス３００の個数は限定されない。

副デバイス１００は、個々のユーザのインタフェースとなるデバイスである。本実施形態では、ユーザによる音声を受け付け、音声の発声主を特定し、特定した発声主の主デバイス３００に当該音声を転送する。また、主デバイス３００から処理結果を受信すると、ユーザに提示する。副デバイス１００の個数も限定されない。

本実施形態では、例えば、副デバイス１００として、テレビ、スマートスピーカ１０１等が用いられる。以下、本実施形態では、副デバイス１００として、表示装置であるディスプレイを有するテレビを用いる場合を例にあげて説明する。

アクセスポイント５１０は、無線ＬＡＮクライアントを相互に接続したり、他のネットワークに接続したりするデバイスである。本実施形態では、主デバイス３００と副デバイス１００とを接続する。

［副デバイスのハードウェア構成］
次に、副デバイス１００について説明する。図３は、本実施形態の副デバイス１００のハードウェア構成図である。

本図に示すように、本実施形態の副デバイス１００は、コントローラ１１０と、ＴＶ部１２０と、マイクロフォン（マイク）１３０と、ディスプレイ１４０と、音出力部１５０と、通信部１６０と、を備える。さらに、カメラ１８１を備えてもよい。

コントローラ１１０は、副デバイス１００の全体の制御を行う。本実施形態では、コントローラ１１０は、ＣＰＵ１１１と、メモリ１１２とを備える。メモリ１１２は、ＲＡＭとＲＯＭとを備え、ＲＯＭには、プログラム１１３とデータ１１４とが格納される。

ＴＶ部１２０は、映像表示装置としての通常の機能を実現する。例えば、受信選局部１２１と、信号分離部１２２と、映像処理部１２３と、音声処理部１２４と、デジタルインタフェース（Ｉ／Ｆ）部１２５と、ユーザインタフェース（Ｉ／Ｆ）部１２６と、を備える。

受信選局部１２１は、放送信号を受信し、信号分離部１２２に出力する。受信選局部１２１は、ＲＦチューナー等を含み、ユーザがユーザＩ／Ｆ部１２６を介してリモコン等により指定するチャンネルを放送信号から選択する。そして、選択した放送信号を復調して放送番組の受信データとして、信号分離部１２２に送る。放送番組の受信データは、映像データ、音声データ、放送データなどが多重されたものである。

信号分離部１２２は、受信データから映像データと音声データを分離し、それぞれ映像処理部１２３、音声処理部１２４に送る。映像データ、音声データは、オリジナルデータの情報量を圧縮する符号化がなされている。

映像処理部１２３は、映像データに対し、伸張・復号処理を行い、ＴＶ放送番組の映像データを得、ディスプレイ１４０から出力する。なお、このとき、表示する映像データをプレーン単位で管理し、例えば、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）プレーンを放送番組の映像データに重畳してもよい。

音声処理部１２４は、音声データに対し、伸張・復号処理を行い、ＴＶ放送番組の音声データを得、音出力部１５０から出力する。

デジタルＩ／Ｆ部１２５は、例えばＨＤＭＩ（登録商標）、もしくはＵＳＢのデジタルＩ／Ｆ機能を有する。デジタルＩ／Ｆ部１２５は、映像及び音声のコンテンツデータを外部入力として受け付け、映像処理部１２３および音声処理部１２４を介してディスプレイ１４０および音出力部１５０に出力する。

マイク１３０は、外界の音を取得する。

ディスプレイ１４０は、副デバイス１００内で処理された映像データを表示する。

音出力部１５０は、副デバイス１００内で処理された音データを出力する。音出力部１５０は、例えば、スピーカ１５１と、イヤホン１５２とを備えてもよい。

通信部１６０は、符号回路や復号回路、アンテナ等を備え、他装置とのデータの送受信（データ通信）を行う。通信部１６０は、ＡＰ５１０を介して他装置とのデータの送受信を行う通信インタフェース１６２と、直接他装置と通信を行う近接通信インタフェース１６１とを備える。ＡＰ５１０との接続は、例えば、Ｗｉ－Ｆｉ（登録商標）等の無線通信方式やその他の通信方式により行われる。

カメラ１８１は、副デバイス１００の周囲の画像を取得する。

［主デバイスのハードウェア構成］
次に、主デバイス３００のハードウェア構成を説明する。図４は、本実施形態の主デバイス３００のハードウェア構成図である。

本図に示すように、本実施形態の主デバイス３００は、コントローラ３１０と、マイク３３０と、ディスプレイ３４０と、音声出力部３５０と、通信部３６０と、位置検出部３７０と、カメラ３８１と、測距センサ３８２とを備える。

各構成は、副デバイス１００の同名の構成と基本的に同様の機能を有するため、ここでは、詳細は説明しない。

なお、位置検出部３７０は、主デバイス３００の現在位置、傾き、速度等を検出する。これらの情報を検出するためのセンサとして、例えば、加速度センサ３７１と、ジャイロセンサ３７２と、地磁気センサ３７３と、ＧＰＳ受信器３７４とを備える。

カメラ３８１は、主デバイス３００の周囲の画像を取得する。なお、カメラ３８１として、撮影範囲の中心軸の向きが１８０度異なる２種のカメラ、例えば、外向きカメラと、内向きカメラとを備えてもよい。測距センサ３８２は、主デバイス３００の周囲の物体までの距離を取得する。

［副デバイスの機能ブロック］
次に、本実施形態の副デバイス１００の機能構成について説明する。上述のように、本実施形態の副デバイス１００は、通常のテレビとしての機能に加え、デジタルアシスタント機能のユーザインタフェースとして機能する。すなわち、ユーザの音声を、当該ユーザの主デバイス３００に中継する。

以下、副デバイス１００が、主デバイス３００のデジタルアシスタント機能のユーザＩ／Ｆとして機能することを、副デバイス１００と主デバイス３００とのデジタルアシスタント連携、あるいは、単に、連携、と呼ぶ。主デバイス３００は、例えば、連携状態である副デバイス１００から受信した音データについてのみ、デジタルアシスタント処理を行い、回答を提供する。なお、副デバイス１００が、デジタルアシスタント連携可能な状態を連携モードと呼ぶ。主デバイス３００も同様に、デジタルアシスタント連携可能な状態を連携モードと呼ぶ。

以下、上記デジタルアシスタント連携機能を実現する本実施形態の副デバイス１００の機能ブロックを説明する。ここでは、副デバイス１００の機能のうち、デジタルアシスタント連携機能にのみ主眼をおいて説明する。

本実施形態の副デバイス１００は、図５に示すように、デジタルアシスタント連携機能として、副デバイス側連携部２１０を備える。副デバイス側連携部２１０は、連携設定部２１１と、音取得部２１２と、送信先デバイス決定部２１３と、送受信部２１４と、回答提示部２１５と、を備える。

これらの各機能は、メモリ１１２の例えばＲＯＭに保存されたプログラム１１３を、ＣＰＵ１１１がメモリ１１２の例えばＲＡＭにロードして実行することにより、実現される。

また、メモリ１１２には、さらに、これらの処理に用いるデータ１１４として、連携情報データベース（ＤＢ）２３０と、ユーザ情報データベース（ＤＢ）２４０とが格納される。

連携設定部２１１は、デジタルアシスタント連携を行う可能性のある主デバイス３００の連携状態を管理する。本実施形態では、連携情報ＤＢ２３０により管理する。

連携情報ＤＢ２３０の一例を、図６（ａ）に示す。連携情報ＤＢ２３０は、ユーザ毎に、当該ユーザの主デバイス３００の情報と、当該主デバイス３００との連携が確立されているか否かの情報が格納される。

具体的には、本図に示すように、ユーザＩＤ２３１毎に、主デバイスＩＤ２３２と、アクセス情報２３３と、連携フラグ２３４と、が登録される。

ユーザＩＤ２３１は、ユーザを特定する情報である。主デバイスＩＤ２３２は、そのユーザが使用する主デバイス３００を識別する情報である。また、アクセス情報２３３は、ＡＰ５１０を介して、その主デバイス３００にアクセスするための情報、例えば、ＩＰアドレス等である。

ユーザＩＤ２３１、主デバイスＩＤ２３２およびアクセス情報２３３は、予め、ユーザにより登録される。例えば、後述するように、主デバイス３００において、連携初期設定処理を行うことにより、設定される。これらの情報は、初期設定時に設定された後、メモリ１１２に保持される。

なお、主デバイス３００の情報として、さらに、主デバイス種別２３５および主デバイス名称２３６が登録されてもよい。主デバイス種別２３５は、主デバイスの種類である。例えば、スマートフォン、タブレット、スマートウォッチ等が登録される。また、主デバイス名称２３６は、主デバイス３００の呼称である。予め主デバイス３００に付与されたものであってもよいし、ユーザが独自に付与したものであってもよい。これらの情報も、予めユーザにより登録される。

また、連携フラグ２３４は、その主デバイス３００と連携状態であるか否かを示す情報が格納される。

本実施形態では、後述するように、主デバイス３００がＡＰ５１０を認識すると、ＡＰ５１０を介して連携要求コマンドを副デバイス１００に送信する。連携設定部２１１は、主デバイス３００から連携要求コマンドを受信すると、連携情報ＤＢ２３０の、送信元の主デバイス３００のデータの連携フラグ２３４を設定し、送信元の主デバイス３００に連携確立コマンドを返信する。なお、本図では、連携フラグ２３４が設定されているデータは、連携フラグ２３４をＯＮで示し、設定されていないデータは、連携フラグ２３４をＯＦＦで示す。連携フラグ２３４がＯＮの主デバイス３００とは、デジタルアシスタント連携が確立されている主デバイス３００である。

なお、連携要求コマンドには、主デバイス３００の主デバイスＩＤ２３２およびアクセス情報２３３が含まれる。連携設定部２１１は、これらの情報に基づき、連携フラグ２３４を設定するデータを特定する。

また、返信される連携確立コマンドには、副デバイス１００の識別情報である副デバイスＩＤおよびアクセス情報が含まれる。

音取得部２１２は、マイク１３０で取得した音から音データを生成し、送信先デバイス決定部２１３に出力する。また、送信先デバイス決定部２１３からの指示に応じて音データを送受信部２１４に出力する。

本実施形態では、音取得部２１２は、マイク１３０で取得した音に対し、ノイズ除去処理を行い、音データを生成する。ここで行うノイズ除去処理は、たとえば、一定音量以下の音を除く、所定の周波数領域外（低周波、高周波）成分を除く等の処理である。なお、音取得部２１２は、スペクトル減算法など公知の技術を用いてノイズ除去処理を行ってもよい。

送信先デバイス決定部２１３は、音データの送信先の主デバイス３００を送信先主デバイスとして決定する。まず、音取得部２１２から音データを受け取ると、当該音を解析し、ユーザ情報ＤＢ２４０を参照し、発声主であるユーザを特定する。なお、ユーザが特定できない場合は、音声データでないと判別し、送信先主デバイスは決定しない。

ここで、送信先デバイス決定部２１３がユーザを特定する際に用いるユーザ情報ＤＢ２４０の一例を説明する。ユーザ情報ＤＢ２４０は、音によりユーザを特定するための情報が格納される。本実施形態では、ユーザを特定する情報であるユーザＩＤ２４１に対応づけて、音声情報２４２が登録される。なお、さらに顔画像２４３が登録されてもよい。

音声情報２４２は、例えば、ユーザの実際の音声データであってもよい。なお、送信先デバイス決定部２１３は、声紋や周波数等を用いて、音声情報２４２と受け取った音データとを照合し、ユーザを特定する。従って、音声情報２４２は、ユーザの音声データそのものでなくても、声紋や周波数等が比較できる情報であればよい。また、実際の音声データは、別の領域に格納し、当該領域へのアクセス情報であってもよい。

なお、音声情報２４２は、予めユーザにより登録される。顔画像２４３も同様である。

本実施形態の送信先デバイス決定部２１３は、ユーザ情報ＤＢ２４０を参照し、受け取った音データに、所定の許容範囲内で合致する音声情報２４２を特定する。そして、特定した音声情報２４２に対応付けられたユーザＩＤ２４１をユーザ情報ＤＢ２４０から抽出する。

音データの発声主であるユーザを特定すると、送信先デバイス決定部２１３は、そのユーザの主デバイス３００を特定し、送信先主デバイスと決定する。ここでは、連携情報ＤＢ２３０を参照し、抽出したユーザＩＤ２４１と同じユーザＩＤ２３１に対応づけて登録されている主デバイス３００を、送信先主デバイスと決定する。決定結果は、音取得部２１２に出力される。本実施形態では、例えば、主デバイスＩＤ２３２およびアクセス情報２３３を決定結果として音取得部２１２に出力する。

なお、受け取った音データに所定の許容範囲内で合致する音声情報２４２がユーザ情報ＤＢ２４０に登録されていない場合は、送信先デバイス決定部２１３は、取得された音データはユーザによる音声ではないと判断し、何も出力しない。

また、送信先主デバイスと決定した主デバイス３００の連携フラグ２３４がＯＦＦである場合、当該主デバイス３００は、この副デバイス１００との間で、連携が確立されていない。従って、この場合、送信先デバイス決定部２１３は、その旨、ユーザに通知してもよい。例えば、ディスプレイ１４０に、連携が未確立であることを表示する。

なお、音取得部２１２は、送信先デバイス決定部２１３から主デバイスＩＤ２３２およびアクセス情報２３３を受信した場合、当該主デバイス３００に向けて、音データを送信するよう送受信部２１４に指示を行う。

送受信部２１４は、通信インタフェース１６２を介してデータの送受信を行う。本実施形態では、音取得部２１２からの指示に従って、音データを、中継音声として主デバイス３００に送信する。また、主デバイス３００から処理結果を受信すると、回答提示部２１５に出力する。

回答提示部２１５は、処理結果を、ディスプレイ１４０および／または音出力部１５０を介してユーザに出力する。

［主デバイスの機能ブロック］
次に、上記デジタルアシスタント連携機能を実現する、本実施形態の主デバイス３００の機能ブロックを説明する。ここでは、主デバイス３００の機能のうち、デジタルアシスタント連携機能にのみ主眼をおいて説明する。

本実施形態の主デバイス３００は、図７（ａ）に示すように、アシスタント部４１０と、デジタルアシスタント連携を実現する機能として、主デバイス側連携部４２０と、を備える。主デバイス側連携部４２０は、データ受信部４２１と、回答送信部４２２と、連携管理部４２３と、初期設定部４２４と、を備える。

これらの各機能は、メモリ３１２の例えばＲＯＭに保存されたプログラム３１３を、ＣＰＵ３１１がメモリ３１２の例えばＲＡＭにロードして実行することにより、実現される。

また、メモリ３１２には、さらに、これらの処理に用いるデータ３１４として、副デバイス管理データベース（ＤＢ）４３０が格納される。

初期設定部４２４は、連携初期設定処理を行う。本実施形態では、デジタルアシスタント連携処理の実行に先立ち、連携を行う副デバイス１００に、自装置（主デバイス３００）の情報を登録する。上述のように、自装置である主デバイス３００の、主デバイスＩＤ２３２と、アクセス情報２３３とを登録する。

登録は、例えば、副デバイス１００の近傍で、近接通信インタフェース１６１および３６１を介して上記情報を副デバイス１００に、登録要求とともに送信することにより行う。このとき、副デバイス１００側の情報として副デバイス１００を特定する情報である副デバイスＩＤとアクセス情報とを取得してもよい。取得したこれらの情報は、例えば、後述する副デバイス管理ＤＢ４３０に管理してもよい。

ここで、副デバイス管理ＤＢ４３０の例を、図７（ｂ）に示す。本図に示すように、副デバイス管理ＤＢ４３０は、副デバイス１００毎の連携に必要な情報が格納される。具体的には、副デバイス１００を特定する情報である副デバイスＩＤ４３１に対応づけて、そのアクセス情報４３２と、連携が設定されているか否かを示す連携フラグ４３３が格納される。連携フラグ４３３は、後述する連携管理部４２３により設定される。

なお、副デバイスＩＤ４３１およびアクセス情報４３２も、後述する連携管理部４２３により設定されてもよい。すなわち、連携要求コマンドに応じて返信された連携確立コマンドに含まれる副デバイスの識別情報およびアクセス情報を格納してもよい。また、連携確立コマンドを受信し、副デバイスＩＤとアクセス情報４３２とが設定されたデータについては、連携が解除されるまでは、連携フラグ４３３をＯＮに設定する。

連携管理部４２３は、連携する副デバイス１００を管理するとともに、当該副デバイス１００との間でデジタルアシスタント連携状態であるか否かを管理する。

連携管理部４２３は、まず、自装置である主デバイス３００が、デジタルアシスタント連携可能状態であるか否かを管理する。本実施形態では、例えば、アシスタントシステム９００のＡＰ５１０にアクセス可能か、すなわち、ＡＰ５１０を認識したか否かを判別する。

連携管理部４２３は、ＡＰ５１０を認識した場合、デジタルアシスタント連携可能状態であると判別する。

デジタルアシスタント連携可能状態と判別した場合、すなわち、ＡＰ５１０を認識した場合、連携管理部４２３は、ＡＰ５１０を介して、連携要求コマンドを出力する。

副デバイス１００側では、連携要求コマンドを受信すると、上述のように、連携確立コマンドを、送信元の主デバイス３００に送信する。なお、副デバイス１００として機能するデバイスがＡＰ５１０を介して複数接続されている場合、各副デバイス１００から連携確立コマンドが送信される。

連携管理部４２３は、副デバイス１００から連携確立コマンドを受信すると、当該副デバイス１００との連携を確立し、当該副デバイス１００との間で連携状態とする。具体的には、送信元の副デバイス１００のデータの連携フラグ４３３を設定する（ＯＮにする）。なお、送信元の副デバイス１００のデータは、連携確立コマンドに含まれる副デバイスＩＤおよびアクセス情報で特定する。

また、連携管理部４２３は、ＡＰ５１０を認識しなくなると、連携フラグ４３３を解除する。なお、連携フラグ４３３は、電源がＯＦＦされると、解除されるよう、例えば、ＲＡＭ等に設定する。

データ受信部４２１は、通信インタフェース３６２を介して中継音声を受信し、送信元の副デバイス１００との間で連携状態である場合、受信した中継音声をアシスタント部４１０に出力する。連携状態であるか否かは、副デバイス管理ＤＢ４３０の連携フラグ４３３により判別する。なお、データ受信部４２１は、連携状態である副デバイス１００であって、通信路が未確立の副デバイス１００から中継音声を受信すると、送信元の副デバイス１００との間に通信路を確立させる。

アシスタント部４１０は、中継音声を、通常のマイク３３０で取得した音と同様に解析し、アシスタント処理を行い、回答を出力する。このとき、必要に応じて、ＡＰ５１０を介して、外部ネットワーク５２０に接続されたサーバ５３０等から情報を取得してもよい。

回答送信部４２２は、通信路が確立されている副デバイス１００に対し、アシスタント部４１０が出力した回答を送信する。送信は、通信インタフェース３６２を介して行われる。

回答送信部４２２は、回答の内容だけでなく、主デバイス３００のアシスタント機能において設定されている、アシスタントの音声種、キャラクタ等の情報も、回答に重畳して送信してもよい。

副デバイス１００の回答提示部２１５は、これらの情報に基づき、主デバイス３００の音声種で回答を提示したり、キャラクタ情報を重畳したりする。

［デジタルアシスタント連携処理］
本実施形態のデジタルアシスタント連携処理の流れを説明する。図８は、本実施形態のデジタルアシスタント連携処理の処理フローである。ここでは、主デバイス３００のうち主デバイス３００ａと、副デバイス１００との間で連携を行う場合を例にあげて説明する。なお、ここでは、初期設定部４２４と連携設定部２１１とにより、連携情報ＤＢ２３０および副デバイス管理ＤＢ４３０の登録は完了しているものとする。

まず、主デバイス３００ａの連携管理部４２３は、ＡＰ５１０を認識すると、連携要求コマンドを送信する（ステップＳ１１０１）。ここでは、ＡＰ５１０に向けて連携要求コマンドを送信する。副デバイス管理ＤＢ４３０に登録されている副デバイス１００が１つの場合は、副デバイス１００を特定して、連携要求コマンドを送信してもよい。

主デバイス３００ａから連携要求コマンドを受信した副デバイス１００は（ステップＳ１２０１）、送信元の主デバイス３００ａとの連携を開始する（ステップＳ１２０２）。ここでは、連携設定部２１１は、連携情報ＤＢ２３０を参照し、主デバイス３００ａのデータの連携フラグ２３４を設定する。また、連携設定部２１１は、連携確立コマンドを、送信元の主デバイス３００ａに返信する。

連携確立コマンドを受信した主デバイス３００ａの連携管理部４２３は、副デバイス１００との連携モードをＯＮにする（ステップＳ１１０２）。ここでは、連携管理部４２３は、副デバイス管理ＤＢ４３０の、該当する副デバイス１００のデータの連携フラグ４３３を設定する。

以上の処理により、主デバイス３００ａと、副デバイス１００との間にデジタルアシスタント連携が確立される。

デジタルアシスタント連携が確立された後、副デバイス１００は、音取得部２１２により音データが取得されたか否かを、所定の時間間隔で判別する（ステップＳ１２０３）。

音データが取得されていない場合（Ｓ１２０３；Ｎｏ）、副デバイス側連携部２１０は、副デバイス１００の主電源がＯＦＦされたか否かを判別し（ステップＳ１２１０）、ＯＦＦされたと判別された場合は、処理を終了する。ＯＦＦされていない場合は、ステップＳ１２０３へ戻り、処理を継続する。

一方、音データを取得した場合、送信先デバイス決定部２１３は、音データからユーザを特定可能か判別する（ステップＳ１２０４）。ここでは、上述のように、ユーザ情報ＤＢ２４０に格納されている各音声情報２４２と照合し、合致と判定可能なレコードがあるか否かを判別する。

ユーザ特定不可能と判別された場合（Ｓ１２０４；Ｎｏ）、すなわち、音声情報２４２に合致と判定可能なレコードが無い場合は、ステップＳ１２１０へ移行する。

一方、合致と判定可能なレコードが有る場合（Ｓ１２０４；Ｙｅｓ）、送信先デバイス決定部２１３は、音データの発声主を特定し、対応付けられた主デバイス３００を特定する（ステップＳ１２０５）。ここでは、送信先デバイス決定部２１３は、合致と判定可能な音声情報２４２に対応づけて登録されているユーザＩＤ２４１を抽出する。そして、連携情報ＤＢ２３０を参照し、対応する主デバイスＩＤ２３２とアクセス情報２３３とを抽出し、音取得部２１２に通知する。

例えば、主デバイスＩＤ２３２で特定される主デバイス３００が、ユーザＡの主デバイス３００である主デバイス３００ａである場合、音取得部２１２は、送受信部２１４に、主デバイス３００ａに向けて、音データを中継音声として送信するよう指示を行う。指示を受けて、送受信部２１４は、主デバイス３００ａに向けて中継音声を送信する（ステップＳ１２０６）。

なお、送信先デバイス決定部２１３が判別したユーザが、ユーザＡ以外である場合、送受信部２１４は、判別されたユーザの主デバイス３００に中継音声を送信し、回答を受信する（ステップＳ１２０７）。

主デバイス３００ａ側では、データ受信部４２１は、中継音声を受信すると（ステップＳ１１０３）、アシスタント部４１０に出力する。

アシスタント部４１０は、デジタルアシスタント処理を行い（ステップＳ１１０４）、回答を生成する。なお、アシスタント部４１０は、送られてきた中継音声が、デジタルアシスタント処理対象ではないと判別した場合、処理を行わない。

回答送信部４２２は、得られた回答を、送信元の副デバイス１００に返信する（ステップＳ１１０５）。その後、主デバイス３００ａでは、連携管理部４２３が、連携が解除されたことを検出するまで（ステップＳ１１０６）、ステップＳ１１０３へ戻り、中継音声の受信を待つ。一方、連携が解除されたことを検出すると、処理を終了する。なお、連携が解除されるとは、例えば、外出または主電源がＯＦＦされた状態である。

また、副デバイス１００では、送受信部２１４が主デバイス３００ａから回答を受信すると（ステップＳ１２０８）、回答提示部２１５は、回答を提示する（ステップＳ１２０９）。ここでは、回答提示部２１５は、回答から映像データおよび音声データを生成し、それぞれ、ディスプレイ１４０および音出力部１５０から出力する。

このときのディスプレイ１４０への出力例を図９（ａ）に示す。図９（ａ）は、音データが「来週の予定を教えて欲しい」といった、スケジュールを問い合わせるものである場合の例である。本図に示すように、表示される画面例６１０は、回答表示領域６１１と、主デバイス情報表示領域６１２とを備える。

回答表示領域６１１には、回答として得た映像データが表示される。本例の場合、主デバイス３００ａのアシスタント部４１０が、メモリ３１２から抽出したスケジュール情報から生成された映像データが表示される。

主デバイス情報表示領域６１２には、回答の送信元の主デバイス３００ａを特定する情報、例えば、主デバイスＩＤ等が表示される。

なお、ステップＳ１２０５で、ユーザＡ以外と判別され、判別されたユーザの主デバイス３００から回答を受信した場合も、回答提示部２１５は、その回答を提示する。

ただし、判別されたユーザの主デバイス３００との間で連携が確立されていない場合は、連携が確立されていないことを意味する表示を行う。例えば、図９（ｂ）に示すように、「主デバイスが見つかりません」等の表示を行うとともに、同様の音声データを出力する。このとき、回答主は、副デバイス１００であるため、主デバイス情報表示領域６１２には、副デバイス１００を表示する。なお、この映像データおよび音声データは、予めメモリ１１２等に記憶させておく。

ステップＳ１２０９による回答提示の後、副デバイス側連携部２１０は、ステップＳ１２１０へ進む。なお、ステップＳ１２０６において中継音声を送信後、副デバイス側連携部２１０は、時間の計測を開始する。そして、所定時間内に回答を得られない場合は、タイムアウトと判断し、そのまま、ステップＳ１２１０へ進む。

以上説明したように、本実施形態のアシスタントシステム９００は、デジタルアシスタント処理を実行する主デバイスに音データを中継する副デバイス１００であって、周囲の音を音データとして取得する音取得部２１２と、音データの送信先の主デバイス３００である送信先主デバイスを決定する送信先デバイス決定部２１３と、送信先主デバイスに、音データを送信するとともに、音データに応じて実行されたデジタルアシスタント処理結果を回答として送信先主デバイスから受信する送受信部２１４と、送受信部２１４で受信した回答を提示する回答提示部２１５と、を備える副デバイスを有する。

音データの中継先である主デバイス３００を決定する送信先デバイス決定部２１３を備えるため、主デバイス３００が複数ある場合であっても、適切な主デバイス３００に向けて、音データを中継できる。これにより、ユーザの手元から離れた場所にある主デバイス３００であって、デジタルアシスタント機能を有する主デバイス３００が複数ある場合であっても、所望のデジタルアシスタント結果を得ることができる。

例えば、送信先デバイス決定部２１３は、音データを解析して発声主であるユーザを判別し、判別したユーザに対応づけて登録されている主デバイス３００を、送信先主デバイスと決定する。従って、本実施形態によれば、個々のユーザに、個々のユーザの主デバイス３００によるデジタルアシスタント機能を提供できる。

＜変形例１＞
なお、上記実施形態では、主デバイス３００自身がＡＰ５１０を認識すると、主デバイス３００は、デジタルアシスタント連携可能と判別する。そして、連携要求コマンドを副デバイス１００に送信し、連携モードに移行する。しかしながら、連携モードへの移行のきっかけは、これに限定されない。例えば、充電台５１１に置かれたことを検出した場合、連携モードに移行してもよい。

この場合、連携管理部４２３は、ＡＰ５１０を認識したか否かを判別する代わりに、充電台５１１に載置されたか否かを判別する。そして、充電台５１１に載置されたことを検出した場合、連携管理部４２３は、デジタルアシスタント連携可能であると判別し、連携要求コマンドをＡＰ５１０に向けて出力する。

なお、充電台５１１に制御部および通信インタフェースを持たせてもよい。この場合、充電台５１１側で、主デバイス３００が載置されたことを検出すると、ＡＰ５１０を介して副デバイス１００に対し、連携要求コマンドを出力する。

このとき、充電台５１１は、連携対象とする主デバイス３００の主デバイスＩＤとアクセス情報とを合わせて送信する。

あるいは、充電台５１１自体のアクセス情報を送信し、その後、充電台５１１を介して副デバイス１００と主デバイス３００との間のデータの送受信を行うよう構成してもよい。

＜変形例２＞
また、上記実施形態および変形例では、連携管理部４２３は、何らかの装置を検出した場合、デジタルアシスタント連携可能と判別している。しかしながら、デジタルアシスタント連携可能か否かの判別は、これに限定されない。

例えば、主デバイス３００の位置検出部３７０により、主デバイス３００が予め定めた領域内に存在すると判別された場合、連携管理部４２３は、デジタルアシスタント連携可能と判別してもよい。

例えば、予め定めた領域は、自宅等とする。連携管理部４２３は、位置検出部３７０による上記判別結果を受信すると、連携要求コマンドを出力し、連携を確立する。

これにより、主デバイス３００のユーザが自宅に帰宅した場合、その主デバイス３００を連携状態とするよう制御を行うことができる。

＜変形例３＞
例えば、ユーザがウェアラブルデバイスを装着し、主デバイス３００との間で近距離通信を行っている場合は、他の方法でデジタルアシスタント連携可能と判別してもよい。

すなわち、連携管理部４２３は、ウェアラブルデバイスとの間で近距離通信が途絶えたことを検出した場合、デジタルアシスタント連携可能と判別してもよい。ウェアラブルデバイスと主デバイス３００との間の近距離通信が途絶えるのは、両者の間の距離が離れたことによる。従って、ユーザが主デバイス３００から離れたと判別できる。

連携管理部４２３は、近距離通信インタフェース３６１から通信が途絶えたことを示す出力を受信すると、連携要求コマンドを出力し、連携を確立する。

なお、ウェアラブルデバイスは、例えば、スマートウォッチ３０１、ＨＭＤ３０２、ワイヤレスヘッドフォン３０３等である。

なお、主デバイス３００がＨＭＤ３０２の場合、ＨＭＤ３０２のセンサにより、ユーザがＨＭＤ３０２を取り外したことを連携管理部４２３が検出した場合、デジタルアシスタント連携可能と判別してもよい。

＜変形例４＞
なお、上記実施形態では、デジタルアシスタント連携可能な状態で、副デバイス１００から連携確立コマンドを受信した場合、主デバイス３００側は、連携モードをＯＮにしている。しかしながら、これに限定されない。主デバイス３００側では、常に連携モードをＯＮにするよう構成してもよい。すなわち、初期設定部４２４が初期設定を行った時点で、連携フラグ４３３をＯＮにする。

この場合、上記連携処理において、ステップＳ１１０１、Ｓ１１０２、Ｓ１２０１、およびＳ１２０２の処理は不要である。

ただし、この場合、主デバイス３００の位置によっては、ステップＳ１２０６において当該主デバイス３００にＡＰ５１０を介して中継音声を送信した際、送達できないことがある。このような場合は、ユーザにその旨出力する。

＜変形例５＞
また、上記実施形態では、初期設定部４２４が、予め、副デバイス１００として機能する装置の情報を副デバイス管理ＤＢ４３０に登録する。しかしながら、主デバイス３００側が常に連携モードＯＮとする場合、副デバイス管理ＤＢ４３０は設定しなくてもよい。

例えば、連携処理において、ステップＳ１１０３で中継音声を受信した際、主デバイス側連携部４２０は、送信元の副デバイス１００のアクセス情報を管理しておく。そして、回答を得た後、回答送信部４２２は、管理されたアクセス情報にもとづいて、回答を送信する。

＜変形例６＞
上記実施形態では、副デバイス１００の送信先デバイス決定部２１３は、音データを解析し、ユーザを判別している。しかしながら、これに限定されない。例えば、送信先デバイス決定部２１３は、顔画像でユーザを判別してもよい。

この場合、副デバイス１００は、ユーザの顔画像を取得するカメラ１８１を備える。また、ユーザ情報ＤＢ２４０には、図６（ｂ）に示すように、ユーザＩＤ２４１に対応づけて、各ユーザの照合用の顔画像２４３を予め登録しておく。

送信先デバイス決定部２１３は、音取得部２１２による音データの取得に同期して、カメラ１８１が取得した画像を解析する。そして、顔画像２４３と照合し、合致した顔画像に対応付けられたユーザＩＤ２４１を抽出する。そして、抽出したユーザＩＤ２４１に合致するユーザＩＤ２３１に対応付けられた主デバイスＩＤ２３２およびアクセス情報２３３を、決定結果として音取得部２１２に出力する。

＜変形例７＞
また、各主デバイス３００のデータ受信部４２１が、受信した音データを用いて本人認証処理を行う機能を有する場合、副デバイス１００の送信先デバイス決定部２１３は、音データを解析して送信先の主デバイスを決定しなくてもよい。

このとき、送信先デバイス決定部２１３は、連携情報ＤＢ２３０において、連携フラグ２３４が設定される全ての主デバイス３００の主デバイスＩＤ２３２およびアクセス情報２３３を、音取得部２１２に出力する。これにより、音取得部２１２は、取得した音データを、連携フラグ２３４が設定されている全ての主デバイス３００に送信する。

各主デバイス３００は、データ受信部４２１において、受信した音データを用いて本人認証処理を行う。そして、本人と認証された場合、受信した音データをアシスタント部４１０に出力し、デジタルアシスタント処理を要求する。

これにより、音データが主デバイス３００のユーザの音声である場合のみ、当該主デバイス３００はデジタルアシスタント処理を行い、回答を出力する。従って、この場合は、副デバイス１００側で、音データにより送信先を振り分けなくても、所望の回答を得ることができる。

＜変形例８＞
例えば、１のユーザが複数の主デバイス３００を利用していることがある。このような場合、同じユーザＩＤ２３１に対応づけて、複数の主デバイス３００の情報を連携情報ＤＢ２３０に登録してもよい。例えば、図６（ａ）の連携情報ＤＢ２３０において、主デバイスＩＤ２３２が、３００ａ－１と、３００ａ－２とは、同じユーザの主デバイス３００である。

この場合、上記デジタルアシスタント連携処理のステップＳ１２０４でユーザを特定した後、送信先デバイス決定部２１３は、連携情報ＤＢ２３０から抽出された主デバイス３００の情報を、ユーザに提示し、ユーザからの選択を受け付ける。

ここで提示する情報は、例えば、連携情報ＤＢ２３０に、各主デバイスの名称（主デバイス名称２３６）が登録されている場合は、その名称を表示する。主デバイス名称２３６が登録されていない場合は、例えば、主デバイスＩＤ２３２等を表示させる。

選択を受け付ける際に表示される選択画面６２０の表示例を、図１０（ａ）に示す。選択画面６２０は、例えば、メッセージ表示領域６２１と、選択受付領域６２２と、を備える。

メッセージ表示領域６２１には、検出された主デバイス数と、ユーザに要求する操作がメッセージとして表示される。選択受付領域６２２は、ユーザによる選択を受け付ける領域である。ユーザは、例えば、副デバイス１００がテレビである場合、そのリモコンによる操作等で選択受付領域６２２を介して、主デバイス３００を選択する。

送信先デバイス決定部２１３は、選択受付領域６２２を介して受け付けた主デバイス３００を、送信先の主デバイス３００として決定する。そして、送受信部２１４は、その主デバイス３００に、音データを中継音声として送信する。

なお、この場合、ユーザから選択を受け付けなくてもよい。送信先デバイス決定部２１３は、連携情報ＤＢ２３０から抽出された当該ユーザの主デバイス３００の情報を送受信部２１４に通知する。そして、送受信部２１４は、抽出された全ての主デバイス３００に、音データを送信する。そして、送受信部２１４は、得られた回答を全て受信し、回答提示部２１５に提示させてもよい。

例えば、スマートフォンには問いかけに必要な個人情報が格納され、タブレットには格納されていない場合、スマートフォンからは所望の回答が得られ、タブレットからは、回答不能との回答、あるいは、回答が得られない。従って、いずれにしても、ユーザは、所望の回答を得ることができる。

なお、このとき、送受信部２１４は、抽出された主デバイス３００に対し、予め定めた順に音データを送信してもよい。予め定めた順は、例えば、連携情報ＤＢ２３０の登録順である。１の主デバイス３００に音データを送信する。そして、所定の期間内に回答の返信を受信しない場合、あるいは、回答不能との回答を受信した場合、次の主デバイス３００に音データを送信する。そして、回答を得た場合、回答提示部２１５に提示させる。一方、いずれの主デバイス３００からも回答を得ない場合は、その旨、回答提示部２１５に提示させる。

なお、連携情報ＤＢ２３０に、音データ送信の優先順を設定しておいてもよい。この場合、送受信部２１４は、優先順に従って、音データを送信する。

＜変形例９＞
なお、上記実施形態では、副デバイス１００は、ディスプレイ１４０を備えるテレビである場合を例にあげて説明した。しかしながら、副デバイス１００は、これに限定されない。例えば、ディスプレイ１４０を備えないスマートスピーカ１０１であってもよい。

この場合、スマートスピーカ１０１は、対応装置登録ＤＢ２５０を備える。対応装置登録ＤＢ２５０には、近傍の装置であってディスプレイ１４０を備える装置が映像出力用装置として予め登録される。この場合の、対応装置登録ＤＢ２５０の一例を、図１０（ｂ）に示す。本図に示すように、対応装置登録ＤＢ２５０には、副デバイス１００の識別情報である副デバイスＩＤ２５１と、映像出力用装置の識別情報である映像出力先装置ＩＤ２５２とが対応づけて登録される。対応装置登録ＤＢ２５０は、例えば、メモリ１１２に登録される。

回答提示部２１５は、回答として得られたデータを解析する。そして、音声のみで出力可能なデータである場合、自身の音出力部１５０から出力する。一方、回答が映像データを含み、ディスプレイ１４０に出力する必要がある場合は、対応装置登録ＤＢ２５０を参照し、対応付けられたディスプレイ１４０を備える装置を特定する。そして、映像データを、当該装置に転送し、出力させる。

このとき、図１０（ｃ）に示すように、副デバイス１００であるスマートスピーカ１０１は、回答の表示先を音声で出力するように構成してもよい。

このように構成することにより、多様なデバイスを副デバイス１００として用いることができる。

なお、例えば、全ての副デバイス１００が、予め近傍の装置の仕様を登録した仕様データベースを備える場合、対応装置登録ＤＢ２５０は備えなくてもよい。仕様データベースには、例えば、各副デバイス１００が、表示装置を有するか否か、各副デバイス１００の配置位置等が格納される。この場合は、回答提示部２１５は、このデータベースから近傍の装置であって、ディスプレイ１４０を備える装置を抽出し、当該装置に映像データを転送する。

なお、副デバイス１００が複数ある場合、主デバイス３００のデータ受信部４２１では、各副デバイス１００からの音データを受信する。このような場合、データ受信部４２１は、いずれも同じ処理を指示するものであるため自身で取得した音声によるデジタルアシスタント処理と、副デバイス１００を経由した音データによるデジタルアシスタント処理が競合する。

このような場合、データ受信部４２１は、最先の音データの送信元の副デバイス１００との間で、通信路を確立する。

＜＜第二実施形態＞＞
本発明の第二実施形態を説明する。第一実施形態では、副デバイス１００は、音データを主デバイス３００に中継する中継装置である。本実施形態では、副デバイス１００でも、アシスタント機能を備える。

本実施形態の処理の概要を、図１１を用いて説明する。本実施形態の副デバイス１００は、音データを受信すると、アシスタント機能で解析し、音データによるユーザからの要求が、回答を得るためにユーザの個人情報が必要であるか否かを判別する。

そして、ユーザからの要求が、その回答を得るために、ユーザの個人情報が不要な要求である場合、副デバイス１００でアシスタント処理を行い、ユーザに回答を提示する。一方、ユーザの個人情報が必要な要求である場合、第一実施形態と同様に、音データを主デバイス３００に転送し、主デバイス３００で回答を生成し、副デバイス１００においてユーザに提示する。

以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。主デバイス３００は、第一実施形態と同様である。また、副デバイス１００は、そのハードウェア構成は、第一実施形態と同じである。ただし、機能ブロックは、第一実施形態と異なる。

図１２は、本実施形態の副デバイス１００の機能ブロックである。本図に示すように、本実施形態の副デバイス１００は、第一実施形態同様、副デバイス側連携部２１０を備える。副デバイス側連携部２１０は、連携設定部２１１と、音取得部２１２と、送信先デバイス決定部２１３と、送受信部２１４と、回答提示部２１５と、を備える。さらに、副デバイス側アシスタント部２２０を備える。

本実施形態の音取得部２１２は、音データを生成すると、まず、副デバイス側アシスタント部２２０に送信する。

副デバイス側アシスタント部２２０は、主デバイス３００のアシスタント部４１０同様、音データを解析し、アシスタント処理を行い、回答を出力する。ただし、副デバイス側アシスタント部２２０は、音データを解析した結果、各ユーザの個人情報が必要と判別した場合、その旨、送信先デバイス決定部２１３に出力する。

本実施形態の送信先デバイス決定部２１３は、副デバイス側アシスタント部２２０から個人情報要との指示を受信した場合、上述のように、ユーザの判別を行い、送信先の主デバイス３００を決定する。

［デジタルアシスタント連携処理］
次に、本実施形態の副デバイス１００のデジタルアシスタント連携処理の流れを説明する。図１３は、本実施形態の副デバイス１００におけるデジタルアシスタント連携処理の処理フローである。ここでは、少なくとも１つの主デバイス３００と、連携されているものとする。

音取得部２１２は、所定の時間間隔で、音データを取得したか否かを判別する（ステップＳ１２０３）。音データを取得すると（Ｓ１２０３；Ｙｅｓ）、副デバイス側アシスタント部２２０へ音データを送信する。

副デバイス側アシスタント部２２０は、音データを解析し（ステップＳ２１０１）、回答を行うために、個人情報が必要であるか否かを判別する（ステップＳ２１０２）。

副デバイス側アシスタント部２２０は、個人情報が要と判別した場合（Ｓ２１０２；Ｙｅｓ）、その旨、送信先デバイス決定部２１３に通知する。通知を受けた送信先デバイス決定部２１３は、第一実施形態のステップＳ１２０４以降の処理を行う。

一方、副デバイス側アシスタント部２２０は、個人情報が不要と判別した場合（Ｓ２１０２；Ｎｏ）、そのまま当該音データに基づいて、アシスタント処理を行い（ステップＳ２１０３）、回答を生成し、ステップＳ１２０９へ移行する。以降の処理は、第一実施形態と同じである。

本実施形態において、例えば、特定の場所の天気を尋ねられた場合等、個人情報は不要である。このような場合の出力例を、図１４に示す。この場合、回答表示領域６１１には、回答が表示される。一方、主デバイス情報表示領域６１２には、この副デバイス１００で処理したことを示す情報として、副デバイス１００を特定する情報が表示される。この場合は、副デバイス１００がＴＶであるため、主デバイス情報表示領域６１２には、例えば、ＴＶと表示される。

以上説明したように、本実施形態のアシスタントシステム９００の副デバイス１００は、第一実施形態の副デバイス１００の機能に加え、デジタルアシスタント処理を実行する副デバイス側アシスタント部２２０を備える。そして、副デバイス側アシスタント部２２０は、音データを解析し、デジタルアシスタント処理を実行するために、個人情報が必要であるか否かを判別する。送信先デバイス決定部２１３は、副デバイス側アシスタント部２２０が、個人情報が必要であると判別した場合、送信先主デバイスを決定する。また、回答提示部２１５は、副デバイス側アシスタント部２２０がデジタルアシスタント処理を実行した場合、そのデジタルアシスタント処理結果をさらに提示する。

このため、本実施形態によれば、第一実施形態同様、主デバイス３００が手元から離れている場合であっても、個々のユーザに個々のユーザの主デバイス３００によるデジタルアシスタント処理結果を提示できる。さらに、本実施形態によれば、個々のユーザの主デバイス３００に格納される個人情報が不要なアシスタント要求の場合は、副デバイス１００側でデジタルアシスタント処理を実行して回答する。このため、迅速な回答を得ることができる。

＜変形例１０＞
なお、上記実施形態では、副デバイス側アシスタント部２２０は、アシスタント処理を行うため、個人情報が必要か否かを判別している。しかしながら、これに限定されない。例えば、音データが、音声コマンドであるか否かを判別してもよい。

音声コマンドであると判別した場合、ユーザからアシスタント要求の内容によらず、第一実施形態同様、送信先デバイス決定部２１３にユーザを判別させ、送信先の主デバイス３００を決定させる。そして、送受信部２１４は、決定した主デバイス３００に音データを送信する。

なお、この場合、副デバイス側アシスタント部２２０は、音データを解析後、デジタルアシスタント処理用のコマンドを生成し、生成したコマンドを、送受信部２１４から、主デバイス３００に送信させるようにしてもよい。

なお、個人情報の要否の判別とさらに組み合わせてもよい。すなわち、個人情報が必要と判別した場合、音データを用いて送信先デバイス決定部２１３に当該音の発声主であるユーザを判別させ、送信先の主デバイス３００を決定させる。そして、送受信部２１４は、決定した主デバイス３００に向けて、音データではなく、コマンドを送信する。

主デバイス３００にコマンドを送信する場合、主デバイス３００側のアシスタント部４１０は、音データを解析する必要がない。

＜変形例１１＞
また、副デバイス１００が、音データを解析する副デバイス側アシスタント部２２０を備える場合、ユーザの呼びかけで特定される主デバイスに音データを送信するよう構成してもよい。

例えば、「ＡＡＳに聞いて」、「ＯＫ、ＢＢＢ」等の音声が発せられた場合、副デバイス側アシスタント部２２０は、この音データを解析し、音データの送信先を特定する。すなわち、音データに、例えば、主デバイス名称２３６に該当する音声が含まれる場合、その旨、送信先デバイス決定部２１３に通知する。

送信先デバイス決定部２１３は、副デバイス側アシスタント部２２０から通知を受けた主デバイス名称２３６を含むデータの主デバイス３００を、送信先の主デバイス３００と決定する。

この場合、各主デバイス３００の呼称は、主デバイス名称２３６として、予め、連携情報ＤＢ２３０に登録しておく。

このように構成することにより、より精度よく、送信先の主デバイス３００を決定することができる。これにより、ユーザのアシスタント要求により適切に応答した回答を得ることができる。

＜変形例１２＞
また、上記実施形態および変形例では、１対の問いかけと回答との送受信の間のみ、主デバイス３００と副デバイス１００との間で通信路を確立している。しかしながら、ユーザから明示の通信路解除の指示を受けるまで、あるいは、所定の時間が経過するまで、通信路を確立してもよい。

これにより、音データを取得する毎に、ユーザを判別する処理が不要となる。例えば、デジタルアシスタントを受けるために、複数回のやり取りが必要な場合等、スムーズに処理を進めることができる。具体的には、ユーザが、自分のスケジュールを確認し、新たなスケジュールを登録する場合などである。

この場合、最初にユーザは、特定の期間のスケジュールを問い合わせる。このとき、副デバイス１００は、音データを解析し、ユーザを判別し、送信先の主デバイス３００を決定する。そして、副デバイス１００は、当該主デバイス３００に当該音データあるいは、コマンドを送信する。

主デバイス３００は、それに応じて送信元の副デバイス１００に回答を返信する。副デバイス１００は、回答をユーザに提示する。ユーザは、それを見て、新たな音声コマンドを発する。例えば、特定の日付に新たなスケジュールを加える、特定の日付のスケジュールを変更する、等である。

このとき、副デバイス１００はこの音データを取得すると、ユーザの判別および送信先主デバイスの決定処理を行うことなく、通信路が確立している主デバイス３００へ送信する。主デバイス３００側では、音データを解析して、処理を行う。

＜変形例１３＞
なお、上記アシスタントシステム９００は、スマートフォン等の携帯型情報処理装置と、ウェアラブルデバイスとにより構成されてもよい。この場合、ウェアラブルデバイスを副デバイス１００として用い、携帯型情報処理装置を、主デバイス３００として用いる。

例えば、図１５に示すように、ユーザは、携帯型情報処理装置である主デバイス３００ａを、鞄等に入れ、副デバイス１００として機能するウェアラブルデバイス（スマートウォッチ３０１）を身に着けて外出する。この間、ユーザは、スマートウォッチ３０１に音声コマンドを発する。

スマートウォッチ３０１は、取得したユーザの音声コマンドを、主デバイス３００である携帯型情報処理装置に送信し、アシスタント処理を実行させる。そして、その結果を、スマートウォッチ３０１で受け取る。

この場合、例えば、自宅など、ＡＰ５１０がある環境に入ると、スマートウォッチ３０１と携帯型情報処理装置とは、ＡＰ５１０を介した宅内ＬＡＮの接続に切り換わる。その後、スマートウォッチ３０１は、宅内での副デバイス１００群の中の１つのデバイスとする。

＜変形例１４＞
上記各実施形態では、１のユーザによる音声を受け付け、そのユーザの主デバイス３００または副デバイス１００によるアシスタント結果を出力する場合を例に説明した。しかし、上述したように主デバイス３００の個数は限定されない。従って、複数のユーザが、短い時間間隔でデジタルアシスタント機能を要求することがある。

このような場合、回答が得られるタイミングが略同時であり、回答提示部２１５は、各主デバイス３００から受信した処理結果である回答を、ディスプレイ１４０または音出力部１５０を介してユーザに出力する。このとき、回答提示部２１５は、受信した処理結果（回答）の数に応じて、ディスプレイ１４０の表示領域を分割してそれぞれの回答を表示させる。

ユーザＡおよびユーザＢの２者が、略同時にアシスタント機能を利用しようとした場合の、回答の表示例を、図１６（ａ）に示す。回答提示部２１５は、表示領域を２分割し、回答の送信元の主デバイス３００を特定する情報とともに、回答を表示する。

回答提示部２１５は、例えば、ディスプレイ１４０の表示領域を、ユーザＡへの回答を表示する第一表示領域６３０ａと、ユーザＢへの回答を表示する第二表示領域６３０ｂとに分割する。そして、各表示領域（６３０ａ、６３０ｂ）内に、上記実施形態同様、主デバイス情報表示領域６１２（６１２ａ、６１２ｂ）および回答表示領域６１１（６１１ａ、６１１ｂ）を設ける。そして、各表示領域に、回答の送信元の主デバイス３００を特定する情報および回答を、それぞれ表示させる。

なお、既存のマルチビューワを副デバイス１００に外付けし、このマルチビューワにより複数の主デバイス３００からの回答を１のディスプレイ１４０上に表示してもよい。

また、回答提示部２１５は、スピーカ３５１が複数チャネルを有する場合、チャネルごとに、異なる送信元の回答を割り当てて、出力させてもよい。このとき、チャネル数以上の送信元が有る場合は、時間差で出力させてもよい。

なお、複数のユーザによる問いかけ（デジタルアシスタントの要求）が、略同じタイミングで発生する場合、各ユーザの音声が時間的に重なることがある。この場合、本実施形態の副デバイス１００は、音声を分離し、それぞれの主デバイス３００に当該音声または音声コマンドを中継する。

この場合の、本実施形態の副デバイス１００による処理を、図１６（ｂ）を用いて説明する。

この場合、副デバイス側連携部２１０の音取得部２１２は、音データを音源毎に分離する音声分離機能を備える。

音取得部２１２は、複数人の音声が混在した可能性のある音データを、まず、音源毎に分離する。本変形例では、例えば、個々人の音声データおよび／または音声以外の音データに分離する。そして、音源毎に分離された音データを、送信先デバイス決定部２１３に送信する。

音データの分離は、例えば、ディープラーニングやクラスタリング処理を用いてもよい。すなわち、音取得部２１２は、ディープラーニングにより特徴から各音声成分を分類する。そして、クラスタリング処理にて分類した音声成分をグループ化し、個々人の音声データおよび／または音声以外の音データとする。

送信先デバイス決定部２１３は、音取得部２１２から受け取った、音源毎に分離された音データそれぞれを、別個独立に解析し、その中の音声データについて、それぞれ、送信先デバイスを決定する。決定手法は、上記各実施形態と同様であるため、ここでは、説明しない。そして、上記各実施形態と同様に、音声データ毎に、主デバイスＩＤ２３２およびアクセス情報２３３を音取得部２１２に通知する。

音取得部２１２は、音源毎に分離された音声データを、それぞれ、送信先デバイス決定部２１３が決定した主デバイス３００に送信するよう送受信部２１４に指示を行う。

取得した音声データを、各主デバイス３００に送信するまでの処理の流れは、基本的に上記各実施形態と同様である。

ただし、第一実施形態のように、副デバイス１００がアシスタント機能を備えない場合は、図８のデジタルアシスタント連携処理のステップＳ１２０３およびステップＳ１２０４の処理が以下のように変わる。

すなわち、副デバイス１００では、ステップＳ１２０３において音データが取得された場合、音取得部２１２は、上記の手法で音データを音源毎に分離する。そして、送信先デバイス決定部２１３は、分離後の音データそれぞれについて、Ｓ１２０４において、ユーザを特定可能か、を判別する。

また、第二実施形態のように、副デバイス１００がアシスタント機能を備える場合は、図１３のデジタルアシスタント連携処理のＳ１２０３～Ｓ１２０４の処理が以下のように変わる。

すなわち、副デバイス１００では、ステップＳ１２０３において音データが取得された場合、音取得部２１２は、上記手法で音データを、音源毎に分離する。そして、副デバイス側アシスタント部２２０は、分離後の各音データを解析し、回答を行うために個人情報が必要であるか否かを判別する。そして、個人情報が要と判別した場合、その分離後の音データを、送信先デバイス決定部２１３に通知する。通知を受けた後の送信先デバイス決定部２１３の処理は、同様である。

一方、個人情報が不要と判別した、分離後の音データについては、そのまま、その音データに基づいて、副デバイス側アシスタント部２２０が回答を生成し、回答提示部に回答を提示させる。

本機能により、複数のユーザが、略同時に、手元から離れた場所にある主デバイス３００に対し、それぞれ、デジタルアシスタント機能を要求した場合であっても、個々のユーザに、それぞれ、個々のユーザの主デバイス３００によるデジタルアシスタント機能を提供できる。

＜変形例１５＞
また、上記各実施形態および各変形例において、副デバイス１００および／または主デバイス３００の一部の機能は、サーバ５３０で実現されてもよい。

サーバ５３０は、図１７に示すように、コントローラ５４０と、通信インタフェース５６２とを備える。コントローラ５４０は、ＣＰＵ５４１と、メモリ５４２とを備え、メモリ５４２には、プログラム５４３とデータ５４４とが記憶される。

サーバ５３０で実現される機能は、予めプログラム５４３としてメモリ５４２に保持される。サーバ５３０では、ＣＰＵ５４１が、予めメモリ５４２に記憶したプログラム５４３を、メモリ５４２に設けられたワーク領域にロードして、データ５４４を用いながら実行することにより、各機能を実現する。

本発明は上記した実施形態および変形例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態および変形例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態または変形例の構成の一部を他の実施形態や変形例の構成に置き換えることが可能である。また、ある実施形態または変形例の構成に他の実施形態または変形例の構成を加えることも可能である。さらに、各実施形態または変形例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ部や、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００：副デバイス、１０１：スマートスピーカ、１１０：コントローラ、１１１：ＣＰＵ、１１２：メモリ、１１３：プログラム、１１４：データ、１２０：ＴＶ部、１２１：受信選局部、１２２：信号分離部、１２３：映像処理部、１２４：音声処理部、１２５：デジタルＩＦ部、１２６：ユーザＩ／Ｆ部、１３０：マイク、１４０：ディスプレイ、１５０：音出力部、１５１：スピーカ、１５２：イヤホン、１６０：通信部、１６１：近接通信インタフェース、１６２：通信インタフェース、１７０：位置検出部、１７１：加速度センサ、１７２：ジャイロセンサ、１７３：地磁気センサ、１７４：ＧＰＳ受信機、１８１：カメラ、１８２：測距センサ、
２１０：副デバイス側連携部、２１１：連携設定部、２１２：音取得部、２１３：送信先デバイス決定部、２１４：送受信部、２１５：回答提示部、２２０：副デバイス側アシスタント部、２３０：連携情報データベース、２３１：ユーザＩＤ、２３２：主デバイスＩＤ、２３３：アクセス情報、２３４：連携フラグ、２３５：主デバイス種別、２３６：主デバイス名称、２４０：ユーザ情報データベース、２４１：ユーザＩＤ、２４２：音声情報、２４３：顔画像、２５０：対応装置登録データベース、２５１：副デバイスＩＤ、２５２：映像出力先装置ＩＤ、
３００：主デバイス、３００ａ：主デバイス（携帯型情報処理装置）、３００ｂ：主デバイス（携帯型情報処理装置）、３００ｃ：主デバイス（携帯型情報処理装置）、３０１：スマートウォッチ、３０２：ＨＭＤ、３０３：ワイヤレスヘッドフォン、３１０：コントローラ、３１１：ＣＰＵ、３１２：メモリ、３１３：プログラム、３１４：データ、３３０：マイク、３４０：ディスプレイ、３５０：音声出力部、３６０：通信部、３６１：近距離通信インタフェース、３６２：通信インタフェース、３７０：位置検出部、３７１：加速度センサ、３７２：ジャイロセンサ、３７３：地磁気センサ、３７４：ＧＰＳ受信器、３８１：カメラ、３８２：測距センサ、
４１０：アシスタント部、４２０：主デバイス側連携部、４２１：データ受信部、４２２：回答送信部、４２３：連携管理部、４２４：初期設定部、４３０：副デバイス管理データベース、４３１：副デバイスＩＤ、４３２：アクセス情報、４３３：連携フラグ、
５１０：アクセスポイント、５１１：充電台、５２０：外部ネットワーク、５３０：サーバ、５４０：コントローラ、５４１：ＣＰＵ、５４２：メモリ、５４３：プログラム、５４４：データ、５６２：通信インタフェース、
６１０：画面例、６１１：回答表示領域、６１１ａ：回答表示領域、６１１ｂ：回答表示領域、６１２：主デバイス情報表示領域、６１２ａ：主デバイス情報表示領域、６１２ｂ：主デバイス情報表示領域、６２０：選択画面、６２１：メッセージ表示領域、６２２：選択受付領域、６３０ａ：第一表示領域、６３０ｂ：第二表示領域、
９００：アシスタントシステム

Claims (6)

1. デジタルアシスタント処理を実行する主デバイスに取得した音データを中継する中継デバイスの情報処理方法であって、
   周囲の音を前記音データとして取得する音取得ステップと、
   前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバイス決定ステップと、
   前記送信先主デバイスが決定された場合に、前記音データを送信するとともに、当該音データに応じて実行されたデジタルアシスタント処理結果を回答として前記送信先主デバイスから受信する送受信ステップと、
   前記送受信ステップで受信した回答を提示する回答提示ステップと、を備え、
   前記送信先デバイス決定ステップでは、前記音データを解析して発声主であるユーザを判別してユーザが特定できた場合に当該ユーザに対応づけて登録されている前記主デバイスを、前記送信先主デバイスと決定し、ユーザが特定できない場合は前記送信先主デバイスを決定しないこと
   を特徴とする情報処理方法。
2. デジタルアシスタント処理を実行する主デバイスに取得した音データを中継する中継デバイスの情報処理方法であって、
   周囲の音を前記音データとして取得する音取得ステップと、
   前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバイス決定ステップと、
   前記送信先主デバイスに、前記音データを送信するとともに、当該音データに応じて実行されたデジタルアシスタント処理結果を回答として前記送信先主デバイスから受信する送受信ステップと、
   前記送受信ステップで受信した回答を提示する回答提示ステップと、を備え、
   前記音取得ステップでは、前記音データを音源毎に分離し、
   前記送信先デバイス決定ステップでは、分離された前記音データそれぞれについて、前記送信先主デバイスを決定し、前記送信先主デバイスが決定できない場合は前記送信先主デバイスを決定せず、
   前記送受信ステップでは、分離された前記音データを、決定された前記送信先主デバイスにそれぞれ送信するとともに、各前記送信先主デバイスからそれぞれ前記回答を受信し、
   前記回答提示ステップでは、各前記送信先主デバイスから受信した前記回答を、それぞれ提示すること
   を特徴とする情報処理方法。
3. デジタルアシスタント処理を実行する主デバイスに取得した音データを中継する中継デバイスの情報処理方法であって、
   周囲の音を前記音データとして取得する音取得ステップと、
   前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバイス決定ステップと、
   前記送信先主デバイスに、前記音データを送信するとともに、当該音データに応じて実行されたデジタルアシスタント処理結果を回答として前記送信先主デバイスから受信する送受信ステップと、
   前記送受信ステップで受信した回答を提示する回答提示ステップと、
   前記デジタルアシスタント処理を実行するアシスタント処理ステップと、を備え、
   前記アシスタント処理ステップでは、前記音データを解析し、前記デジタルアシスタント処理を実行するために、個人情報が必要であるか否かを判別し、
   前記送信先デバイス決定ステップでは、前記アシスタント処理ステップにおいて、前記個人情報が必要であると判別した場合、前記送信先主デバイスを決定し、前記送信先主デバイスが決定できない場合は前記送信先主デバイスを決定せず、
   前記回答提示ステップでは、前記アシスタント処理ステップにおいて前記デジタルアシスタント処理を実行した場合、当該デジタルアシスタント処理結果を提示すること
   を特徴とする情報処理方法。
4. 請求項３記載の情報処理方法であって、
   前記アシスタント処理ステップでは、前記音データを解析し、前記デジタルアシスタント処理を実行するためのコマンドを当該音データから生成し、
   前記送受信ステップでは、前記音データの代わりに、前記コマンドを前記送信先主デバイスに送信すること
   を特徴とする情報処理方法。
5. 請求項１記載の情報処理方法であって、
   前記送信先デバイス決定ステップでは、前記発声主として判別されたユーザに対応づけて登録されている前記主デバイスが複数ある場合、前記ユーザから当該複数の主デバイスの中から前記送信先主デバイスとする主デバイスの選択を受け付けること
   を特徴とする情報処理方法。
6. デジタルアシスタント処理を実行する主デバイスに取得した音データを中継する中継デバイスの情報処理方法であって、
   周囲の音を前記音データとして取得する音取得ステップと、
   前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバイス決定ステップと、
   前記送信先主デバイスに、前記音データを送信するとともに、当該音データに応じて実行されたデジタルアシスタント処理結果を回答として前記送信先主デバイスから受信する送受信ステップと、
   前記送受信ステップで受信した回答を提示する回答提示ステップと、
   前記デジタルアシスタント処理を実行するアシスタント処理ステップと、を備え、
   前記アシスタント処理ステップでは、前記音データを解析し、当該音データから前記主デバイスを特定する情報を抽出し、
   前記送信先デバイス決定ステップでは、前記アシスタント処理ステップで抽出した情報で特定される前記主デバイスを、前記送信先主デバイスと決定し、前記送信先主デバイスが特定できない場合は前記送信先主デバイスを決定しないこと
   を特徴とする情報処理方法。
   

Images