JPWO2020175115A1 - 情報処理装置、及び情報処理方法 - Google Patents

Abstract

本技術は、より最適な出力モーダルで情報を出力することができるようにする情報処理装置、及び情報処理方法に関する。電子機器ごとの出力モーダルに関する機器情報を取得し、取得した機器情報に基づいて、複数の電子機器の中から、情報を出力する出力モーダルを有する電子機器を選択し、選択した電子機器が有する出力モーダルから情報を出力する処理を行う処理部を備える情報処理装置が提供される。本技術は、例えば、情報機器、映像機器、音響機器、又は家電機器などの電子機器に適用することができる。

Description

本技術は、情報処理装置、及び情報処理方法に関し、特に、より最適な出力モーダルで情報を出力することができるようにした情報処理装置、及び情報処理方法に関する。

ユーザが電子機器を使用する際に、電子機器の出力モーダルを指定したい場合がある。

また、音声や画像から得られたユーザ情報とシステム状態に応じて、情報提供レベルと出力態様を切り替える技術が開示されている（例えば、特許文献１参照）。

特開2011-253375号公報

ところで、電子機器の出力モーダルを指定したい場合に、出力モーダルが限られている電子機器も存在し、より最適な出力モーダルで情報を出力するための技術が求められている。

本技術はこのような状況に鑑みてなされたものであり、より最適な出力モーダルで情報を出力することができるようにするものである。

本技術の一側面の情報処理装置は、電子機器ごとの出力モーダルに関する機器情報を取得し、取得した前記機器情報に基づいて、複数の電子機器の中から、情報を出力する出力モーダルを有する電子機器を選択し、選択した前記電子機器が有する出力モーダルから前記情報を出力する処理を行う処理部を備える情報処理装置である。

本技術の一側面の情報処理方法は、情報処理装置が、電子機器ごとの出力モーダルに関する機器情報を取得し、取得した前記機器情報に基づいて、複数の電子機器の中から、情報を出力する出力モーダルを有する電子機器を選択し、選択した前記電子機器が有する出力モーダルから前記情報を出力する情報処理方法である。

本技術の一側面の情報処理装置、及び情報処理方法においては、電子機器ごとの出力モーダルに関する機器情報が取得され、取得された前記機器情報に基づいて、複数の電子機器の中から、情報を出力する出力モーダルを有する電子機器が選択され、選択された前記電子機器が有する出力モーダルから前記情報が出力される。

本技術の一側面の情報処理装置は、ユーザの希望出力モーダルを含むユーザ情報、及び電子機器ごとの出力モーダルに関する機器情報に基づいて、複数の電子機器の中から、前記希望出力モーダルに対応した出力モーダルを有する電子機器を選択し、前記希望出力モーダルに対応した出力モーダルから情報を出力する出力命令を選択した前記電子機器に送信する他の情報処理装置から送信された前記出力命令を、ネットワークを介して受信し、受信した前記出力命令に基づいて、前記希望出力モーダルに対応した出力モーダルから前記情報を出力する処理を行う処理部を備える情報処理装置である。

本技術の一側面の情報処理方法は、情報処理装置が、ユーザの希望出力モーダルを含むユーザ情報、及び電子機器ごとの出力モーダルに関する機器情報に基づいて、複数の電子機器の中から、前記希望出力モーダルに対応した出力モーダルを有する電子機器を選択し、前記希望出力モーダルに対応した出力モーダルから情報を出力する出力命令を選択した前記電子機器に送信する他の情報処理装置から送信された前記出力命令を、ネットワークを介して受信し、受信した前記出力命令に基づいて、前記希望出力モーダルに対応した出力モーダルから前記情報を出力する情報処理方法。

本技術の一側面の情報処理装置、及び情報処理方法においては、ユーザの希望出力モーダルを含むユーザ情報、及び電子機器ごとの出力モーダルに関する機器情報に基づいて、複数の電子機器の中から、前記希望出力モーダルに対応した出力モーダルを有する電子機器を選択し、前記希望出力モーダルに対応した出力モーダルから情報を出力する出力命令を選択した前記電子機器に送信する他の情報処理装置から送信された前記出力命令が、ネットワークを介して受信され、受信された前記出力命令に基づいて、前記希望出力モーダルに対応した出力モーダルから前記情報が出力される。

なお、本技術の一側面の情報処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。

本技術を適用した電子機器を含むシステムの一実施の形態の構成の例を示すブロック図である。 本技術を適用した電子機器の構成の例を示すブロック図である。 自機器として動作する電子機器の機能的構成の例を示すブロック図である。 連携機器として動作する電子機器の機能的構成の例を示すブロック図である。 出力モーダル決定処理の流れを説明するフローチャートである。 ユーザ情報テーブルの例を示す図である。 連携機器情報テーブルの第１の例を示す図である。 連携機器情報テーブルの第２の例を示す図である。 音声読み上げ可能な自機器が出力するケースの例を示す図である。 音声読み上げ可能な連携機器に出力を依頼するケースの例を示す図である。 画面出力可能な自機器が出力するケースの例を示す図である。 画面出力可能な連携機器に出力を依頼するケースの例を示す図である。 連携機器選択処理の流れを説明するフローチャートである。 第２候補モーダル選択処理の流れを説明するフローチャートである。 最適出力モーダル選択処理の流れを説明するフローチャートである。 最適出力モーダル選択処理の流れを説明するフローチャートである。 ユーザ属性・出力モータル対応テーブルの例を示す図である。 ユーザ情報テーブルの他の例を示す図である。 ユーザ情報設定画面の例を示す図である。 機器連携時における連携確認情報の例を示す図である。 本技術を適用した電子機器を含むシステムの一実施の形態の他の構成の例を示すブロック図である。 本技術を適用したシステムの一実施の形態の構成の第１の例を示すブロック図である。 本技術を適用したシステムの一実施の形態の構成の第２の例を示すブロック図である。 本技術を適用したシステムの一実施の形態の構成の第３の例を示すブロック図である。 本技術を適用したシステムの一実施の形態の構成の第４の例を示すブロック図である。 本技術を適用したシステムの一実施の形態の構成の他の具体的な例の一つとして、分散型システムを示す図である。 コンピュータの構成例を示す図である。

以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。

１．本技術の実施の形態
２．システムの構成
３．コンピュータの構成

＜１．本技術の実施の形態＞

（システムの構成）
図１は、本技術を適用した電子機器を含むシステムの一実施の形態の構成の例を示している。

図１において、電子機器１０−１乃至１０−Ｎ（Ｎ：２以上の整数）とルータ２０は、ホームネットワーク３０を介して相互に接続されている。このホームネットワーク３０は、例えば、無線LAN(Local Area Network)等のネットワークから構成される。

電子機器１０−１は、例えば、情報機器、映像機器、音響機器、又は家電機器などの機器として構成される。

なお、情報機器としては、例えば、スマートフォンや携帯電話機、スマートウォッチ、タブレット型端末、ゲーム機、パーソナルコンピュータ等を含む。また、映像機器としては、例えば、テレビ受像機、プロジェクタ、ディスプレイ装置等を含む。

さらに、音響機器としては、例えば、スマートスピーカ、スピーカ、ヘッドフォン等を含む。また、家電機器としては、例えば、洗濯機や冷蔵庫、電子レンジ等の白物家電を含む。なお、ここに列挙した機器は一例であって、例えば、動物型や人型の家庭用ロボットや、ロボット掃除機等のロボットなどを含めてもよい。

電子機器１０−１は、最適な出力モーダルで情報を出力することができる。ここで、出力モーダルとは、電子機器１０−１乃至１０−Ｎのそれぞれが有する（情報の）表現手段である。また、電子機器１０−１は、ホームネットワーク３０を介して、電子機器１０−２乃至１０−Ｎ等の他の電子機器１０との間で情報をやりとりすることができる。

電子機器１０−２乃至１０−Ｎは、電子機器１０−１と同様に、情報機器等の機器としてそれぞれ構成される。電子機器１０−２乃至１０−Ｎのそれぞれは、最適な出力モーダルで情報を出力することができる。また、電子機器１０−２乃至１０−Ｎのそれぞれは、他の電子機器１０との間で情報をやりとりすることができる。

また、図１において、ルータ２０は、インターネット５０に接続可能であり、電子機器１０−１乃至１０−Ｎのそれぞれは、インターネット５０を介してサーバ４０と各種の情報をやりとりすることができる。

サーバ４０は、例えば１又は複数のサーバから構成され、データセンタ等に設置される。サーバ４０は、ユーザや機器に関する情報等をデータベースにより管理しており、電子機器１０−１乃至１０−Ｎのいずれからの要求に応じて、インターネット５０を介して各種の情報を提供することができる。

なお、以下の説明では、電子機器１０−１乃至１０−Ｎを、特に区別する必要がない場合には、単に電子機器１０と記載する。

また、詳細は後述するが、電子機器１０には、その動作内容に応じて、動作の主体となる自機器と、自機器と連携して動作する連携機器の２種類が存在するため、以下の説明では、自機器として動作する電子機器１０を、電子機器１０Ａとも記載する一方で、連携機器として動作する電子機器１０を、電子機器１０Ｂとも記載して区別する。

（電子機器の構成）
図２は、図１の電子機器１０の構成の例を示している。

図２において、電子機器１０は、処理部１００、入力部１０１、出力部１０２、センサ部１０３、通信部１０４、及び記憶部１０５を含んで構成される。

処理部１００は、例えば、CPU(Central Processing Unit)やマイクロコントローラ等のプロセッサ、FPGA(Field Programmable Gate Array)などから構成される。処理部１００は、各部の動作の制御や各種の演算処理を行う中心的な処理装置である。

入力部１０１は、ユーザとの間の入力インターフェースとして、例えば、マイクロフォン１０１−１や、ボタン１０１−２などを含む。

マイクロフォン１０１−１は、ユーザの音声や周囲の音を含む外部からの音を電気信号に変換し、その結果得られる音声情報を、処理部１００に供給する。また、ボタン１０１−２は、物理的なボタンであり、ユーザの操作に応じた操作情報を、処理部１００に供給する。

なお、ここでは、入力部１０１として、マイクロフォン１０１−１とボタン１０１−２を含む場合を例示したが、例えば、後述のディスプレイ１０２−１と組み合わせたタッチパネルや、キーボード、マウス等の他の入力手段を含めてもよい。

出力部１０２は、ユーザとの間の出力インターフェースとして、例えば、ディスプレイ１０２−１、スピーカ１０２−２、電子音ブザー１０２−３、振動素子１０２−４、ランプ１０２−５を含む。

ディスプレイ１０２−１は、例えば液晶ディスプレイ（LCD：liquid crystal display)やOLED(Organic Light Emitting Diode)ディスプレイ等の表示装置である。ディスプレイ１０２−１は、処理部１００から供給される出力命令に応じた情報を表示する。

スピーカ１０２−２は、例えば音声や音楽等の音を再生する音声出力装置である。スピーカ１０２−２は、処理部１００から供給される出力命令に応じた音を出力する。電子音ブザー１０２−３は、例えば「ピー」等の電子音を出力可能な発音装置である。電子音ブザー１０２−３は、処理部１００から供給される出力命令に応じた電子音を出力する。

振動素子１０２−４は、処理部１００から供給される出力命令に応じて振動することで、ユーザに対して振動刺激を与える。ランプ１０２−５は、例えばLED(Light Emitting Diode)等の光源を含む発光装置である。ランプ１０２−５は、処理部１００から供給される出力命令に応じて点灯する。

なお、ここでは、出力部１０２として、ディスプレイ１０２−１やスピーカ１０２−２等を含む場合を例示したが、例えば、ロボットの駆動部位（例えば頭部や手等）などの他の出力手段を含めてもよい。

センサ部１０３は、例えば、各種のセンサデバイス等から構成される。このセンサデバイスとしては、例えば、測定センサ１０３−１や、画像センサ１０３−２などを含む。

測定センサ１０３−１は、例えば、磁場（磁界）の大きさや方向を検出する磁気センサ、加速度を検出する加速度センサ、角度（姿勢）や角速度、角加速度を検出するジャイロセンサ、近接するものを検出する近接センサなどを含めることができる。測定センサ１０３−１は、ユーザやその周辺などのセンシングを行い、その結果得られる環境情報（センシング情報を含む）を、処理部１００に供給する。

画像センサ１０３−２は、例えばイメージセンサと信号処理部を含んで構成される。画像センサ１０３−２は、イメージセンサにより被写体を撮像して得られる撮像信号に対して、信号処理部により各種の信号処理を行うことで画像情報を生成し、処理部１００に供給する。

なお、ここでは、センサ部１０３として、測定センサ１０３−１や画像センサ１０３−２等を含む場合を説明したが、例えば、温度を検出する温度センサや、湿度を検出する湿度センサ、周囲の明るさを検出する環境光センサなどの周囲の環境を測定するためのセンサや、呼吸や脈拍、指紋、虹彩などの生体情報を検出する生体センサ等の他のセンサデバイスを含めてもよい。

通信部１０４は、所定の規格に準拠した無線通信又は有線通信に対応した通信モジュールなどから構成される。この通信モジュールとしては、例えば無線LANや、セルラ方式の通信（例えばLTE-Advancedや5G）等の通信方式に対応したものとされる。通信部１０４は、処理部１００からの制御に従い、各種の情報を、他の電子機器１０又はサーバ４０との間でやりとりする。

記憶部１０５は、例えば半導体メモリやHDD(Hard Disk Drive)などの記憶装置から構成される。記憶部１０５は、処理部１００からの制御に従い、各種の情報を記憶する。

なお、図２に示した電子機器１０の構成は一例であって、すべての構成要素を備える必要はなく、例えば、入力部１０１やセンサ部１０３などの一部の構成要素を除いた構成としてもよい。あるいは、図２に示した電子機器１０の構成に対して、他の構成要素を加えてもよい。

（自機器の機能的構成）
図３は、自機器として動作する電子機器１０Ａの機能的構成の例を示している。

電子機器１０Ａにおいて、処理部１００は、ユーザ識別部１２１、出力モーダル決定部１２２、及び環境識別部１２３を含む。

ユーザ識別部１２１は、情報の出力先となるユーザを識別する機能を有する。ユーザ識別部１２１は、話者識別部１３１、顔識別部１３２、及び識別結果統合部１３３を含む。

話者識別部１３１は、マイクロフォン１０１−１から供給される音声情報を用いた話者認識処理を行い、その識別結果を、識別結果統合部１３３に供給する。この話者認識処理では、例えば、音声情報から特徴量を抽出してモデル化し、それを使って個人の声の認識を行う話者認識アルゴリズムなど、公知の技術を用いることができる。

顔識別部１３２は、画像センサ１０３−２から供給される画像情報を用いた顔認識処理を行い、その識別結果を、識別結果統合部１３３に供給する。この顔認識処理では、例えば、画像情報から目立つ特徴を抽出して一致する特徴のある画像を検索して個人の顔の認識を行う顔認識アルゴリズムなど、公知の技術を用いることができる。

識別結果統合部１３３は、話者識別部１３１から供給される話者の識別結果と、顔識別部１３２から供給される顔の識別結果を統合して、情報の出力先となるユーザ（その場にいるユーザ）を識別し、そのユーザ識別結果を、出力モーダル決定部１２２に供給する。このユーザ識別結果としては、例えば、識別したユーザに割り当てられたユーザIDを用いることができる。

出力モーダル決定部１２２は、あらかじめ登録されているユーザ情報を参照して、識別結果統合部１３３から供給されるユーザ識別結果（ユーザID）に応じた希望出力モーダルを取得する。

また、出力モーダル決定部１２２は、自機器の出力モーダルとして、識別したユーザの希望出力モーダルを有している場合、情報の出力命令を、希望出力モーダルに対応した自機器の出力部１０２に供給する。これにより、自機器として動作する電子機器１０Ａにおいて、希望出力モーダルに対応した出力部１０２は、出力モーダル決定部１２２からの出力命令に応じた情報を出力する。

一方、出力モーダル決定部１２２は、自機器の出力モーダルとして、識別したユーザの希望出力モーダルを有していない場合、あらかじめ登録されている連携機器情報を参照（取得）して、識別したユーザの希望出力モーダルを有する連携機器を選択する。

そして、出力モーダル決定部１２２は、通信部１０４を制御して、情報の出力命令を、ホームネットワーク３０を介して、希望出力モーダルに対応した出力部１０２を有する連携機器に送信する。これにより、連携機器として動作する電子機器１０Ｂにおいて、希望出力モーダルに対応した出力部１０２は、自機器として動作する電子機器１０Ａから送信されてくる出力命令に応じた情報を出力する。

ここで、識別したユーザが希望出力モーダルを設定していない場合には、出力モーダル決定部１２２からの出力命令に応じた情報を、自機器の出力モーダル（出力部１０２）から出力すればよい。

また、出力モーダル決定部１２２は、通信部１０４を制御して、ユーザ情報と連携機器情報を、インターネット５０を介してサーバ４０から取得することができる。

すなわち、サーバ４０は、ユーザ情報テーブルを記憶したユーザ情報記憶部４０１と、連携機器情報テーブルを記憶した連携機器情報記憶部４０２を有しており、電子機器１０Ａからの要求に応じて、ユーザ情報テーブルに格納されたユーザ情報、又は連携機器情報テーブルに格納された連携機器情報を提供することができる。換言すれば、ユーザ情報テーブルと連携機器情報テーブルは、ホームネットワーク３０に接続された複数の電子機器１０の間で共有されている情報であると言える。

なお、ユーザ識別部１２１では、話者識別及び顔識別のうち、少なくとも一方の識別が行われればよく、一方の識別のみが行われる場合には、識別結果統合部１３３による識別結果の統合を行う必要がなく、一方の識別結果に応じたユーザ識別結果（ユーザID）が出力モーダル決定部１２２に供給される。

また、電子機器１０Ａがユーザの識別を行うタイミングは、例えば、次の２パターンが想定される。第１に、電子機器１０Ａがユーザに情報を通知したいときである。このケースとしては、例えば、電話やメールの着信通知、アラームやリマインダ、エラー通知などが含まれる。

第２に、ユーザが電子機器１０Ａに情報を求めたときである。ここでは、例えば、ユーザによるリモートコントローラの操作や、マイクロフォンによる音声入力が行われた場合が含まれる。具体的には、例えば、ユーザが、音声AIアシスタントサービスを利用する場合における、「明日の天気を教えてほしい」、「予定を登録したい」、「情報を検索したい」などの音声発話が含まれる。

また、自機器として動作する電子機器１０Ａにおいて、ユーザ識別部１２１によるユーザの識別が困難である場合には、ホームネットワーク３０を介して、連携機器として動作する電子機器１０Ｂと連携して、電子機器１０Ｂからユーザ識別情報を取得し、このユーザ識別情報を用いたユーザの識別が行われるようにしてもよい。

環境識別部１２３は、センサ部１０３（例えば測定センサ１０３−１等）又は通信部１０４等から供給される環境情報（センシング情報を含む）を用いた環境識別処理を行い、その識別結果を、出力モーダル決定部１２２に供給する。

この環境情報としては、例えば、ユーザに関する情報（例えば、ユーザの位置を示す情報）や、他の機器に関する情報（例えば、スマートウォッチの活動情報など他の機器の情報や、他の機器の使用状況を示す情報）、その周辺に関する情報など、様々な情報を含めることができる。また、この環境識別処理では、環境情報を用いた環境識別アルゴリズムが実行されることで、例えば、現在ユーザがどの部屋にいるか、ユーザの近くにある機器は何かなどの識別結果を得ることができる。

すなわち、自機器として動作する電子機器１０Ａに、ユーザ識別のためのデバイス（カメラやマイクロフォン）が備わっていない場合には、機器連携している他の電子機器１０からの情報を用いてユーザ識別などの処理を行ってもよい。

具体的には、スマートスピーカが情報を出力するのに、同じ部屋にあるテレビ受像機に内蔵されたカメラの画像情報を使ってユーザ識別を行うケースがある。また、テレビ受像機が情報を出力するのに、ユーザが在室しているかどうかを、スマートフォンのGPS(Global Positioning System)情報を使って判断するといったケースもある。

出力モーダル決定部１２２は、識別したユーザの希望出力モーダルに応じた出力モーダルの決定を行うに際し、環境識別部１２３から供給される環境の識別結果を加味して出力モーダルを決定し、自機器の出力部１０２、又は連携機器に対して出力命令を通知することができる。

（連携機器の機能的構成）
図４は、連携機器として動作する電子機器１０Ｂの機能的構成の例を示している。

電子機器１０Ｂにおいて、処理部１００は、出力命令解析部１４１及び出力制御部１４２を含む。また、電子機器１０Ｂにおいて、通信部１０４は、自機器として動作する電子機器１０Ａから、ホームネットワーク３０を介して出力命令を受信した場合、出力命令を、出力命令解析部１４１に供給する。

出力命令解析部１４１は、通信部１０４から供給される出力命令を解析し、その解析結果を、出力制御部１４２に供給する。

出力制御部１４２は、出力命令解析部１４１からの出力命令の解析結果に基づいて、希望出力モーダルに対応した出力部１０２に対し、制御信号を供給する。これにより、連携機器として動作する電子機器１０Ｂにおいて、希望出力モーダルに対応した出力部１０２は、自機器として動作する電子機器１０Ａから送信されてくる出力命令に応じた情報を出力することになる。

電子機器１０は、以上のように構成される。

（出力モーダル決定処理の流れ）
次に、図５のフローチャートを参照して、電子機器１０Ａ（の処理部１００）により実行される出力モーダル決定処理の流れを説明する。

ステップＳ１１において、出力モーダル決定部１２２は、ユーザ情報テーブルを参照して、情報の出力先は登録済みのユーザであるかどうかを判定する。

ここで、図６は、ユーザ情報テーブルの例を示している。このユーザ情報テーブルでは、ユーザIDごとに、ユーザ名、性別、年齢、及び希望出力モーダルが格納されている。

具体的には、"01"乃至"04"のユーザIDとして、"ヒロシ"、"ユキ"、"ユウタ"、"ユウゾウ"の４人のユーザが登録済みである。

ヒロシは、性別が男性で、年齢が38歳であることは登録済みであるが、希望出力モーダルは未登録である。ユキは、38歳の女性で、希望出力モーダルとして、"常に画面出力を希望"することが登録されている。

また、ユウタは、10歳の男性であることは登録済みであるが、希望出力モーダルは未登録である。ユウゾウは、75歳の男性で、希望出力モーダルとして、"音声読み上げは話速を遅く"することが登録されている。

なお、このユーザ情報の登録は、例えば電子機器１０の購入時などのタイミングで行われる。例えば、スマートフォンやテレビ受像機等の電子機器１０に、設定画面を表示して、ユーザが設定画面の項目に情報を入力又は選択する操作などを行うことで、ユーザ情報が、サーバ４０のユーザ情報記憶部４０１（のユーザ情報テーブル）に登録される。

また、このユーザ情報の登録時には、ユーザごとに、希望出力モーダルを設定することができる。この設定は、ユーザのアカウントに紐付いて、すべての電子機器１０により共有される。希望出力モーダルのバリエーションとしては、例えば、次の（ａ）乃至（ｆ）に示すものを例示することができる。

（ａ）すべての通知で音声読み上げ（電子音の翻訳を含む）を設定
（ｂ）すべての通知で画面や光での出力を設定
（ｃ）音声読み上げする際の音量や話速の設定
（ｄ）画面出力する際の文字の色や大きさの設定
（ｅ）振動（バイブレーション）で通知する際の振幅や振動パターンの設定
（ｆ）光で通知する際の色や点灯パターンの設定

図５の説明に戻り、ステップＳ１１の判定処理で、情報の出力先は登録済みのユーザであると判定された場合、処理は、ステップＳ１２に進められる。

ステップＳ１２において、出力モーダル決定部１２２は、連携機器情報テーブルを参照して、希望の出力モーダルが登録されているかどうかを判定する。

ここで、図７は、連携機器情報テーブルの例を示している。この連携機器情報テーブルでは、電子機器１０に割り当てられる機器IDごとに、機器名、及び出力モーダルの項目が設けられ、各項目に応じた情報が格納されている。

具体的には、"00"乃至"06"の機器IDとして、テレビ受像機、スマートフォンＡ、スマートフォンＢ、スマートスピーカ、ロボット掃除機、冷蔵庫、洗濯機が登録されている。なお、ここでは、出力モーダルとして、"画面"は画面出力、"音声"は音声読み上げ（例えばTTS(Text To Speech)）、"電子音"は電子音出力をそれぞれ意味している。

テレビ受像機、スマートフォンＡ、及びスマートフォンＢは、ディスプレイ１０２−１及びスピーカ１０２−２を出力部１０２に含むため、出力モーダルとして、"画面"及び"音声"を含む。スマートスピーカ、及びロボット掃除機は、スピーカ１０２−２を出力部１０２に含むため、出力モーダルとして、"音声"を含む。冷蔵庫及び洗濯機は、電子音ブザー１０２−３を出力部１０２に含むため、出力モーダルとして、"電子音"を含む。

なお、この連携機器情報の登録は、例えば、電子機器１０の購入時などのタイミングで手動又は自動で行われる。

手動で登録する場合には、例えば、スマートフォン等の電子機器１０に設定画面を表示してユーザにより設定の操作が行われる。また、自動で登録する場合には、例えば、新たな電子機器１０がホームネットワーク３０に接続したとき、機器ID、機器名、出力モーダルなどの情報を含む設定情報が、インターネット５０を介してサーバ４０に送信され、連携機器情報テーブルに格納される。

図５の説明に戻り、ステップＳ１２の判定処理で、希望の出力モーダルが登録されていると判定された場合、処理は、ステップＳ１３に進められる。

ステップＳ１３において、出力モーダル決定部１２２は、連携機器情報テーブルを参照して、希望の出力モーダルが自機器に存在しないかどうかを判定する。

ステップＳ１３の判定処理で、希望の出力モーダルが自機器に存在すると判定された場合、処理は、ステップＳ１４に進められる。

ステップＳ１４において、出力モーダル決定部１２２は、ユーザが希望する出力モーダルで自機器から情報を出力する。この場合、自機器として動作する電子機器１０Ａでは、希望出力モーダルに対応した出力部１０２が、出力モーダル決定部１２２からの出力命令に応じた情報を出力する。

また、ステップＳ１３の判定処理で、希望の出力モーダルが自機器に存在しないと判定された場合、処理は、ステップＳ１５に進められる。

ステップＳ１５において、出力モーダル決定部１２２は、連携機器情報テーブルを参照して、希望の出力モーダルを有する連携機器が存在するかどうかを判定する。

ステップＳ１５の判定処理で、希望の出力モーダルを有する連携機器が存在すると判定された場合、処理は、ステップＳ１６に進められる。

ステップＳ１６において、出力モーダル決定部１２２は、ユーザが希望する出力モーダルで連携機器から情報を出力する。この場合、連携機器として動作する電子機器１０Ｂでは、希望出力モーダルに対応した出力部１０２が、自機器として動作する電子機器１０Ａから送信されてくる出力命令に応じた情報を出力する。

また、ステップＳ１１の判定処理で、情報の出力先は登録済みのユーザではないと判定された場合、ステップＳ１２の判定処理で、希望の出力モーダルが登録されていないと判定された場合、又はステップＳ１５の判定処理で、希望の出力モーダルを有する連携機器が存在しないと判定された場合、処理は、ステップＳ１７に進められる。

ステップＳ１７において、出力モーダル決定部１２２は、デフォルトの出力モーダルで自機器から情報を出力する。この場合、自機器として動作する電子機器１０Ａでは、あらかじめ設定されたデフォルトの出力モーダルに対応した出力部１０２が、出力モーダル決定部１２２からの出力命令に応じた情報を出力する。

ステップＳ１４，Ｓ１６，又はＳ１７の処理のいずれかが終了すると、出力モーダル決定処理は終了される。

以上、出力モーダル決定処理の流れを説明した。この出力モーダル決定処理では、ユーザ情報と連携機器情報が取得され、取得されたユーザ情報と連携機器情報に基づいて、複数の電子機器１０の中から、情報を出力する出力モーダルを有する電子機器１０が選択され、選択された電子機器が有する出力モーダルから情報が出力される。

（連携機器情報テーブルの他の例）
図８は、図５のステップＳ１２，Ｓ１３，Ｓ１５の処理で参照される連携機器情報テーブルの他の例を示している。

図８において、連携機器情報テーブルは、機器IDごとに、機器名、画面フィードバック、音フィードバック、光フィードバック、振動、及び動作の項目が設けられ、各項目に応じた情報が格納されている。

また、画面フィードバックの項目は、動画像出力と英数字出力（例えばデジタル英数字のみ出力可能等）の項目を含み、音フィードバックの項目は、音声読み上げと電子音出力の項目を含み、光フィードバックの項目は、複数色で発光と単色で発光の項目を含んでいる。

また、図８では、図中の白丸（○）が、各項目で表された出力モーダルに対応可能であることを示している。すなわち、図８の連携機器情報テーブルは、上述した図７の連携機器情報テーブルと比べて、出力モーダルを細分化して表している。

テレビ受像機は、ディスプレイ１０２−１及びスピーカ１０２−２を含むため、出力モーダルとして、"動画像出力"及び"英数字出力"、並びに"音声読み上げ"及び"電子音出力"を含む。

スマートフォンＡ，Ｂは、ディスプレイ１０２−１、スピーカ１０２−２、電子音ブザー１０２−３、振動素子１０２−４、及びランプ１０２−５を含むため、出力モーダルとして、"動画像出力"及び"英数字出力"、"音声読み上げ"及び"電子音出力"、"単色で発光"、並びに"振動"をそれぞれ含む。

スマートスピーカは、スピーカ１０２−２、電子音ブザー１０２−３、及びランプ１０２−５を含むため、出力モーダルとして、"音声読み上げ"、"電子音出力"、及び"複数色で発光"を含む。ロボット掃除機は、電子音ブザー１０２−３及び駆動部位を含むため、出力モーダルとして、"電子音出力"及び"動作"を含む。つまり、ロボット掃除機は、自機器の動きで情報の出力が可能とされる。

冷蔵庫は及び洗濯機は、ディスプレイ１０２−１、電子音ブザー１０２−３、及びランプ１０２−５を含むため、出力モーダルとして、"英数字出力"、"電子音出力"、及び"単色で発光"をそれぞれ含む。電子レンジは、ディスプレイ１０２−１及び電子音ブザー１０２−３を含むため、出力モーダルとして、"英数字出力"及び"電子音出力"を含む。

スマートウォッチは、ディスプレイ１０２−１、スピーカ１０２−２、電子音ブザー１０２−３、振動素子１０２−４、及びランプ１０２−５を含むため、出力モーダルとして、"動画像出力"及び"英数字出力"、"音声読み上げ"及び"電子音出力"、"複数色で発光"、並びに"振動"をそれぞれ含む。

なお、図８の連携機器情報テーブルは一例であって、他の出力モーダルを追加したり、あるいは削除したりしてもよい。さらに、出力モーダルを細分化したものとしては、他の情報を含めてもよい。例えば、画面フィードバックを、画面サイズや解像度などの機能ごとに分類してもよい。

（出力モーダル決定の具体例）
次に、図９乃至図１２を参照して、出力モーダルの選択と出力機器の決定の例を説明する。

以下の説明では、電子機器１０−１乃至１０−６が、スマートスピーカ、スマートフォン、テレビ受像機、洗濯機、冷蔵庫、スマートウォッチである場合を例示するため、スマートスピーカ１０−１、スマートフォン１０−２、テレビ受像機１０−３、洗濯機１０−４、冷蔵庫１０−５、スマートウォッチ１０−６とも記載する。

（ａ）音声読み上げ可能な自機器が出力するケース
図９において、スマートスピーカ１０−１と、スマートフォン１０−２と、テレビ受像機１０−３は、出力モーダルとして"音声"を含み、情報の音声読み上げが可能な機器である。

例えば、ユーザが「今週の天気教えて」である発話を行った場合に、当該ユーザが希望出力モーダルとして、"常に音声読み上げを希望"を登録していた場合を想定する。

このとき、例えば、スマートスピーカ１０Ａ−１は、出力モーダルとして"音声"を含んでいるため、自機器として動作し、「週間天気です。月曜から水曜は晴れ、金曜と土曜は雨が降るでしょう 最高気温は、・・・」であるテキストを音声読み上げし、希望出力モーダルに対応したスピーカ１０２−２から出力する。

このように、音声読み上げを希望するユーザに対し、音声読み上げ可能な自機器が対応する場合には、機器連携を行わずに、自機器が音声読み上げで情報を出力することになる。なお、この例では、スマートスピーカ１０Ａ−１が音声読み上げを行う場合を例示したが、例えば環境情報等に応じてスマートフォン１０−２又はテレビ受像機１０−３が音声読み上げを行ってもよい。

（ｂ）音声読み上げ可能な連携機器に出力を依頼するケース
図１０において、洗濯機１０−４と、冷蔵庫１０−５は、出力モーダルとして"電子音"を含むが、"音声"を含んでおらず、情報の音声読み上げが可能な機器ではない。

例えば、洗濯機１０−４で洗濯が終了した場合、この洗濯を行っているユーザが、希望出力モーダルとして、"常に音声読み上げを希望"を登録していた場合を想定する。

このとき、洗濯機１０Ａ−４は、自機器として動作するが、出力モーダルとして"音声"を含んでいないため、連携機器情報テーブルを参照して、出力モーダルとして"音声"を含む連携機器として、スマートスピーカ１０Ｂ−１を決定する。洗濯機１０Ａ−４は、洗濯が終了した旨を出力するための出力命令を、ホームネットワーク３０を介してスマートスピーカ１０Ｂ−１に送信する。

これにより、スマートスピーカ１０Ｂ−１は、洗濯機１０Ａ−４から送信されてくる出力命令を受信し、「洗濯が終了しました」であるテキストを音声読み上げし、希望出力モーダルに対応したスピーカ１０２−２から出力する。

このように、音声読み上げを希望するユーザに対し、音声読み上げができない自機器が対応する場合には、機器連携を行って、自機器から連携機器に出力を依頼することで、連携機器が音声読み上げで情報を出力することになる。

（ｃ）画面出力可能な自機器が出力するケース
図１１において、スマートフォン１０−２と、テレビ受像機１０−３と、スマートウォッチ１０−６は、出力モーダルとして"画面"を含み、情報の画面出力が可能な機器である。

例えば、ユーザが「今週の天気教えて」である発話を行った場合に、当該ユーザが希望出力モーダルとして、"常に画面出力を希望"を登録していた場合を想定する。

このとき、例えば、テレビ受像機１０Ａ−３は、出力モーダルとして"画面"を含んでいるため、自機器として動作し、週間天気に関する情報を、出力希望モーダルに対応したディスプレイ１０２−１から出力する。

このように、画面出力を希望するユーザに対し、画面出力可能な自機器が対応する場合には、機器連携を行わずに、自機器が画面出力で情報を出力することになる。なお、この例では、テレビ受像機１０−３が画面出力を行う場合を例示したが、例えば環境情報等に応じてスマートフォン１０−２又はスマートウォッチ１０−６が画面出力を行ってもよい。

（ｄ）画面出力可能な連携機器に出力を依頼するケース
図１２において、スマートスピーカ１０−１は、出力モーダルとして"音声"を含むが、"画面"を含んでおらず、情報の画面出力が可能な機器ではない。

例えば、ユーザが「今週の天気教えて」である発話を行った場合に、当該ユーザが希望出力モーダルとして、"常に画面出力を希望"を登録していた場合を想定する。

このとき、スマートスピーカ１０Ａ−１は、自機器として動作するが、出力モーダルとして"画面"を含んでいないため、連携機器情報テーブルを参照して、出力モーダルとして"画面"を含む連携機器として、テレビ受像機１０Ｂ−３を決定する。スマートスピーカ１０Ａ−１は、週間天気に関する情報を出力するための出力命令を、ホームネットワーク３０を介してテレビ受像機１０Ｂ−３に送信する。

これにより、テレビ受像機１０Ｂ−３は、スマートスピーカ１０Ａ−１から送信されてくる出力命令を受信し、週間天気に関する情報を、出力希望モーダルに対応したディスプレイ１０２−１から出力する。

このように、画面出力を希望するユーザに対し、画面出力をできない自機器が対応する場合には、機器連携を行って、自機器から連携機器に出力を依頼することで、連携機器が画面出力で情報を出力することになる。

以上のように、本技術では、ある機器（自機器）が、他の機器（連携機器）の出力モーダルを借りることで、出力モーダルが限られた機器であっても、機器連携によって、ユーザごとに最適な出力モーダルで情報を出力することができる。

すなわち、アクセシビリティを考慮したり、最適な出力モーダルを選択したりすることは、一般的に行われているが、その機器自体に画面出力や音声読み上げなどの出力モーダルが備わっていることが前提であったため、特に家電機器などでは、出力モーダルが限られていることもあり、その場合にアクセシビリティの設定が困難であった。

特に、電子機器１０を使用するユーザの中には、視覚や聴覚など身体に障がいがある人や、子供やお年寄りなど、アクセシビリティへの配慮が必要なユーザが存在する。これらのユーザにとっては、電子機器１０の出力モーダルが限られていると、機器からのフィードバックを適切に受け取れない可能性がある。

例えば、視覚に障がいを持つユーザが、出力モーダルとして"画面"のみを有する機器に対し、週間天気を問い合わせた場合に、週間天気に関する情報が画面出力のみで出力されると、当該ユーザは、画面に表示された情報を確認することができない。それに対し、本技術では、出力モーダルとして"画面"のみを有する機器（自機器）であっても、他の機器（連携機器）の出力モーダルを借りて、週間天気を音声で出力できるため、アクセシビリティへの十分な配慮が可能となる。

また、例えば、聴覚に障がいを持つユーザに対し、出力モーダルとして"音声"のみを有する機器からメッセージが音声読み上げされた場合、当該ユーザは、読み上げられた音声を確認することができない。それに対し、本技術では、出力モーダルとして"音声"のみを有する機器（自機器）であっても、他の機器（連携機器）の出力モーダルを借りて、週間天気に関する情報を画面出力できる。

次に、本技術を適用した電子機器を用いた様々なユースケースの例を説明する。

（連携機器選択処理の流れ）
まず、図１３のフローチャートを参照して、電子機器１０Ａ（の処理部１００）により実行される連携機器選択処理の流れを説明する。

この連携機器選択処理は、図５のステップＳ１６に対応する処理であって、ユーザが希望する出力モーダルを有する連携機器が複数存在する場合に、それらの連携機器の中から、出力先の連携機器を選択する処理である。

ここでは、ユーザが希望する出力モーダル（例えば画面出力や音声読み上げ等）を有する連携機器として、スマートフォン１０Ｂ−２とテレビ受像機１０Ｂ−３の２つの機器が存在する場合を例示する。

ただし、デフォルトの出力先としてテレビ受像機１０Ｂ−３が設定されているため、ここでは、状況に応じてスマートフォン１０Ｂ−２が出力先として選択されることになる。さらに、情報を受け取るユーザを、ユーザＡと記載している。

ステップＳ３１において、出力モーダル決定部１２２は、環境情報等の情報に基づいて、テレビ受像機１０Ｂ−３とスマートフォン１０Ｂ−２のそれぞれで、ユーザＡとの距離に関する距離情報を取得する。

ここでは、テレビ受像機１０Ｂ−３とユーザＡとの距離情報、及びスマートフォン１０Ｂ−２とユーザＡとの距離情報がそれぞれ取得されるが、この距離情報は、例えば、自機器としての電子機器１０Ａが算出してもよいし、あるいは他の電子機器１０から取得してもよい。

ステップＳ３２において、出力モーダル決定部１２２は、距離情報に基づいて、テレビ受像機１０Ｂ−３の所定の範囲内（例えば半径５ｍ以内）にユーザＡが存在するかどうかを判定する。なお、半径５ｍ以内等の所定の範囲は、設計者やユーザにより適宜設定可能である。

ステップＳ３２の判定処理で、テレビ受像機１０Ｂ−３の所定の範囲内にユーザＡが存在すると判定された場合、処理は、ステップＳ３３に進められる。

ステップＳ３３において、出力モーダル決定部１２２は、画像情報や環境情報等の情報に基づいて、テレビ受像機１０Ｂ−３の周辺（例えば前方の位置）にはユーザＡしかいないかどうかを判定する。

ステップＳ３３の判定処理で、その周辺にはユーザＡしかいないと判定された場合、処理は、ステップＳ３４に進められる。

ステップＳ３４において、出力モーダル決定部１２２は、出力先の連携機器として、テレビ受像機１０Ｂ−３を選択し、ホームネットワーク３０を介して出力命令を送信することで、テレビ受像機１０Ｂ−３から詳細情報を出力（例えば画面出力）する。これにより、ユーザＡは、例えばテレビ受像機１０Ｂ−３に表示された詳細情報を見ることができる。

また、ステップＳ３３の判定処理で、その周辺にユーザＡ以外の他の人がいると判定された場合、処理は、ステップＳ３５，Ｓ３６に進められる。

すなわち、出力モーダル決定部１２２は、出力命令を、ホームネットワーク３０を介してテレビ受像機１０Ｂ−３に送信することで、テレビ受像機１０Ｂ−３からユーザＡに対し、スマートフォン１０Ｂ−２を見るように促す（Ｓ３５）。また、出力モーダル決定部１２２は、出力命令を、ホームネットワーク３０を介してスマートフォン１０Ｂ−２に送信することで、ユーザＡの所持するスマートフォン１０Ｂ−２から詳細情報を出力（画面出力）する（Ｓ３６）。

このように、他の人がいる前で、ユーザＡの情報を出力（画面出力）するのを避けるために、テレビ受像機１０Ｂ−３の出力は簡単な通知にとどめて、情報の詳細は、ユーザＡの所持するスマートフォン１０Ｂ−２から出力（画面出力）されるようにしている。

一方で、ステップＳ３２の判定処理で、テレビ受像機１０Ｂ−３の所定の範囲内にユーザＡが存在しないと判定された場合、処理は、ステップＳ３７に進められる。

ステップＳ３７において、出力モーダル決定部１２２は、距離情報に基づいて、スマートフォン１０Ｂ−２の所定の範囲内（例えば半径５ｍ以内）にユーザＡが存在するかどうかを判定する。なお、半径５ｍ以内等の所定の範囲は、設計者やユーザにより適宜設定可能である。

ステップＳ３７の判定処理で、スマートフォン１０Ｂ−２の所定の範囲内にユーザＡが存在すると判定された場合、処理は、ステップＳ３６に進められる。

ステップＳ３６において、出力モーダル決定部１２２は、出力命令を、ホームネットワーク３０を介してスマートフォン１０Ｂ−２に送信することで、ユーザＡの所持するスマートフォン１０Ｂ−２から詳細情報を出力（画面出力）する。

また、ステップＳ３７の判定処理で、スマートフォン１０Ｂ−２の所定の範囲内にユーザＡが存在しないと判定された場合、処理は、ステップＳ３８に進められる。

ステップＳ３８において、出力モーダル決定部１２２は、出力命令を、ホームネットワーク３０を介してテレビ受像機１０Ｂ−３に送信することで、テレビ受像機１０Ｂ−３から概要情報を出力（画面出力）する。

すなわち、この場合には、テレビ受像機１０Ｂ−３とスマートフォン１０Ｂ−２のどちらの機器も、ユーザＡから遠い位置にあるため、デフォルトの出力先として設定されているテレビ受像機１０Ｂ−３から、情報の概要のみが出力されるようにしている。

ステップＳ３４，Ｓ３５，Ｓ３６，又はＳ３８の処理が終了すると、連携機器選択処理は終了される。

以上、連携機器選択処理の流れを説明した。この連携機器選択処理では、同一の出力モーダルを有する連携機器が複数存在する場合には、ユーザの周辺の環境をセンシングして最適な連携機器を選択することができる。

ここで、複数の連携機器の中から最適な連携機器を選択するに際しては、あらかじめ何らかのルールで機器の優先順位を決めておくことができる。

例えば、上述したように、デフォルトの出力先としてテレビ受像機１０Ｂ−３を設定しておくことで、ユーザが希望する出力モーダルとして、画面出力や音声読み上げが設定されている場合には、まず、テレビ受像機１０Ｂ−３から情報を出力することになる。あるいは、例えば、ユーザが希望する出力モーダルを有する連携機器が複数存在する場合には、連携機器情報テーブル（図７）に格納された機器IDの若い順に機器を選択することができる。

また、複数の連携機器の中から最適な連携機器を選択するに際しては、音声情報、画像情報、環境情報等の各種の情報を用いることができる。

例えば、ユーザの近くに機器が存在するかどうかの情報を、連携機器の選択の際に加味する場合には、例えば、画像情報や環境情報（センシング情報を含む）などの情報を用い、ユーザと機器との位置関係を算出すればよい。また、例えば、機器を使用しているのが誰かの情報を加味する場合、画像情報や音声情報を用い、顔や声によるユーザ認識を行うことができる。

さらに、センシング情報に基づき、例えばユーザの顔向きや視線を示す情報を算出することで、ユーザの視界に機器が入っているか、又は機器を注目しているかなどの情報を、連携機器の選択の際に加味することができる。また、通知する情報（メッセージ）の内容を加味してもよい。例えば、個人情報を含む情報であれば、他のユーザに見られたくない又は聞かれたくない可能性があるため、それを考慮して連携機器を選択する必要がある。

また、ユーザの希望する出力モーダルを加味する場合、例えば、画面出力を希望していれば、ユーザの視界にディスプレイが入っていることが重要であり、画像情報や環境情報等の情報に基づき、ユーザの視界にある連携機器（のディスプレイ）を優先的に選択することができる。さらに、例えば、ユーザが音声読み上げを希望していれば、連携機器（のスピーカ）から出力される音声が、ユーザの耳に届く距離、音量であることが重要であり、音声情報や画像情報、環境情報等の情報に基づき、ユーザの近くにある連携機器（のスピーカ）を優先的に選択することができる。

具体的には、ユーザの自宅において、ある家電機器（自機器）が、音声読み上げ可能な連携機器として、リビングに設置されたテレビ受像機１０Ｂ−３と、寝室に設置されたスマートスピーカ１０Ｂ−１に対し、情報の出力を依頼できる場合を想定する。このとき、ユーザは、希望出力モーダルとして音声読み上げを設定している。

この場合において、ユーザがリビングにいるときには、テレビ受像機１０Ｂ−３に内蔵された画像センサ１０３−２によって、その様子が撮影され、テレビ受像機１０Ｂ−３が連携機器として選択される。これにより、リビング内で、ユーザは、テレビ受像機１０Ｂ−３により読み上げられた音声の内容（情報）を確認することができる。

（第２候補モーダル選択処理の流れ）
次に、図１４のフローチャートを参照して、電子機器１０Ａ（の処理部１００）により実行される第２候補モーダル選択処理の流れを説明する。

ここでは、自機器としてのスマートスピーカ１０Ａ−１が、連携機器としてテレビ受像機１０Ｂ−３を選択し、テレビ受像機１０Ｂ−３から情報を出力（例えば画面出力）したいが、ユーザＡがテレビ受像機１０Ｂ−３の近くにいない場面を想定する。ただし、このとき、第２候補の出力モーダルとして"光"（発光パターンで通知）が設定されている。

ステップＳ５１において、出力モーダル決定部１２２は、環境情報等の情報に基づいて、テレビ受像機１０Ｂ−３とユーザＡとの距離に関する距離情報を取得する。この距離情報は、自機器としてのスマートスピーカ１０Ａ−１が算出してもよいし、あるいはテレビ受像機１０Ｂ−３等の他の電子機器１０から取得してもよい。

ステップＳ５２において、出力モーダル決定部１２２は、距離情報に基づいて、テレビ受像機１０Ｂ−３の所定の範囲内（例えば半径５ｍ以内）にユーザＡが存在するかどうかを判定する。

ステップＳ５２の判定処理で、テレビ受像機１０Ｂ−３の所定の範囲内にユーザＡが存在すると判定された場合、処理は、ステップＳ５３に進められ、テレビ受像機１０Ｂ−３から情報を出力（画面出力）する。これにより、ユーザＡは、例えばテレビ受像機１０Ｂ−３に表示された情報を見ることができる。

一方で、ステップＳ５２の判定処理で、テレビ受像機１０Ｂ−３の所定の範囲内にユーザＡが存在しないと判定された場合、処理は、ステップＳ５４に進められる。

ステップＳ５４において、出力モーダル決定部１２２は、環境情報等の情報から得られる距離情報に基づいて、スマートスピーカ１０Ａ−１の所定の範囲内（例えば半径５ｍ以内）にユーザＡが存在するかどうかを判定する。

ここでは、"光"である第２候補の出力モーダルを有する機器として、スマートスピーカ１０Ａ−１とスマートウォッチ１０−６が設定されているが、自機器としてのスマートスピーカ１０−１Ａが、連携機器としてのテレビ受像機１０Ｂ−３を通じて情報を出力（画面出力）しようとしているため、先にスマートスピーカ１０Ａ−１のLEDで通知可能かがチェックされる。

ステップＳ５４の判定処理で、スマートスピーカ１０Ａ−１の所定の範囲内にユーザＡが存在すると判定された場合、処理は、ステップＳ５５に進められ、ステップＳ５５，Ｓ５３の処理が行われる。

すなわち、出力モーダル決定部１２２は、第２候補の出力モーダルを有する機器として自機器を選択し、出力命令をランプ１０２−５に供給することで、スマートスピーカ１０Ａ−１のLEDを点灯して、ユーザＡに対し、テレビ受像機１０Ｂ−３を見るように促す（Ｓ５５）。

また、出力モーダル決定部１２２は、出力命令を、ホームネットワーク３０を介してテレビ受像機１０Ｂ−３に送信することで、テレビ受像機１０Ｂ−３から情報を出力（画面出力）する（Ｓ５３）。これにより、ユーザＡは、例えば、スマートスピーカ１０Ａ−１のLEDの点灯を確認したとき、その点灯に反応して、テレビ受像機１０Ｂ−３に表示された情報を見ることができる。

また、ステップＳ５４の判定処理で、スマートスピーカ１０Ａ−１の所定の範囲内にユーザＡが存在しないと判定された場合、処理は、ステップＳ５６に進められる。

ステップＳ５６において、出力モーダル決定部１２２は、環境情報等の情報から得られる距離情報に基づいて、スマートウォッチ１０−６の所定の範囲内（例えば半径５ｍ以内）にユーザＡが存在するかどうかを判定する。

ここでは、"光"である第２候補の出力モーダルを有する機器として、先にチェックされたスマートスピーカ１０Ａ−１ではLEDでの通知ができないため、続いて、スマートウォッチ１０−６のLEDで通知可能かがチェックされる。

ステップＳ５６の判定処理で、スマートウォッチ１０−６の所定の範囲内にユーザＡが存在すると判定された場合、処理は、ステップＳ５７に進められ、ステップＳ５７，Ｓ５３の処理が行われる。

すなわち、出力モーダル決定部１２２は、第２候補の出力モーダルを有する出力先の連携機器として、スマートウォッチ１０Ｂ−６を選択し、ホームネットワーク３０を介して出力命令を送信することで、スマートウォッチ１０Ｂ−６のLEDを点灯して、ユーザＡに対し、テレビ受像機１０Ｂ−３を見るように促す（Ｓ５７）。

また、出力モーダル決定部１２２は、出力命令を、ホームネットワーク３０を介してテレビ受像機１０Ｂ−３に送信することで、テレビ受像機１０Ｂ−３から情報を出力（画面出力）する（Ｓ５３）。これにより、ユーザＡは、例えば、スマートウォッチ１０Ｂ−６のLEDの点灯を確認したとき、その点灯に反応して、テレビ受像機１０Ｂ−３に表示された情報を見ることができる。

また、ステップＳ５６の判定処理で、スマートウォッチ１０Ｂ−６の所定の範囲内にユーザＡが存在しないと判定された場合、処理は、ステップＳ５３に進められ、テレビ受像機１０Ｂ−３から情報を出力（画面出力）する。すなわち、この場合には、第２候補の出力モーダルによっても、ユーザへの通知が困難であるため、テレビ受像機１０Ｂ−３による画面出力のみでの出力が行われる。

ステップＳ５３の処理が終了すると、第２候補モーダル選択処理は終了される。

以上、第２候補モーダル選択処理の流れを説明した。この第２候補モーダル選択処理では、ユーザが希望出力モーダルを設定する際に、第２候補の出力モーダルを設定しておくことで、希望出力モーダルを有する連携機器がユーザの近くに存在しない場合でも、第２候補の出力モーダルを有する連携機器から情報を出力することができる。

上述した例では、希望出力モーダルとして"画面出力"を設定した場合に、第２候補の出力モーダルとして、"光"を設定しているが、これに限らず、例えば、希望出力モーダルとして"音声読み上げ"を設定した場合に、第２候補の出力モーダルとして、"電子音"（音の高さやパターンで通知）を設定するなど、任意の組み合わせを用いることができる。

ここで、第２候補の出力モーダルを選択するために必要な情報としては、例えば、次のような情報を含めることができる。

すなわち、画像情報や環境情報等の情報に基づき、ユーザと、当該ユーザが希望する出力モーダルを有する連携機器との位置関係を示す情報を加味することができる。さらには、ユーザと、自機器（情報を出力したい機器）との位置関係や、ユーザと、第２候補の出力モーダルを有する連携機器との位置関係を示す情報を加味することができる。

なお、通知する情報の内容としては、重要度が高い場合には、ユーザが近くに存在しなくても、当該通知に気付かせる必要がある。

また、ユーザが希望する出力モーダルを有する連携機器がどれもユーザの近くにいない場合に、第２候補の出力モーダルを設定していないときでも、例えば、次のような対応をとることができる。

すなわち、機器がユーザに対して自発的に情報を通知する場合に、ユーザがその機器の近くにいない可能性がある。この場合には、複数の機器が連携してユーザの気を引き、ユーザに対して積極的に情報を取りに行かせることができる。

例えば、画面出力を希望出力モーダルとして設定しているユーザが、スマートフォンを置いたまま、テレビ受像機が設置された部屋から出ていった状態で、機器がユーザに情報を通知しようとしている場面を想定する。つまり、この場面では、ユーザの近くに、画面出力できる機器が存在していない。

このとき、ユーザの移動先の部屋には、スマートスピーカが設置されており、このスマートスピーカが、例えばLEDを特異なパターンで点灯させることで、ユーザに対して情報の通知の存在を認識させて、リビングに戻るように促す。これにより、リビングに戻ったユーザは、スマートフォン又はテレビ受像機から出力される画面出力を確認することができる。

また、動物型や人型の家庭用ロボットや、ロボット掃除機などの自走可能な機器と連携して、上記のように、情報を通知しようとしている機器の近くにユーザがいない場合に、例えば、犬型のロボットがユーザを追いかけて情報の通知の存在を認識させる、といったことも可能である。

（最適出力モーダル選択処理の流れ）
次に、図１５及び図１６のフローチャートを参照して、電子機器１０Ａ（の処理部１００）により実行される最適出力モーダル選択処理の流れを説明する。

なお、この最適出力モーダル選択処理は、例えば、図５の出力モーダル決定処理で、ステップＳ１１の判定処理で、情報の出力先は登録済みのユーザではないと判定された場合（図５のＳ１１の「No」）、又はステップＳ１２の判定処理で、希望の出力モーダルが登録されていないと判定された場合（図５のＳ１２の「No」）に実行される。

すなわち、図５の出力モーダル決定処理では、ユーザ登録されていない場合や、希望出力モーダルが設定されていない場合には、ステップＳ１７の処理で、デフォルトの出力モーダルが選択されていたが、これらの場合でも、画像情報や環境情報等の情報を用いて、最適な出力モーダルが選択されるようにする。

ここでは、まず、情報の出力先が未登録ユーザである、又は登録ユーザであっても希望出力モーダルが設定されていない場合に、ユーザとその周辺の状態から最適な出力モーダルを選択する最適出力モーダル選択処理の流れを、図１５のフローチャートを参照しながら説明する。

ステップＳ７１において、環境識別部１２３は、環境情報としてユーザとその周辺のセンシング情報を取得する。これにより、環境識別部１２３では、取得したセンシング情報に基づき、ユーザとその周辺の状態を識別することができる。

ステップＳ７２において、環境識別部１２３は、環境の識別結果に基づいて、ユーザが画面を見ることができるか判定する。

ステップＳ７２の判定処理で、ユーザが画面を見ることができると判定された場合、処理は、ステップＳ７３に進められる。

ステップＳ７３において、出力モーダル決定部１２２は、出力命令を、ディスプレイ１０２−１に供給し、画面出力で情報を出力する。これにより、ユーザが画面を見られる状態である場合には、画面出力で情報が出力される。

なお、このとき、自機器に画面出力機能がない場合には、機器連携を行い、ホームネットワーク３０を介して出力命令を連携機器に送信することで、連携機器から情報を画面出力する。

一方で、ステップＳ７２の判定処理で、ユーザが画面を見ることができないと判定された場合、処理は、ステップＳ７４に進められる。すなわち、例えば、ユーザが本に注目している場合には、情報を画面出力しても、気付かないことが想定されるため、ここでは、音声読み上げが選択されるようにする。

ステップＳ７４において、環境識別部１２３は、環境の識別結果に基づいて、ユーザ周辺のノイズレベルが所定の閾値よりも高いかどうかを判定する。

ステップＳ７４の判定処理で、ユーザ周辺のノイズレベルが閾値よりも高いと判定された場合、処理は、ステップＳ７５に進められる。

ステップＳ７５において、出力モーダル決定部１２２は、出力命令を、ディスプレイ１０２−１とスピーカ１０２−２にそれぞれ供給し、音声読み上げ画面出力とで情報を出力する。なお、このとき、自機器に音声読み上げと画面表示機能のうち、少なくとも一方の機能がない場合には、機器連携を行い、出力命令を連携機器に送信することで、連携機器から情報を音声読み上げ又は画面出力で出力する。

また、ステップＳ７４の判定処理で、ユーザ周辺のノイズレベルが閾値よりも低いと判定された場合、処理は、ステップＳ７６に進められる。

ステップＳ７６において、出力モーダル決定部１２２は、出力命令を、スピーカ１０２−２に供給し、音声読み上げで情報を出力する。なお、このとき、自機器に音声読み上げ機能がない場合には、機器連携を行い、出力命令を連携機器に送信することで、連携機器から情報を音声読み上げで出力する。

これにより、周囲のノイズレベルが低い場合には、ユーザが音声を聞き取りやすいため、音声読み上げのみで情報を出力する（Ｓ７６）。一方で、例えば、ユーザがヘッドフォンをしていて音を聞き取れなかった場合や、周囲のノイズレベルが高い場合には、音声読み上げよりも、画面出力を選択したりして、複数の出力モーダルで情報を出力することも可能とされる（Ｓ７５）。

ステップＳ７３，Ｓ７５，又はＳ７６の処理のいずれかが終了すると、最適出力モーダル選択処理は終了する。

次に、情報の出力先が未登録ユーザである、又は登録ユーザであっても希望出力モーダルが設定されていない場合に、ユーザ属性から最適な出力モーダルを選択する最適出力モーダル選択処理の流れを、図１６のフローチャートを参照しながら説明する。

ステップＳ９１において、ユーザ識別部１２１は、画像情報や音声情報に基づいて、ユーザの属性を推定する。このユーザの属性としては、例えば、年齢や性別などの情報を含む。

ステップＳ９２において、出力モーダル決定部１２２は、ユーザ属性・出力モーダル対応テーブルを参照する。例えば、このユーザ属性・出力モーダル対応テーブルは、インターネット５０を介してサーバ４０により提供される。

ステップＳ９３において、出力モーダル決定部１２２は、ユーザ属性・出力モーダル対応テーブルに、推定したユーザ属性に対応した出力モーダルの変更点が記載されているかどうかを判定する。

ステップＳ９３の判定処理で、推定したユーザ属性に対応した出力モーダルの変更点が記載されていると判定された場合、処理は、ステップＳ９４に進められる。

ステップＳ９４において、出力モーダル決定部１２２は、ユーザ属性・出力モーダル対応テーブルに記載された出力モーダルの変更点を反映して情報を出力する。

ここで、図１７は、ユーザ属性・出力モーダル対応テーブルの例を示している。このユーザ属性・出力モーダル対応テーブルでは、年齢や性別等のユーザ属性ごとに、出力モーダル変更点が格納されている。

具体的には、"推定年齢が70歳以上"であるユーザ属性に対し、出力モーダル変更点として、"電子音より音声読み上げで出力する"と、"このとき、音量を1.2倍にする"が登録されている。また、"推定年齢が10歳未満"であるユーザ属性に対し、出力モーダル変更点として、"画面出力する場合は、漢字ではなく、ひらがなを使う"が登録されている。

このように、例えば、未登録又は希望出力モーダルを設定していないユーザの属性が、高齢者（例えば70歳以上）である推定（認識）された場合に、音声読み上げを行うときには、その音量を通常時の1.2倍にして出力することになる。なお、音量を何倍にするかなどの設定は、例えば、設計者により決定される。

図１６の説明に戻り、ステップＳ９３の判定処理で、推定したユーザ属性に対応した出力モーダルの変更点が記載されていないと判定された場合、処理は、ステップＳ９５に進められる。ステップＳ９５において、出力モーダル決定部１２２は、デフォルトの出力モーダルで情報を出力する。

ステップＳ９４，又はＳ９５の処理のいずれかが終了すると、最適出力モーダル選択処理は終了する。

以上、最適出力モーダル選択処理の流れを説明した。この最適出力モーダル選択処理では、未登録又は希望出力モーダルを設定していないユーザに対し、デフォルトの出力モーダルの代わりに、より最適な出力モーダルを選択することができる。

ここで、最適な出力モーダルを選択するために必要な情報としては、例えば、次のような情報を含めることができる。すなわち、ユーザの行動履歴（例えば、視線や顔向きのトラッキング、物体認識等）に関する情報や、年齢や性別等のユーザの属性の推定結果の情報、周辺環境の認識（例えば周辺の雑音状況等）に関する情報を含めることができる。

（複数人で使用する機器の例）
例えば、リビングに設置されたテレビ受像機１０−３など、複数の出力モーダルが選択可能であり、かつ、複数人（例えば家族等）で１台の電子機器１０を使用する場合には、ユーザごとに優先順位をつけて、その優先順位に従った希望出力モーダルでの出力を行うことができる。

一方で、電子メールやメッセージ等の通知、明日の天気、今日の予定などの一時的な通知に関しては、連携機器の使用状況に応じて情報の出力先を振り分けることが可能である。

例えば、家族全員でテレビを見る場合の出力モーダルは、図１８に示したユーザ情報テーブルを参照して選択することができる。すなわち、図１８のユーザ情報テーブルでは、ユーザIDごとの項目として、優先度が追加され、ユキ、ヒロシ、ユウタ、ユウゾウの順に優先度が設定されている。

ここでは、ユーザID 02のユキ（常に画面出力を希望）の優先度が最も高く設定されているため、常時字幕モードがオンになる。なお、リビングにユキがいない場合には、その次に優先度が高いユーザID 01のヒロシの設定が優先される。

また、例えば、ユキがテレビを視聴中である場合、ユキへの情報の通知は、画面出力、例えば、画面に情報がポップアップして表示される。一方で、ユキ以外の家族がテレビを視聴している場合には、ユキへの情報の通知は、例えばユキが所持するスマートフォン１０−２の画面出力で行われる。

（ユーザ情報設定画面の例）
上述したように、ユーザ情報は、電子機器１０の購入時などのタイミングで登録されるが、電子機器１０に、設定画面を表示させることで行われる。図１９は、スマートフォン１０−２のディスプレイ１０２−１に表示されたユーザ情報設定画面２１０の例を示している。

図１９において、ユーザ情報設定画面２１０には、ユーザ情報テーブルの項目に対応して、ユーザ名、性別、年齢、希望出力モーダルの項目が表示されており、それらの項目に応じた情報を入力又は選択する操作などを行うことで、ユーザ情報が、サーバ４０のユーザ情報記憶部４０１（のユーザ情報テーブル）に登録される。

（連携確認情報の例）
また、機器連携時において、主機器からの依頼に応じて連携機器から情報を出力する場合には、ユーザに対して、連携機器からの情報の出力であることを確認させるために、連携確認情報を通知してもよい。図２０は、機器連携時における連携確認情報の例を示している。

図２０において、例えば、テレビ受像機１０−３は、主機器からの依頼に応じて音声読み上げで情報を出力している。このとき、テレビ受像機１０−３は、連携確認情報２２０として、主機器からの依頼に応じて音声読み上げを行っていることを通知するための情報（例えば耳のアイコン等）を表示する。これにより、ユーザは、連携確認情報２２０を見て、テレビ受像機１０−３が主機器からの依頼に応じて音声読み上げを実施していることを確認することができる。

（システムの他の構成）
図２１は、本技術を適用した電子機器を含むシステムの一実施の形態の他の構成の例を示している。

図２１において、電子機器１０−１乃至１０−Ｎ（Ｎ：２以上の整数）は、ホームネットワーク３０を介して相互に接続されている。

電子機器１０−１は、情報機器等の機器として構成されるが、ユーザ情報記憶部４０１及び連携機器情報記憶部４０２を記憶している。電子機器１０−１は、電子機器１０−２乃至１０−Ｎのいずれかからの要求に応じて、ホームネットワーク３０を介して、ユーザ情報又は連携機器情報を送信する。

電子機器１０−２乃至１０−Ｎでは、ホームネットワーク３０を介して電子機器１０−１から受信したユーザ情報及び連携機器情報に基づいて、上述した出力モーダル決定処理（図５）等の処理を行うことができる。

なお、電子機器１０−１は、ユーザ情報記憶部４０１及び連携機器情報記憶部４０２に記憶されているユーザ情報及び連携機器情報を読み出して、上述した出力モーダル決定処理（図５）等の処理を行うことができる。

また、電子機器１０−１は、電子機器１０−２乃至１０−Ｎの代わりに、上述した出力モーダル決定処理（図５）等の処理を実行し、その処理結果を、電子機器１０−２乃至１０−Ｎに送信してもよい。さらに、電子機器１０−１は、データベースとしてのユーザ情報記憶部４０１及び連携機器情報記憶部４０２を管理するサーバとして構成されてもよい。

このように、電子機器１０−１乃至１０−Ｎのうち、所定の電子機器１０をホストとして、他の電子機器１０がホストに対して問い合わせることで、ユーザ情報と連携機器情報が取得され、機器連携が行われる。

なお、上述した説明では、ローカル側の電子機器１０Ａにおいて、処理部１００が、ユーザ識別部１２１、出力モーダル決定部１２２、及び環境識別部１２３を有するとして説明したが、ユーザ識別部１２１乃至環境識別部１２３の機能の全部又は一部が、クラウド側のサーバ４０に組み込まれてもよい。すなわち、ユーザ識別部１２１乃至環境識別部１２３のそれぞれは、ローカル側の電子機器１０Ａと、クラウド側のサーバ４０のうち、どちらの機器に組み込まれてもよい。

また、上述した説明において、音声AIアシスタントサービスとは、ユーザの発話の意図を理解し、その内容に応じた適切な出力を提供するサービスである。さらに、スマートスピーカとは、対話型の音声操作に対応したAIアシスタント機能を有するスピーカである。スマートウォッチとは、小型のディスプレイとCPUを搭載した多機能な腕時計型のウェアラブルデバイスである。

＜２．システムの構成＞

以上、本技術の実施の形態について説明した。上述したように、本技術を適用した電子機器１０は、処理部１００と、入力部１０１と、出力部１０２とを含み、これらの構成要素は、１又は複数の情報処理装置によって実現される。以下、システムとして構成される電子機器１０を実現する情報処理装置の組み合わせの例について、より具体的な例とともに説明する。

（第１の例）
図２２は、本技術を適用したシステムの一実施の形態の構成の第１の例を示している。

図２２において、システム１は、情報処理装置１０を含む。処理部１００、入力部１０１、及び出力部１０２は、いずれも情報処理装置１０において実現される。情報処理装置１０は、以下で説明するように端末装置又はサーバとすることができる。

この第１の例において、情報処理装置１０は、本技術の実施の形態に係る機能の実現のためにネットワークを介して外部装置と通信しない、スタンドアロンの装置であってもよい。なお、情報処理装置１０は、他の機能のために外部装置と通信してもよく、従って必ずしもスタンドアロンの装置でなくてもよい。

入力部１０１と処理部１００との間のインターフェース１５０Ａ、及び処理部１００と出力部１０２との間のインターフェース１６０Ａは、いずれも装置内のインターフェースとすることができる。

第１の例において、情報処理装置１０は、例えば端末装置として構成される。この場合、入力部１０１は、入力装置、センサ、外部サービスから情報を取得するソフトウェアなどを含めてもよい。外部サービスから情報を取得するソフトウェアは、例えば、端末装置で実行されているサービスのアプリケーションソフトウェアからデータを取得する。

処理部１００は、端末装置が備えるプロセッサ又は処理回路がメモリ又はストレージ装置に格納されたプログラムに従って動作することによって実現される。出力部１０２は、出力装置、制御装置、外部サービスに情報を提供するソフトウェアなどを含めてもよい。外部サービスに情報を提供するソフトウェアは、例えば、端末装置で実行されているサービスのアプリケーションソフトウェアに情報を提供可能である。

あるいは、第１の例において、情報処理装置１０は、サーバであってもよい。この場合、入力部１０１は、外部サービスから情報を取得するソフトウェアを含めてもよい。外部サービスから情報を取得するソフトウェアは、例えば、外部サービスのサーバ（情報処理装置１０自身であってもよい）からデータを取得する。

処理部１００は、端末装置が備えるプロセッサがメモリ又はストレージ装置に格納されたプログラムに従って動作することによって実現される。出力部１０２は、外部サービスに情報を提供するソフトウェアなどを含めてもよい。外部サービスに情報を提供するソフトウェアは、例えば、外部サービスのサーバ（情報処理装置１０自身であってもよい）に情報を提供する。

（第２の例）
図２３は、本技術を適用したシステムの一実施の形態の構成の第２の例を示している。

図２３において、システム１は、情報処理装置１０，１１を含む。処理部１００は、情報処理装置１０において実現される。一方、入力部１０１及び出力部１０２は、情報処理装置１１において実現される。

情報処理装置１０と情報処理装置１１とは、本技術の実施の形態に係る機能を実現するために、ネットワークを介して通信する。入力部１０１と処理部１００との間のインターフェース１５０Ｂ、及び処理部１００と出力部１０２との間のインターフェース１６０Ｂは、いずれも装置間の通信インターフェースとすることができる。

第２の例において、情報処理装置１１は、例えば端末装置として構成される。この場合、入力部１０１は、上記の第１の例と同様に、入力装置、センサ、外部サービスから情報を取得するソフトウェアなどを含めてもよい。出力部１０２も、上記の第１の例と同様に、出力装置、制御装置、外部サービスに情報を提供するソフトウェアなどを含めてもよい。

あるいは、情報処理装置１１は、外部サービスとの間で情報をやりとりするためのサーバであってもよい。この場合、入力部１０１は、外部サービスから情報を取得するソフトウェアを含めてもよい。また、出力部１０２は、外部サービスに情報を提供するソフトウェアを含めてもよい。

また、第２の例において、情報処理装置１０は、サーバ又は端末装置として構成される。処理部１００は、情報処理装置１０が備えるプロセッサ又は処理回路がメモリ又はストレージ装置に格納されたプログラムに従って動作することによって実現される。

情報処理装置１０は、例えばサーバとして構成される専用の装置であってもよい。この場合、情報処理装置１０は、データセンタなどに設置されてもよいし、家庭内に設置されてもよい。

あるいは、情報処理装置１０は、他の機能については端末装置として利用可能であるが、本技術の実施の形態に係る機能に関しては入力部１０１及び出力部１０２を実現しない装置であってもよい。以下の例において、情報処理装置１０は、上記のような意味において、サーバであってもよいし、端末装置であってもよい。

ここでは、一例として、情報処理装置１１がウェアラブルデバイスであり、情報処理装置１０がウェアラブルデバイスにBluetooth（登録商標）などで接続されたモバイルデバイスであるような場合を考える。

ウェアラブルデバイスがユーザによる操作入力を受け付け（入力部１０１）、当該操作入力に基づいて送信されたリクエストに基づいてモバイルデバイスが処理を実行し（処理部１００）、処理の結果をウェアラブルデバイスから出力する（出力部１０２）ような場合、ウェアラブルデバイスは上記の第２の例における情報処理装置１１として、モバイルデバイスは情報処理装置１０として、それぞれ機能していると言える。

（第３の例）
図２４は、本技術を適用したシステムの一実施の形態の構成の第３の例を示している。

図２４において、システム１は、情報処理装置１０，１１Ａ，１１Ｂを含む。処理部１００は、情報処理装置１０において実現される。また、入力部１０１は、情報処理装置１１Ａにおいて実現される。出力部１０２は、情報処理装置１１Ｂにおいて実現される。

情報処理装置１０と情報処理装置１１Ａ，１１Ｂとは、本技術の実施の形態に係る機能を実現するために、ネットワークを介してそれぞれ通信する。入力部１０１と処理部１００との間のインターフェース１５０Ｂ、及び処理部１００と出力部１０２との間のインターフェース１６０Ｂは、いずれも装置間の通信インターフェースとすることができる。

ただし、第３の例では、情報処理装置１１Ａと情報処理装置１１Ｂとが別個の装置であるために、インターフェース１５０Ｂ，１６０Ｂは、それぞれ異なる種類のインターフェースを含めてもよい。

第３の例において、情報処理装置１１Ａ，１１Ｂは、例えば端末装置として構成される。この場合、入力部１０１は、上記の第１の例と同様に、入力装置、センサ、外部サービスから情報を取得するソフトウェアなどを含めてもよい。出力部１０２も、上記の第１の例と同様に、出力装置、制御装置、外部サービスに情報を提供するソフトウェアなどを含めてもよい。

あるいは、情報処理装置１１Ａ，１１Ｂのうちの一方又は両方は、外部サービスからの情報の取得、及び外部サービスへの情報の提供のためのサーバであってもよい。この場合、入力部１０１は、外部サービスから情報を取得するソフトウェアを含めてもよい。また、出力部１０２は、外部サービスに情報を提供するソフトウェアを含めてもよい。

また、第３の例において、情報処理装置１０は、上記の第２の例と同様に、サーバ又は端末装置として構成される。処理部１００は、情報処理装置１０が備えるプロセッサ又は処理回路がメモリ又はストレージ装置に格納されたプログラムに従って動作することによって実現される。

上記の第３の例では、入力部１０１を実現する情報処理装置１１Ａと、出力部１０２を実現する情報処理装置１１Ｂとが別個の装置である。従って、例えば、第１のユーザが所持又は使用する端末装置である情報処理装置１１Ａによって取得された入力に基づく処理の結果を、第１のユーザとは異なる第２のユーザが所持又は使用する端末装置である情報処理装置１１Ｂから出力するといったような機能が実現できる。

また、第１のユーザが所持又は使用する端末装置である情報処理装置１１Ａによって取得された入力に基づく処理の結果を、その時点では第１のユーザの手元にない（例えば留守中の自宅に設置されている）端末装置である情報処理装置１１Ｂから出力するといったような機能も実現できる。

あるいは、情報処理装置１１Ａと情報処理装置１１Ｂは、いずれも同じユーザによって所持又は使用される端末装置であってもよい。例えば、情報処理装置１１Ａ，１１Ｂが、ユーザの異なる部位に装着されるウェアラブルデバイスである場合や、ウェアラブルデバイスとモバイルデバイスとの組み合わせであるような場合、これらのデバイスを連携させた機能をユーザに提供することができる。

（第４の例）
図２５は、本技術を適用したシステムの一実施の形態の構成の第４の例を示している。

図２５において、システム１は、情報処理装置１０，１１を含む。第４の例において、処理部１００は、情報処理装置１０及び情報処理装置１１に分散して実現される。一方で、入力部１０１及び出力部１０２は、情報処理装置１１において実現される。

情報処理装置１０と情報処理装置１１とは、本技術の実施の形態に係る機能を実現するために、ネットワークを介して通信する。

上記のように、この第４の例では、処理部１００が、情報処理装置１０と情報処理装置１１との間で分散して実現される。より具体的には、処理部１００は、情報処理装置１０で実現される処理部１００Ｂと、情報処理装置１１で実現される処理部１００Ａ，１００Ｃとを含む。

処理部１００Ａは、入力部１０１からインターフェース１５０Ａを介して提供される情報に基づいて処理を実行し、処理の結果を処理部１００Ｂに提供する。この意味において、処理部１００Ａは、前処理を実行するとも言える。

一方、処理部１００Ｃは、処理部１００Ｂから提供される情報に基づいて処理を実行し、処理の結果を、インターフェース１６０Ａを介して出力部１０２に提供する。この意味において、処理部１００Ｃは、後処理を実行するとも言える。

なお、図示された例では、前処理を実行する処理部１００Ａと後処理を実行する処理部１００Ｃとが両方示されているが、実際にはこのうちのいずれか一方だけが存在してもよい。

つまり、情報処理装置１１は、前処理を実行する処理部１００Ａを実現するが、後処理を実行する処理部１００Ｃを実現せず、処理部１００Ｂから提供される情報は、そのまま出力部１０２に提供されてもよい。同様に、情報処理装置１１は、後処理を実行する処理部１００Ｃを実現するが、前処理を実行する処理部１００Ａを実現しなくてもよい。

処理部１００Ａと処理部１００Ｂとの間、及び処理部１００Ｂと処理部１００Ｃとの間には、それぞれインターフェース１７０Ｂが介在する。インターフェース１７０Ｂは、装置間の通信インターフェースである。

一方、情報処理装置１１が処理部１００Ａを実現する場合、インターフェース１５０Ａは、装置内のインターフェースである。同様に、情報処理装置１１が処理部１００Ｃを実現する場合、インターフェース１６０Ａは、装置内のインターフェースである。

なお、上述した第４の例は、処理部１００Ａ又は処理部１００Ｃのうちの一方又は両方が、情報処理装置１１が備えるプロセッサ又は処理回路によって実現される点を除いては、上記の第２の例と同様である。つまり、情報処理装置１１は、端末装置、又は外部サービスとの間で情報をやり取りするためのサーバとして構成される。また、情報処理装置１０は、サーバ又は端末装置として構成される。

（分散型システムの例）
次に、システム１の他の構成例について、図２６を参照して説明する。図２６は、本技術を適用したシステムの一実施の形態の構成の他の具体的な例の一つとして、分散型システムを示している。

図２６においては、情報処理装置１０（又は、情報処理装置１１Ａ，１１Ｂ）がノードであって、これらの情報処理装置１０は、ネットワークを介して互いに接続している。

図２６に示した分散型システムでは、装置相互間で個別に連携動作したり、データを分散管理したり、処理を分散したりすることが可能である。これにより、処理負担の軽減、リアルタイム性の向上（応答時間や処理速度の向上）、セキュリティの担保を実現することが可能となる。

また、この分散型システムでは、分散協調的に機械学習を行うことも可能であって、大量のデータを処理することができる。

また、図２６に示す分散型システムでは、集中型システムにおけるサーバを必要とせず、互いにデータの監視を行ってその信憑性を確保することも可能である。具体的には、例えば、取引情報（台帳）を参加者全員（各情報処理装置１０）で共有して正当性を厳密に維持することができる（いわゆるブロックチェーン）。

ブロックチェーンにおいては、参加者全員の台帳を全て改ざんすることは実質的に不可能なため、より確実に信憑性を確保可能となる。また、ブロックチェーンにおいて、過去のブロックに含まれるデータを改ざんする場合、そのブロック以降のブロックに含まれるハッシュ値を全て再計算する必要があるため、処理負荷が高く実質的に不可能であるため、より確実に信憑性を確保可能となる。

また、ブロックチェーンでは、参加者全員が取引情報を共有し（分散データベース）、かかる分散データベースへの書き込みを特定の合意形成により行うため、特定の参加者による不正を防ぎ、公平性が保たれる。

＜３．コンピュータの構成＞

上述した一連の処理（例えば、図５の出力モーダル決定処理等）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。図２７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及び、ドライブ１０１０が接続されている。

入力部１００６は、マイクロフォン、キーボード、マウスなどよりなる。出力部１００７は、スピーカ、ディスプレイなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。

以上のように構成されるコンピュータでは、CPU１００１が、ROM１００２や記録部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。また、プログラムは、１のコンピュータ（プロセッサ）により処理されてもよいし、複数のコンピュータによって分散処理されてもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、上述したフローチャートに示した処理の各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本技術は、以下のような構成をとることができる。

（１）
電子機器ごとの出力モーダルに関する機器情報を取得し、
取得した前記機器情報に基づいて、複数の電子機器の中から、情報を出力する出力モーダルを有する電子機器を選択し、
選択した前記電子機器が有する出力モーダルから前記情報を出力する
処理を行う処理部を備える
情報処理装置。
（２）
前記処理部は、
ユーザに関するユーザ情報をさらに取得し、
取得した前記ユーザ情報及び前記機器情報に基づいて、前記複数の電子機器の中から、前記ユーザ情報に対応した出力モーダルを有する電子機器を選択する
前記（１）に記載の情報処理装置。
（３）
前記ユーザ情報は、前記ユーザの希望出力モーダルを含み、
前記処理部は、前記希望出力モーダルに対応した出力モーダルを有する電子機器を選択する
前記（２）に記載の情報処理装置。
（４）
前記複数の電子機器は、動作の主体となる自機器と、前記自機器と連携して動作する連携機器を含む
前記（３）に記載の情報処理装置。
（５）
前記処理部は、自機器が前記希望出力モーダルに対応した出力モーダルを有していない場合、前記希望出力モーダルに対応した出力モーダルを有する連携機器を選択する
前記（４）に記載の情報処理装置。
（６）
前記処理部は、前記希望出力モーダルに対応した出力モーダルから前記情報を出力する出力命令を、ネットワークを介して、選択した前記連携機器に送信する
前記（５）に記載の情報処理装置。
（７）
前記処理部は、
自機器が前記希望出力モーダルに対応した出力モーダルを有する場合、前記自機器を選択し、
前記出力命令を、選択した前記自機器の出力モーダルに出力する
前記（６）に記載の情報処理装置。
（８）
前記処理部は、前記希望出力モーダルに対応した出力モーダルを有する連携機器が複数選択された場合、前記ユーザの周辺をセンシングして得られるセンシング情報に基づいて、選択された複数の連携機器の中から、最適な連携機器を選択する
前記（４）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記ユーザ情報は、前記ユーザの第２候補の希望出力モーダルをさらに含み、
前記処理部は、前記希望出力モーダルに対応した出力モーダルを有する電子機器を選択できない場合に、前記第２候補の希望出力モーダルに対応した出力モーダルを有する電子機器を選択する
前記（３）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記ユーザ情報は、ユーザごとに優先度を含み、
前記処理部は、前記優先度に応じた希望出力モーダルに対応した出力モーダルを有する電子機器を選択する
前記（３）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記処理部は、
ユーザの属性を推定し、
推定した前記属性に応じて出力モーダルの内容を変更する
前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記出力モーダルは、画面フィードバック、音フィードバック、光フィードバック、振動、及び動作のうち少なくとも１つを含む
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記出力モーダルのうち少なくとも１つは、より細分化された機能を含む
前記（１２）に記載の情報処理装置。
（１４）
前記処理部は、
前記ユーザの識別情報に基づいて、前記ユーザを識別し、
識別した前記ユーザの希望出力モーダルに対応した出力モーダルを有する電子機器を選択する
前記（３）乃至（１０）のいずれかに記載の情報処理装置。
（１５）
前記複数の電子機器に含まれ、
前記自機器として動作する
前記（４）乃至（１０）のいずれかに記載の情報処理装置。
（１６）
前記機器情報及び前記ユーザ情報の少なくとも一方の情報は、インターネットを介してサーバから取得される
前記（２）乃至（１０）のいずれかに記載の情報処理装置。
（１７）
情報処理装置が、
電子機器ごとの出力モーダルに関する機器情報を取得し、
取得した前記機器情報に基づいて、複数の電子機器の中から、情報を出力する出力モーダルを有する電子機器を選択し、
選択した前記電子機器が有する出力モーダルから前記情報を出力する
情報処理方法。
（１８）
ユーザの希望出力モーダルを含むユーザ情報、及び電子機器ごとの出力モーダルに関する機器情報に基づいて、複数の電子機器の中から、前記希望出力モーダルに対応した出力モーダルを有する電子機器を選択し、前記希望出力モーダルに対応した出力モーダルから情報を出力する出力命令を選択した前記電子機器に送信する他の情報処理装置から送信された前記出力命令を、ネットワークを介して受信し、
受信した前記出力命令に基づいて、前記希望出力モーダルに対応した出力モーダルから前記情報を出力する
処理を行う処理部を備える
情報処理装置。
（１９）
前記複数の電子機器に含まれ、
動作の主体となる自機器と連携する連携機器として動作し、
前記出力命令は、前記自機器から送信される
前記（１８）に記載の情報処理装置。
（２０）
情報処理装置が、
ユーザの希望出力モーダルを含むユーザ情報、及び電子機器ごとの出力モーダルに関する機器情報に基づいて、複数の電子機器の中から、前記希望出力モーダルに対応した出力モーダルを有する電子機器を選択し、前記希望出力モーダルに対応した出力モーダルから情報を出力する出力命令を選択した前記電子機器に送信する他の情報処理装置から送信された前記出力命令を、ネットワークを介して受信し、
受信した前記出力命令に基づいて、前記希望出力モーダルに対応した出力モーダルから前記情報を出力する
情報処理方法。

１０，１０−１乃至１０−Ｎ 電子機器， １０Ａ 自機器， １０Ｂ 連携機器， ２０ ルータ， ３０ ホームネットワーク， ４０ サーバ， ５０ インターネット， １００ 処理部， １０１ 入力部， １０１−１ マイクロフォン， １０１−２ ボタン， １０２−１ ディスプレイ， １０２−２ スピーカ， １０２−３ 電子音ブザー， １０２−４ 振動素子， １０２−５ ランプ， １０２ 出力部， １０３ センサ部， １０４ 通信部， １０５ 記憶部， １２１ ユーザ識別部， １２２ 出力モーダル決定部， １２３ 環境識別部， １３１ 話者識別部， １３２ 顔識別部， １３３ 識別結果統合部， １４１ 出力命令解析部， １４２ 出力制御部， ４０１ ユーザ情報記憶部， ４０２ 連携機器情報記憶部， １００１ CPU

Claims (20)

1. 電子機器ごとの出力モーダルに関する機器情報を取得し、
   取得した前記機器情報に基づいて、複数の電子機器の中から、情報を出力する出力モーダルを有する電子機器を選択し、
   選択した前記電子機器が有する出力モーダルから前記情報を出力する
   処理を行う処理部を備える
   情報処理装置。
2. 前記処理部は、
   ユーザに関するユーザ情報をさらに取得し、
   取得した前記ユーザ情報及び前記機器情報に基づいて、前記複数の電子機器の中から、前記ユーザ情報に対応した出力モーダルを有する電子機器を選択する
   請求項１に記載の情報処理装置。
3. 前記ユーザ情報は、前記ユーザの希望出力モーダルを含み、
   前記処理部は、前記希望出力モーダルに対応した出力モーダルを有する電子機器を選択する
   請求項２に記載の情報処理装置。
4. 前記複数の電子機器は、動作の主体となる自機器と、前記自機器と連携して動作する連携機器を含む
   請求項３に記載の情報処理装置。
5. 前記処理部は、自機器が前記希望出力モーダルに対応した出力モーダルを有していない場合、前記希望出力モーダルに対応した出力モーダルを有する連携機器を選択する
   請求項４に記載の情報処理装置。
6. 前記処理部は、前記希望出力モーダルに対応した出力モーダルから前記情報を出力する出力命令を、ネットワークを介して、選択した前記連携機器に送信する
   請求項５に記載の情報処理装置。
7. 前記処理部は、
   自機器が前記希望出力モーダルに対応した出力モーダルを有する場合、前記自機器を選択し、
   前記出力命令を、選択した前記自機器の出力モーダルに出力する
   請求項６に記載の情報処理装置。
8. 前記処理部は、前記希望出力モーダルに対応した出力モーダルを有する連携機器が複数選択された場合、前記ユーザの周辺をセンシングして得られるセンシング情報に基づいて、選択された複数の連携機器の中から、最適な連携機器を選択する
   請求項４に記載の情報処理装置。
9. 前記ユーザ情報は、前記ユーザの第２候補の希望出力モーダルをさらに含み、
   前記処理部は、前記希望出力モーダルに対応した出力モーダルを有する電子機器を選択できない場合に、前記第２候補の希望出力モーダルに対応した出力モーダルを有する電子機器を選択する
   請求項３に記載の情報処理装置。
10. 前記ユーザ情報は、ユーザごとに優先度を含み、
    前記処理部は、前記優先度に応じた希望出力モーダルに対応した出力モーダルを有する電子機器を選択する
    請求項３に記載の情報処理装置。
11. 前記処理部は、
    ユーザの属性を推定し、
    推定した前記属性に応じて出力モーダルの内容を変更する
    請求項１に記載の情報処理装置。
12. 前記出力モーダルは、画面フィードバック、音フィードバック、光フィードバック、振動、及び動作のうち少なくとも１つを含む
    請求項１に記載の情報処理装置。
13. 前記出力モーダルのうち少なくとも１つは、より細分化された機能を含む
    請求項１２に記載の情報処理装置。
14. 前記処理部は、
    前記ユーザの識別情報に基づいて、前記ユーザを識別し、
    識別した前記ユーザの希望出力モーダルに対応した出力モーダルを有する電子機器を選択する
    請求項３に記載の情報処理装置。
15. 前記複数の電子機器に含まれ、
    前記自機器として動作する
    請求項４に記載の情報処理装置。
16. 前記機器情報及び前記ユーザ情報の少なくとも一方の情報は、インターネットを介してサーバから取得される
    請求項２に記載の情報処理装置。
17. 情報処理装置が、
    電子機器ごとの出力モーダルに関する機器情報を取得し、
    取得した前記機器情報に基づいて、複数の電子機器の中から、情報を出力する出力モーダルを有する電子機器を選択し、
    選択した前記電子機器が有する出力モーダルから前記情報を出力する
    情報処理方法。
18. ユーザの希望出力モーダルを含むユーザ情報、及び電子機器ごとの出力モーダルに関する機器情報に基づいて、複数の電子機器の中から、前記希望出力モーダルに対応した出力モーダルを有する電子機器を選択し、前記希望出力モーダルに対応した出力モーダルから情報を出力する出力命令を選択した前記電子機器に送信する他の情報処理装置から送信された前記出力命令を、ネットワークを介して受信し、
    受信した前記出力命令に基づいて、前記希望出力モーダルに対応した出力モーダルから前記情報を出力する
    処理を行う処理部を備える
    情報処理装置。
19. 前記複数の電子機器に含まれ、
    動作の主体となる自機器と連携する連携機器として動作し、
    前記出力命令は、前記自機器から送信される
    請求項１８に記載の情報処理装置。
20. 情報処理装置が、
    ユーザの希望出力モーダルを含むユーザ情報、及び電子機器ごとの出力モーダルに関する機器情報に基づいて、複数の電子機器の中から、前記希望出力モーダルに対応した出力モーダルを有する電子機器を選択し、前記希望出力モーダルに対応した出力モーダルから情報を出力する出力命令を選択した前記電子機器に送信する他の情報処理装置から送信された前記出力命令を、ネットワークを介して受信し、
    受信した前記出力命令に基づいて、前記希望出力モーダルに対応した出力モーダルから前記情報を出力する
    情報処理方法。

Images