JP6481210B2 - 情報処理装置、制御方法、およびプログラム - Google Patents

Description

本開示は、情報処理装置、制御方法、およびプログラムに関する。

従来、音を出力する様々な装置において、音量の調節はユーザが手動で行っていた。音を出力する装置としては、例えばステレオスピーカ、ワイヤレススピーカ、音楽プレーヤー、携帯用ゲーム機、ＴＶ（テレビジョン受像機）、ＰＣ（パーソナルコンピュータ）等が挙げられる。

このような出力装置の音量制御に関して、例えば下記特許文献１では、ＴＶ（テレビジョン受像機）等の出力装置の周囲の音声（環境音）および周囲を撮像した撮像画像に基づいて周囲の状況を分析し、ＴＶを視聴しているユーザにとって番組の音が聞き取り易くなるようＴＶの音の出力を制御する技術が提案されている。

特開２０１３−２６９９７号公報

ここで、近年、耳を密閉するオーバーヘッドタイプのヘッドホンの左右のスライダー部に、外側に指向性を持つスピーカが設けられたヘッドホンスピーカ装置が提案されている。ユーザは、かかるヘッドホンスピーカ装置を首に掛けて、耳を塞がずに周りの音が聞こえる状態でスピーカからの音を聴くことができる。このように、周囲の音が聞こえる状態でスピーカからの音も聞けるので、外を歩いたり、ランニングをしたり、自転車に乗っているときにも、安全に利用することができる。

しかしながら、ヘッドホンスピーカ装置を首にかけてスピーカとして利用している場合に、ヘッドホンスピーカ装置から出力される音が近くに居る人に聞かれてしまう恐れがあった。ヘッドホンスピーカ装置から音声出力される情報は音楽に限らず、例えばユーザが所持するスマートフォンと無線接続してスマートフォンが受信したメール通知情報やメール内容、音声通話等といったプライベート情報が出力されることも想定されるので、ユーザは近くに人がいるときは手動で音量を小さくしなければならなかった。

そこで、本開示では、ユーザ状況および周辺環境に応じて、より最適な情報提示を行うことが可能な情報処理装置、制御方法、およびプログラムを提案する。

本開示によれば、ユーザの状況を検知したセンシングデータに基づいてユーザ状況を認識するユーザ状況認識部と、前記ユーザの周辺環境を検知したセンシングデータに基づいて周辺環境を認識する環境認識部と、前記認識されたユーザ状況および周辺環境に応じた情報提示ルールに基づいて、前記ユーザに情報提示を行うよう制御する提示制御部と、を備える、情報処理装置を提案する。

本開示によれば、ユーザの状況を検知したセンシングデータに基づいてユーザ状況を認識することと、前記ユーザの周辺環境を検知したセンシングデータに基づいて周辺環境を認識することと、前記認識されたユーザ状況および周辺環境に応じた情報提示ルールに基づいて、前記ユーザに情報提示を行うよう制御することと、を含む、制御方法を提案する。

本開示によれば、コンピュータを、ユーザの状況を検知したセンシングデータに基づいてユーザ状況を認識するユーザ状況認識部と、前記ユーザの周辺環境を検知したセンシングデータに基づいて周辺環境を認識する環境認識部と、前記認識されたユーザ状況および周辺環境に応じた情報提示ルールに基づいて、前記ユーザに情報提示を行うよう制御する提示制御部と、として機能させるための、プログラムを提案する。

以上説明したように本開示によれば、ユーザ状況および周辺環境に応じて、より最適な情報提示を行うことが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態による制御システムの概要を説明する図である。 本実施形態による制御サーバの内部構成の一例を示す図である。 本実施形態による第１の情報提示制御処理を示すシーケンス図である。 本実施形態による第２の情報提示制御処理を示すシーケンス図である。 本実施形態によるルール変更処理を示すシーケンス図である。 本実施形態による制御サーバを実現可能な情報処理装置のハードウェア構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による制御システムの概要
２．基本構成
３．動作処理
３−１．第１の情報提示制御処理
３−２．第２の情報提示制御処理
３−３．ルール変更処理
４．まとめ

＜１．本開示の一実施形態による制御システムの概要＞
まず、本開示の一実施形態による制御システムの概要を図１に示して説明する。図１に示すように、本実施形態による制御システムは、ユーザデバイスの一例であるヘッドホンスピーカ装置１と、外部センサの一例である固定カメラ４Ａ、４Ｂと、制御サーバ３とを含む。

本実施形態によるヘッドホンスピーカ装置１は、例えばオーバーヘッド密閉型のステレオヘッドホン装置であって、ユーザの左右の耳の部分にそれぞれ装着される左ハウジング１１Ｌ、右ハウジング１１Ｒが、ヘッドバンド１２の端部に設けられている。また、ヘッドホンスピーカ装置１には、左右のスライダー部に、外側に指向性を持つスピーカ１３が設けられ、図１に示すようにヘッドホンスピーカ装置１を首にかけた状態でスピーカ１３から出力される音を聞くことも可能である。これにより、ユーザは、歩いたり走ったり自転車に乗ったり等しながら、周囲の音が聞こえる状態でヘッドホンスピーカ装置１のスピーカ１３から再生される音楽を楽しむことができる。

また、本実施形態によるヘッドホンスピーカ装置１は、内蔵メモリに格納されているデータを音声出力する他、外部装置と無線接続し、外部装置から受信したデータを音声出力することも可能である。例えば、ヘッドホンスピーカ装置１は、図１に示すようなスマートフォン２と無線接続することで、メール新着情報、メール内容、着信情報等を音声出力することができる。

ここで、ヘッドホンスピーカ装置１を首にかけた状態でスピーカ１３からメール新着情報やメール内容等が音声出力されると、近くにいる人にもプライベートな情報が聞かれてしまう恐れがあるため、ユーザは近くに人がいるか否かを確認して音量を手動で調整しなければならなかった。

そこで、本実施形態では、ユーザ状況およびユーザの周辺環境を認識し、認識したユーザ状況およびユーザの周辺環境に応じた情報提示ルールに従って最適な情報提示制御をヘッドホンスピーカ装置１に対して行うことを可能とする。具体的には、制御サーバ３が、ユーザデバイスに内蔵されているセンサ（例えばヘッドホンスピーカ装置１に設けられているカメラ、赤外線センサ等の人感センサや、位置センサ、加速度センサ、または地磁気センサ等）により取得されるセンシングデータや、外部センサ（例えば固定カメラ４Ａ、４Ｂ、または赤外線センサ、マイクロホン、照度センサ等）により取得されるセンシングデータに基づいてユーザ状況および周辺環境を認識する。ヘッドホンスピーカ装置１は、図１に示すように、基地局５を介してネットワーク６に接続し、ネットワーク６上の制御サーバ３とデータの送受信を行うことが可能である。また、固定カメラ４Ａ、４Ｂは、図１では２つ図示されているが、本実施形態はこれに限定されず、例えば１以上であればよい。また、固定カメラ４は、屋内／屋外に設置され、制御サーバ３は、例えばヘッドホンスピーカ装置１により取得された現在位置情報に基づいて、ユーザの周辺に設置されている固定カメラ４からセンシングデータを取得してもよい。

そして、制御サーバ３は、認識したユーザ状況および周辺環境に応じた情報提示ルールを選択し、選択した情報提示ルールに従ってヘッドホンスピーカ装置１からの音声出力を制御する。これにより、ユーザは手動でヘッドホンスピーカ装置１の音量を調整することなく、自動的に最適な情報提示を享受することができる。

以上説明したように、本実施形態による制御システムでは、ユーザ状況および周辺環境に応じた情報提示ルールに従って最適な情報提示制御を行うことができる。なお上記ユーザデバイスに内蔵されているセンサとしては、ヘッドホンスピーカ装置１に設けられている各種センサに限定されず、例えばユーザ所持するスマートフォン２に設けられている位置センサ、加速度センサ、地磁気センサ、マイクロホン等であってもよい。スマートフォン２は、ネットワーク６を介して、取得したセンシングデータを制御サーバ３に送信する。

また、本実施形態では、制御サーバ３により、外側に指向性を持つスピーカが設けられたヘッドホンスピーカ装置１に対して情報提示制御を行っているが、これは一例であって、他のユーザデバイスに対しても同様に行い得る。具体的には、例えば外側に指向性を持つスピーカが設けられたメガネ型ＨＭＤ（Head Mounted Display）や時計型デバイス等のウェアラブル装置、携帯用ゲーム機、タブレット端末、ＰＣ等に対して行ってもよい。

また、情報提示制御は、ユーザデバイスからの音声出力による情報提示の制御に限定されず、例えばユーザデバイスからの表示出力による情報提示の制御であってもよい。具体的には、例えばノートＰＣやタブレット端末等の情報処理装置を外部表示装置（プロジェクターも含む）に接続し、複数人で閲覧するために画面情報を外部出力している場合、新着メールのポップアップ通知等が通常通り画面に表示されると、プライベートな情報がユーザ以外の人に見られてしまう。そこで、制御サーバ３が、ユーザデバイスからの表示出力に関しても、ユーザ状況および周辺環境に応じた情報提示ルールに従って情報提示制御を行うことで、ユーザは、より最適な情報提示を享受することができる。

以上、本開示の一実施形態による制御システムの概要について説明した。続いて、本実施形態の制御システムに含まれる制御サーバ３の基本構成について説明する。

＜２．基本構成＞
図２は、本実施形態による制御サーバ３の内部構成の一例を示す図である。図２に示すように、制御サーバ３は、センシングデータ受信部３１、ユーザ状況認識部３２、環境認識部３３、提示制御部３４、情報提示ルールＤＢ（データベース）３５、フィードバック受信部３６、ルール変更部３７、および予測部３８を有する。

（２−１．センシングデータ受信部３１）
センシングデータ受信部３１は、ユーザデバイス内蔵のセンサや外部センサが取得したセンシングデータを取得する。例えばセンシングデータ受信部３１は、ヘッドホンスピーカ装置１に設けられた各種センサにより検知されたデータや、固定カメラ４Ａ、４Ｂにより撮像された撮像画像を、ネットワーク６を介して受信する。ここで、本実施形態によるヘッドホンスピーカ装置１には、例えばイメージセンサ（カメラ）、赤外線センサ、加速度センサ、地磁気センサ、または位置センサ等の各種センサが設けられ得る。イメージセンサ（カメラ）は、例えばヘッドホンスピーカ装置１のヘッドバンド１２に外側に向けて設けられ、これによりユーザがヘッドホンスピーカ装置１を首にかけている際にユーザの周囲の様子を撮像することが可能となる。また、ヘッドホンスピーカ装置１に設けられている加速度センサ、地磁気センサ、または位置センサ等は、ユーザの現在位置や移動状態を検知することができる。

センシングデータ受信部３１は、受信したセンシングデータをユーザ状況認識部３２および環境認識部３３にそれぞれ出力する。

（２−２．ユーザ状況認識部３２）
ユーザ状況認識部３２は、内蔵センサまたは外部センサによるセンシングデータに基づいてユーザ状況を認識する。より具体的には、ユーザ状況認識部３２は、ユーザの現在地、移動状態、および同伴者の少なくともいずれかをユーザ状況として認識する。例えば、ユーザ状況認識部３２は、ヘッドホンスピーカ装置１に内蔵された位置センサにより取得されたセンシングデータに基づいてユーザの現在地を認識し、ユーザの自宅や会社の場所が既知である場合は、ユーザが現在自宅にいるのか、会社にいるのかといったことを認識する。

また、ユーザ状況認識部３２は、ヘッドホンスピーカ装置１に内蔵された位置センサ、加速度センサ、地磁気センサ等により取得されたセンシングデータに基づいて、ユーザが歩行中であるか、自転車に乗っているか、または電車に乗っているか等の移動状態を認識する。

また、ユーザ状況認識部３２は、ヘッドホンスピーカ装置１に設けられたカメラにより撮像された撮像画像や、マイクロホンにより収音された音声に基づいて、ユーザが一人でいるのか、誰かと一緒にいるのか（その場合、ユーザの同伴者は誰であるか）等を認識することも可能である。また、ユーザ状況認識部３２は、ヘッドホンスピーカ装置１に内蔵された位置センサにより取得されたセンシングデータに基づいてユーザの現在地を認識し、人が多くいる場所か否かといった情報を参照して、ユーザが一人であるか否かを認識することも可能である。

（２−３．環境認識部３３）
環境認識部３３は、内蔵センサまたは外部センサによるセンシングデータに基づいてユーザの周辺の環境を認識する。より具体的には、環境認識部３３は、ユーザの周囲に居る人や周囲に居る人の様子、また、ユーザに近付く人物の有無等を、周辺環境として認識する。例えば、環境認識部３３は、固定カメラ４Ａ、４Ｂにより撮像された撮像画像に基づいて、ユーザの周囲に居る人やユーザに近付く人を認識することができる。

（２−４．提示制御部３４）
提示制御部３４は、ユーザ状況および周辺環境に応じた情報提示ルールを情報提示ルールＤＢ３５から選択し、選択した情報提示ルールにしたがってヘッドホンスピーカ装置１に対して所定の情報提示制御を行う。より具体的には、提示制御部３４は、ヘッドホンスピーカ装置１からの情報提示の可否、提示する情報の種類、および提示する際の出力パラメータの制御（設定）を行うための制御信号を、ヘッドホンスピーカ装置１（ユーザデバイスの一例）に送信する。

例えばユーザ状況認識部３２および環境認識部３３による各認識結果が、「ユーザが現在一人でいる」ことを示している場合、提示制御部３４は、ユーザが一人でいる場合に紐付けられた情報提示ルールを選択する。かかる情報提示ルールでは、例えば一般情報およびプライベート情報の提示が可であって、これらを音量「大」で提示するよう制御することが規定されている。

一方、ユーザ状況認識部３２および環境認識部３３による各認識結果が、「ユーザの近くに人がいる」ことを示している場合、提示制御部３４は、ユーザの近くに人がいる場合に紐付けられた情報提示ルールを選択する。かかる情報提示ルールでは、例えばプライベート情報の提示は不可、一般情報の提示は可であるが音量は「小」で制御することが規定されている。

以上説明した例では、提示制御部３４が、ユーザ状況認識部３２および環境認識部３３により認識されたユーザの現在の状況、現在の周辺環境に紐付けられた情報提示ルールを選択しているが、本実施形態はこれに限定されない。例えば提示制御部３４は、予測部３８によりユーザ状況および周囲環境の変化が予測された場合、予測結果に応じた情報提示ルールを選択してもよい。

より具体的には、例えばユーザの現在の状況、現在の周辺環境では「ユーザの近くに人がいない」ことが認識されていても、予測部３８により「ユーザの近くに人がいる（出現する）」ことが予測された場合、提示制御部３４は、ユーザの近くに人がいる場合に紐付けられた情報提示ルールを選択する。かかる情報提示ルールでは、例えばプライベート情報の提示は徐々にフェードアウトしてＯＦＦにし、一般情報の提示は音量を「大」から「小」に調整するよう制御することが規定されている。これにより、例えばユーザの後方から自転車が近づいてきたり、ユーザからは見えない（死角となっている）場所から突然人が出現した場合であっても、予測結果に応じて「ユーザの近くに人がいる場合」の提示制御を行っておくことで、プライベート情報が聞かれてしまうことを防止することができる。

（２−５．予測部３８）
予測部３８は、内蔵センサまたは外部センサによるセンシングデータに基づいて、ユーザ状況および周辺環境の変化を予測する。より具体的には、予測部３８は、ユーザの近くに人が出現するか否かを、ユーザ状況および周辺環境の変化として認識する。例えば、予測部３８は、ユーザの周辺（例えばユーザの現在地を中心とした所定の範囲）に設置されている固定カメラ４Ａ、４Ｂにより撮像された撮像画像に基づいて、周辺の人物の進行方向を認識し、ユーザの近くに出現するか否かを予測する。

（２−６．情報提示ルールＤＢ３５）
情報提示ルールＤＢ３５は、ユーザ状況および周辺環境に応じた情報提示ルールを格納する記憶部である。情報提示ルールは、例えばユーザが一人でいるか、どこにいるか、どのような移動状態であるか、または誰といるか（同伴者は誰か）等に応じて、情報提示の可否、提示する情報の種類（例えばプライベート情報、一般情報）、および提示する際の出力パラメータ等が規定されている。

具体的には、上述したように、例えば「ユーザの近くに人がいない」場合には、プライベート情報および一般情報をいずれも音量「大」で出力制御するルールが規定され、「ユーザの近くに人がいる」場合は、プライベート情報は提示不可とし、一般情報は音量「小」で出力制御するルールが規定される。

また、ユーザが一人でいるか否かに加えて、場所／状況（移動状態、誰といるか等）／時間帯に応じたルールも規定され得る。例えば、「ユーザの近くに人がいる」場合であっても「ユーザが自宅にいる」場合や、「ユーザの近くに人がいる」場合であっても「同伴者が家族である」場合は、プライベート情報および一般情報をいずれも音量「大」で出力制御するルールが規定されていてもよい。また、「ユーザの近くに人がいる」場合であって、「平日の朝の時間帯」であって、ユーザが「電車に乗っている状態」の場合、満員電車であることが想定されるため、プライベート情報も一般情報も音声出力不可とするルールが規定されていてもよい。

（２−７．フィードバック受信部３６）
フィードバック受信部３６は、提示制御部３４によりヘッドホンスピーカ装置１の情報提示制御を自動的に行った後にユーザが入力した操作（具体的には情報提示制御に関する変更操作）の情報を、フィードバックとしてヘッドホンスピーカ装置１から受信する。フィードバック受信部３６は、受信したフィードバック情報をルール変更部３７に出力する。

（２−８．ルール変更部３７）
ルール変更部３７は、フィードバック情報に基づいて、情報提示ルールＤＢ３５に格納されている情報提示ルールを個人化する。より具体的には、ルール変更部３７は、対象ユーザに特化した情報提示ルールを新たに生成し、情報提示ルールＤＢ３５に登録する。

例えば、「ユーザの近くに人がいる」場合であっても「ユーザが自宅にいる」場合はプライベート情報および一般情報をいずれも音量「大」で出力するよう情報提示ルールが予め規定されていた場合のルール変更について説明する。この場合、ヘッドホンスピーカ装置１では、プライベート情報および一般情報がいずれも音量「大」で音声出力される。しかし、ユーザによってはプライベート情報を家族に聞かれたくないため、プライベート情報が音声出力された際に停止操作を行う場合がある。このとき、ヘッドホンスピーカ装置１は、ユーザにより行われた停止操作の情報を、フィードバックとして制御サーバ３に送信する。そして、制御サーバ３のルール変更部３７は、かかるフィードバックに基づいて、「ユーザの近くに人がいる」場合であって、かつ「ユーザが自宅にいる」場合、プライベート情報は提示不可とし、一般情報は音量「大」で出力制御するルールを新たに生成し、当該ユーザに紐付けて情報提示ルールＤＢ３５に登録する。

以上、本実施形態による制御サーバ３の構成について具体的に説明した。なお図２に示す制御サーバ３の構成は一例であって、本開示はこれに限定されず、例えば制御サーバ３の一部の構成が外部装置に設けられていてもよい。具体的には、図２に示すユーザ状況認識部３２および環境認識部３３がユーザデバイスや固定カメラ等に設けられていてもよい。この場合、ユーザデバイスや固定カメラ等は、検知したセンシングデータに基づいてユーザ状況、周辺環境を認識し、認識結果を制御サーバ３に送信する。

＜３．動作処理＞
続いて、本実施形態による制御システムの動作処理について、図３〜図５を参照して説明する。

（３−１．第１の情報提示制御処理）
図３は、本実施形態による第１の情報提示制御処理を示すシーケンス図である。図３に示すように、まず、ステップＳ１０３において、ヘッドホンスピーカ装置１は、必要に応じて能動的にシステムを起動するよう制御サーバ３に対して通知を行う。システムの起動は、例えばヘッドホンスピーカ装置１を首に掛けた場合、ヘッドホンスピーカ装置１に設けられている外側に指向性を有するスピーカ１３による音声出力（音楽の再生等）を開始した場合をトリガとする。また、ヘッドホンスピーカ装置１がスマートフォン２からメール新着通知、着信通知、ニュース情報新着通知等の各種通知を受信した場合をトリガとしてもよい。

次に、ステップＳ１０６において、ヘッドホンスピーカ装置１は、内蔵するセンサをＯＮし、センシングデータを取得する。具体的には、例えばヘッドホンスピーカ装置１は、カメラ（イメージセンサ）によりユーザの周囲（近くにいる人物）を撮像し、撮像画像を取得したり、位置センサにより現在位置を取得したり、加速度センサ・地磁気センサによりユーザの動きを検知する。

次いで、ステップＳ１０９において、ヘッドホンスピーカ装置１は、取得したセンシングデータを、ネットワーク６を介して制御サーバ３に送信する。

続いて、ステップＳ１１２において、制御サーバ３のユーザ状況認識部３２、環境認識部３３は、センシングデータ受信部３１によりヘッドホンスピーカ装置１から受信したセンシングデータに基づいて、それぞれユーザ状況、周辺環境の認識を行う。

次に、ステップＳ１１５において、制御サーバ３は、必要に応じて他のセンサに対して追加情報（追加センシングデータ）の問い合わせを行う。ここでは、ユーザデバイス内蔵センサ（具体的にはヘッドホンスピーカ装置１に設けられているセンサ）からのセンシングデータが取得できているので、外部センサへの問い合わせを行う。当該外部センサは、例えば図１に示すようなユーザの周辺に設置されている固定カメラ４Ａ、４Ｂや、赤外線センサ、マイクロホン、照度センサ等が挙げられる。

次いで、ステップＳ１１８において、外部センサは、センサをＯＮし、センシングデータを取得する。より具体的には、例えば外部センサが固定カメラ４の場合、周囲を撮像した撮像画像をセンシングデータとして取得する。

次に、ステップＳ１２１において、外部センサは、取得したセンシングデータを、ネットワーク６を介して制御サーバ３に送信する。

続いて、ステップＳ１２４において、制御サーバ３のユーザ状況認識部３２、環境認識部３３は、追加センシングデータに基づいて、より正確にユーザ状況、周辺環境を認識する。

次いで、ステップＳ１２７において、制御サーバ３の提示制御部３４は、ユーザ状況認識部３２、環境認識部３３によりそれぞれ認識されたユーザ状況、周辺環境に応じた情報提示ルールを、情報提示ルールＤＢ３５から選択する。

次に、ステップＳ１３０において、制御サーバ３の提示制御部３４は、ユーザに情報提示を行うヘッドホンスピーカ装置１に対して、選択した情報提示ルールに従った提示情報の出力制御を行うための制御信号を送信する。

そして、ステップＳ１３３において、ヘッドホンスピーカ装置１は、制御サーバ３からの提示情報出力制御に従って、スピーカ１３からの音声出力制御を行う。

これにより、例えばユーザがヘッドホンスピーカ装置１を首に掛けてスピーカ１３で音楽を聞きながら歩いている場合、制御サーバ３は規定された情報提示ルールに従って、近くに人がいなければ音量「大」で出力制御し、人がいる場合は音量「小」で出力制御する。また、スマートフォン２からメール通知情報や着信情報等のプライベート情報を受信してヘッドホンスピーカ装置１のスピーカ１３から出力する場合、制御サーバ３は規定された情報提示ルールに従って、近くに人がいなければ音量「大」で出力制御し、人がいる場合は出力停止する。さらに、ユーザが現在どこにいるのか（自宅にいるのか、外出中か）、また、どのように移動している状態か（徒歩、自転車、電車等）に応じた情報提示ルールも規定され得る。これにより、制御サーバ３は、例えばユーザの近くに人がいる場合であっても、ユーザが自宅にいる場合には、規定された情報提示ルールにしたがって、提示情報を音量「大」で出力制御することができる。

以上、図３を参照して第１の情報提示制御処理について説明した。上述したステップＳ１０６〜Ｓ１３３を、システムが起動している間繰り返すことで、ユーザが手動で音量調整をすることなく、ユーザ状況や周辺環境に応じた適切な情報提示制御が自動的に行われる。

また、第１の情報提示制御処理では、リアルタイムで認識した現在のユーザ状況および周辺環境に応じた情報提示制御を行っているが、本開示はこれに限定されず、例えばユーザの近くに人が出現することを予測し、予測結果に応じた情報提示制御を行うことも可能である。以下、第２の情報提示制御処理として図４を参照して説明する。

（３−２．第２の情報提示制御処理）
図４は、第２の情報提示制御処理を示すシーケンス図である。図４に示すステップＳ１０３〜Ｓ１２４において、図３に示す同ステップと同様の処理が行われる。なお、ステップＳ１１５に示す追加情報（追加センシングデータ）の要求では、後述する予測処理のために必要な情報を要求してもよい。例えばユーザの現在地を中心として所定範囲の道や建物に設置されている外部センサに対して追加センシングデータの要求を行う。

次に、ステップＳ１２５において、制御サーバ３の予測部３８は、ユーザ状況認識部３２、環境認識部３３によりそれぞれ認識された現在のユーザ状況、周辺環境に基づいて、ユーザ状況、周辺環境の変化を予測する。例えば、予測部３８は、ユーザの近くに人が出現するか否かを予測する。

次いで、ステップＳ１２８において、制御サーバ３の提示制御部３４は、予測部３８による予測結果（予測されたユーザ状況、周辺環境）に応じた情報提示ルールを、情報提示ルールＤＢ３５から選択する。例えば、現在ユーザの近くに人がいない場合であっても、予測部３８によりユーザの近くに人が出現することが予測された場合（道の角から出現したり、後方／前方から自転車で出現したりすることが予測された場合）、提示制御部３４は、ユーザの近くに人がいる場合における情報提示ルールを選択する。

次に、ステップＳ１３０において、制御サーバ３の提示制御部３４は、ユーザに情報提示を行うヘッドホンスピーカ装置１に対して、選択した情報提示ルールに従った提示情報の出力制御を行うための制御信号を送信する。

そして、ステップＳ１３３において、ヘッドホンスピーカ装置１は、制御サーバ３からの提示情報出力制御に従って、スピーカ１３からの音声出力制御を行う。

これにより、現在ユーザの近くに人がいない場合であっても、人が道の角から出現したり、後方／前方から自転車で出現したり、部屋の外から入ってきたりすることが予測された場合、予め予測結果に応じた情報提示ルールを選択することで、より適切な提示制御を行うことができる。すなわち、ユーザに提示される情報が、突然近くに出現した人に聞かれたり見られたりしてしまうことを回避することができる。

（３−３．ルール変更処理）
続いて、本実施形態による情報提示ルールを個人に特化するよう変更する場合の処理について図５を参照して説明する。図５は、本実施形態によるルール変更処理を示すシーケンス図である。

図５に示すように、まず、ステップＳ１３３において、図３、図４で説明したように、ヘッドホンスピーカ装置１が、制御サーバ３からの提示情報出力制御に従って、スピーカ１３からの音声出力制御を行う。この際、ユーザは、自動的に制御された音声出力に対して手動で変更操作を行うことが可能である。例えば、ユーザの近くにいる人（同伴者）が家族である場合、予め規定されている情報提示ルールによりプライベート情報も音量「大」で自動出力制御されるが、ユーザによってはこのような制御が好ましくなく、プライベート情報を家族に聞かれたくない場合もある。この場合、ユーザは自動的に音量「大」に制御された後、出力停止操作や音量を小さくする操作（例えばヘッドホンスピーカ装置１に設けられている音量ボタン（不図示）の操作）を手動で行うこととなる。

次に、ステップＳ１３９において、ヘッドホンスピーカ装置１は、上述したような経緯によりユーザ操作を受け付けると、続くステップＳ１４２において、ユーザ操作の情報をフィードバック情報として制御サーバ３に送信する。

次いで、ステップＳ１４５において、制御サーバ３のルール変更部３７は、フィードバック受信部３６によりヘッドホンスピーカ装置１から受信したフィードバック情報に基づいて、情報提示ルールＤＢ３５に格納されている情報提示ルールの変更処理を行う。すなわち、ルール変更部３７は、受信したフィードバック情報で示される出力制御内容（提示の可否、提示情報の種類、出力パラメータ等）を、現在のユーザ状況、周辺環境に対応する情報提示ルールとして新規に生成する。

そして、ステップＳ１４８において、ルール変更部３７は、変更内容を情報提示ルールＤＢ３５に登録する。すなわち、ルール変更部３７は、フィードバック情報に基づいて新規に生成した情報提示ルールを対象ユーザに紐付けて情報提示ルールＤＢ３５に格納する。

以上説明したように、本実施形態による制御システムでは、情報提示ルールを各ユーザに特化して変更することが可能である。

（本実施形態に係る情報処理装置）
以上、本実施形態による制御システムについて具体的に説明した。ここで、上述した制御システムに含まれる制御サーバ３のハードウェア構成について、図６を参照して説明する。図６には、制御サーバ３を実現可能な情報処理装置１００のハードウェア構成の一例を示す。

図６に示すように、情報処理装置１００は、例えば、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、記憶部１０４と、通信Ｉ／Ｆ（インタフェース）１０５とを有する。また、情報処理装置１００は、例えば、データの伝送路としてのバスで各構成要素間を接続する。

ＣＰＵ１０１は、例えばマイクロコンピュータにより構成され、情報処理装置１００の各構成を制御する。また、ＣＰＵ１０１は、制御サーバ３においてはユーザ状況認識部３２、環境認識部３３、提示制御部３４、ルール変更部３７、および予測部３８として機能する。

ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１０３は、例えば、ＣＰＵ１０１により実行されるプログラムなどを一時的に記憶する。

記憶部１０４は、様々なデータを記憶する。例えば、記憶部１０４は、制御サーバ３においては情報提示ルールＤＢ３５の役目を果たす。

通信Ｉ／Ｆ１０５は、情報処理装置１００が有する通信手段であり、ネットワークを介して（あるいは直接的に）、本実施形態に係る制御システムに含まれる外部装置と通信を行う。例えば、通信Ｉ／Ｆ１０５は、制御サーバ３においてはネットワーク６を介してヘッドホンスピーカ装置１や固定カメラ４Ａ、４Ｂとデータの送受信を行う。また、通信Ｉ／Ｆ１０５は、制御サーバ３においてはセンシングデータ受信部３１、フィードバック受信部３６、提示制御部３４として機能し得る。

以上、本実施形態による情報処理装置１００のハードウェア構成の一例について説明した。

＜４．まとめ＞
上述したように、本開示の実施形態による制御システムでは、ユーザ状況、周辺環境に応じた情報提示ルールにしたがって、ユーザに対して適切な情報提示制御を行うことができる。具体的には、例えばユーザの近くに人がいない場合は、音量「大」で情報提示を行い、ユーザの近くに人がいる場合は、音量「小」で情報提示を行うよう、ユーザに情報を提示する出力装置（例えばヘッドホンスピーカ装置１）を制御する。

また、本実施形態による制御システムでは、ユーザ状況、周辺環境の変化を予測し、予測結果（予測したユーザ状況、周辺環境）に応じた情報提示ルールにしたがって、ユーザに対して適切な情報提示制御を行うことも可能である。具体的には、例えばユーザの近くに現在は人がいない場合であっても、人が出現することが予測された場合、ユーザの近くに人がいる場合の情報提示ルールを適用し、音量「小」で情報提示を行うよう制御する。これにより、曲がり角や、ユーザの後方から自転車で、また、部屋の外から突然人が出現した場合であっても、予めユーザの近くに人がいる場合の情報提示ルールを適用しておくことで、突然出現した人に提示情報が聞かれたり見られたりすることを回避することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述した制御サーバ３、ヘッドホンスピーカ装置１に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、制御サーバ３、ヘッドホンスピーカ装置１の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、上述した実施形態では、ネットワーク上にある制御サーバ３がヘッドホンスピーカ装置１に対して情報提示出力制御を行っているが、本開示はこれに限定されない。例えば図２に示す制御サーバ３の構成をヘッドホンスピーカ装置１に設けて、ヘッドホンスピーカ装置１が自ら本実施形態による情報提示出力制御を実施することも可能である。

また、上述したユーザ状況認識部３２が、ユーザ状況として、ユーザの近くにいる人物（同伴者）の識別や、ユーザが現在どのように移動しているか（徒歩、自転車、電車等）を認識する際、ユーザのスケジュール情報や時間、曜日等の様々なコンテキスト情報を利用することも可能である。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
ユーザの状況を検知したセンシングデータに基づいてユーザ状況を認識するユーザ状況認識部と、
前記ユーザの周辺環境を検知したセンシングデータに基づいて周辺環境を認識する環境認識部と、
前記認識されたユーザ状況および周辺環境に応じた情報提示ルールに基づいて、前記ユーザに情報提示を行うよう制御する提示制御部と、
を備える、情報処理装置。
（２）
前記情報処理装置は、
前記認識されたユーザ状況および周辺環境の少なくともいずれかに基づいて、前記ユーザの状況および周辺環境の変化を予測する予測部をさらに備え、
前記提示制御部は、前記予測部による予測結果に応じた情報提示ルールに基づいて情報提示制御を行う、前記（１）に記載の情報処理装置。
（３）
前記予測部は、前記ユーザの状況および周辺環境の変化として、前記ユーザの近くに人が出現するか否かを予測する、前記（２）に記載の情報処理装置。
（４）
前記情報提示ルールは、前記ユーザの近くに人がいるか否かに応じて、情報提示の可否、提示する情報の種類、および提示する際の出力パラメータを規定するものである、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記提示する情報の種類は、一般情報およびプライベート情報を含む、前記（４）に記載の情報処理装置。
（６）
前記情報提示ルールは、前記ユーザのフィードバックに応じて個人化される、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記ユーザ状況認識部は、前記ユーザの現在地、移動状態、および同伴者の少なくともいずれかをユーザ状況として認識する、前記（１）に記載の情報処理装置。
（８）
前記情報提示ルールは、前記ユーザが一人でいるか、どこにいるか、どのような移動状態であるか、または誰といるかに応じて規定される、前記（７）に記載の情報処理装置。
（９）
前記ユーザの状況を検知したセンシングデータは、前記ユーザが所持するウェアラブル装置に設けられたセンサにより取得される、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記環境認識部は、前記ユーザの周辺に居る人物または前記ユーザに近付く人物の有無を周辺環境として認識する、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（１１）
前記ユーザの周辺環境を検知したセンシングデータは、屋内または屋外に設置されている固定カメラまたは赤外線センサにより取得される、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記提示制御部は、音声出力または表示出力により前記ユーザに情報を提示するよう制御する、前記（１）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記提示制御部は、前記情報提示ルールに従った情報提示をユーザデバイスから行うよう前記ユーザデバイスに制御信号を送信する、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
ユーザの状況を検知したセンシングデータに基づいてユーザ状況を認識することと、
前記ユーザの周辺環境を検知したセンシングデータに基づいて周辺環境を認識することと、
前記認識されたユーザ状況および周辺環境に応じた情報提示ルールに基づいて、前記ユーザに情報提示を行うよう制御することと、
を含む、制御方法。
（１５）
コンピュータを、
ユーザの状況を検知したセンシングデータに基づいてユーザ状況を認識するユーザ状況認識部と、
前記ユーザの周辺環境を検知したセンシングデータに基づいて周辺環境を認識する環境認識部と、
前記認識されたユーザ状況および周辺環境に応じた情報提示ルールに基づいて、前記ユーザに情報提示を行うよう制御する提示制御部と、
として機能させるための、プログラム。

１ ヘッドホンスピーカ装置
１１Ｌ 左ハウジング
１１Ｒ 右ハウジング
１２ ヘッドバンド
１３ スピーカ
２ スマートフォン
３ 制御サーバ
３１ センシングデータ受信部
３２ ユーザ状況認識部
３３ 環境認識部
３４ 提示制御部
３５ 情報提示ルールＤＢ
３６ フィードバック受信部
３７ ルール変更部
３８ 予測部
４、４Ａ、４Ｂ 固定カメラ
５ 基地局
６ ネットワーク

Claims (13)

1. ユーザの状況を検知したセンシングデータに基づいてユーザ状況を認識するユーザ状況認識部と、
   前記ユーザの周辺環境を検知したセンシングデータに基づいて周辺環境を認識する環境認識部と、
   前記認識されたユーザ状況および周辺環境に応じた情報提示ルールを選択し、選択した情報提示ルールに従って、提示する情報の種類に応じた音声出力可否と、音声出力する際の音量を制御する提示制御部と、
   を備える、情報処理装置。
2. 前記提示する情報の種類は、一般情報およびプライベート情報を含む、請求項１に記載の情報処理装置。
3. 前記提示制御部は、前記ユーザが一人でいるか、誰といるか、近くに人がいるか、および、前記ユーザがいる場所、前記ユーザの移動状態、または時間帯に応じて、前記情報提示ルールを選択する、請求項１または２に記載の情報処理装置。
4. 前記提示制御部は、
   外側に指向性を持つ音声出力部からの音声出力により前記情報の提示を制御する、請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記情報処理装置は、
   前記認識されたユーザ状況および周辺環境の少なくともいずれかに基づいて、前記ユーザの状況および周辺環境の変化を予測する予測部をさらに備え、
   前記提示制御部は、前記予測部による予測結果に応じた情報提示ルールに基づいて情報提示制御を行う、請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記予測部は、前記ユーザの状況および周辺環境の変化として、前記ユーザの近くに人が出現するか否かを予測する、請求項５に記載の情報処理装置。
7. 前記情報提示ルールは、前記ユーザのフィードバックに応じて個人化される、請求項１〜６のいずれか１項に記載の情報処理装置。
8. 前記ユーザの状況を検知したセンシングデータは、前記ユーザが所持するウェアラブル装置に設けられたセンサにより取得される、請求項１〜７のいずれか１項に記載の情報処理装置。
9. 前記環境認識部は、前記ユーザの周辺に居る人物または前記ユーザに近付く人物の有無を周辺環境として認識する、請求項１〜８のいずれか１項に記載の情報処理装置。
10. 前記ユーザの周辺環境を検知したセンシングデータは、屋内または屋外に設置されている固定カメラまたは赤外線センサにより取得される、請求項１〜９のいずれか１項に記載の情報処理装置。
11. 前記提示制御部は、前記情報提示ルールに従った情報提示をユーザデバイスから行うよう前記ユーザデバイスに制御信号を送信する、請求項１〜１０のいずれか１項に記載の情報処理装置。
12. プロセッサが、
    ユーザの状況を検知したセンシングデータに基づいてユーザ状況を認識することと、
    前記ユーザの周辺環境を検知したセンシングデータに基づいて周辺環境を認識することと、
    前記認識されたユーザ状況および周辺環境に応じた情報提示ルールを選択し、選択した情報提示ルールに従って、提示する情報の種類に応じた音声出力可否と、音声出力する際の音量を制御することと、
    を含む、制御方法。
13. コンピュータを、
    ユーザの状況を検知したセンシングデータに基づいてユーザ状況を認識するユーザ状況認識部と、
    前記ユーザの周辺環境を検知したセンシングデータに基づいて周辺環境を認識する環境認識部と、
    前記認識されたユーザ状況および周辺環境に応じた情報提示ルールを選択し、選択した情報提示ルールに従って、提示する情報の種類に応じた音声出力可否と、音声出力する際の音量を制御する提示制御部と、
    として機能させるための、プログラム。

Images