JP6361649B2 - 情報処理装置、通知状態制御方法及びプログラム - Google Patents

Description

本開示は、情報処理装置、通知状態制御方法及びプログラムに関する。

近年、仮想の映像をあたかも現実の出来事のようにユーザに提供する仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術や、現実の映像に様々な情報を重ね合わせて表示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を実現するためのデバイスとして、頭部装着型ディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）装置が開発されている。

ＨＭＤ装置では装着時に表示画面がユーザの眼前に位置するが、当該表示画面越しに外部の様子が透けて見える透過型ＨＭＤ装置と、当該表示画面によって視界が遮蔽される遮蔽型ＨＭＤ装置とがある。透過型ＨＭＤ装置では、外部の様子が容易に観察できる反面、外部の環境光等の影響により、表示画面の表示に対する没入感が得られ難い傾向にある。一方、遮蔽型ＨＭＤ装置ではユーザに対して外部の視覚的な情報が遮断されるため、コンテンツの視聴や作業等に集中したい場合には遮蔽型ＨＭＤ装置の方が適していると言える。例えば、特許文献１には、表示画面が配設される鏡筒内に塵、埃等のゴミが入ることを防止することにより、より良好な映像を表示することができる遮蔽型ＨＭＤ装置に関する技術が開示されている。

特開平９−９０２６８号公報

しかし、遮蔽型ＨＭＤ装置を装着して各種の作業を行っているユーザは、当該作業に集中できる反面、外部の状況を把握することが困難である。また、遮蔽型ＨＭＤ装置を装着する際にイヤホンやヘッドホン等を併せて装着している場合には、更に外部の状況を把握することは難しくなる。従って、例えば遮蔽型ＨＭＤ装置を装着しているユーザに対してコミュニケーションを取ろうとしている外部の人間が、ユーザに近付いたりユーザに話し掛けたりしたとしても、ユーザはそのことに気付くことが難しい。よって、当該外部の人間がコミュニケーションを取ろうとする場合には、ユーザの体に触れる等、遮蔽型ＨＭＤ装置を装着しているユーザに対して物理的な接触を行う必要があった。このような突然の物理的な接触は、遮蔽型ＨＭＤ装置を装着して作業に集中しているユーザにとっては、不快感や驚きを生じさせるものであり、快適な使用が妨げられる可能性があった。

そこで、遮蔽型ＨＭＤ装置を装着しているユーザと外部の人とがより円滑にコミュニケーションを取ることが求められていた。そこで、本開示では、ユーザと外部の人とがより円滑にコミュニケーションを取ることが可能な、情報処理装置、通知状態制御方法及びプログラムを提案する。

本開示によれば、ユーザの外部の状況を表す外部情報に基づいて、前記外部情報をユーザに対して通知する必要度を判断する必要度判断部と、判断された必要度に基づいて、前記外部情報のユーザに対する通知状態を切り換える通知状態制御部と、を備える、情報処理装置が提供される。

また、本開示によれば、ユーザの外部の状況を表す外部情報に基づいて、前記外部情報をユーザに対して通知する必要度を判断することと、判断された必要度に基づいて、前記外部情報のユーザに対する通知状態を切り換えることと、を含む、通知状態制御方法が提供される。

また、本開示によれば、コンピュータに、ユーザの外部の状況を表す外部情報に基づいて、前記外部情報をユーザに対して通知する必要度を判断する機能と、判断された必要度に基づいて、前記外部情報のユーザに対する通知状態を切り換える機能と、を実現させるためのプログラムが提供される。

本開示によれば、必要度判断部によって、ユーザの外部の状況を表す外部情報に基づいて、当該外部情報をユーザに対して通知する必要度が判断される。また、通知状態制御部によって、判断された必要度に基づいて、当該外部情報のユーザに対する通知状態が切り換えられる。このように、ユーザに対して外部情報を通知する必要度が判断され、判断された必要度に基づいて当該外部情報の通知が行われるため、ユーザは外部情報が検出されたことを認識できるとともに、その外部情報に対して適切な対応を取ることができる。

以上説明したように本開示によれば、ユーザと外部の人とがより円滑にコミュニケーションを取ることが可能となる。

本開示の第１の実施形態に係る遮蔽型ＨＭＤ装置の一外観例を示す斜視図である。 本開示の第１の実施形態に係る遮蔽型ＨＭＤ装置の一外観例を示す斜視図である。 本開示の第１の実施形態に係る遮蔽型ＨＭＤ装置の一構成例を示す機能ブロック図である。 本実施形態に係る必要度判断部による外部情報の通知必要度の判断方法の一例について説明するための説明図である。 必要度が高い場合における、通知状態制御部による通知状態制御の具体例について説明するための説明図である。 必要度が高い場合における、通知状態制御部による通知状態制御の具体例について説明するための説明図である。 必要度が高い場合における、通知状態制御部による通知状態制御の具体例について説明するための説明図である。 必要度が高い場合における、通知状態制御部による通知状態制御の具体例について説明するための説明図である。 必要度が高い場合における、通知状態制御部による通知状態制御の具体例について説明するための説明図である。 必要度が中である場合における、通知状態制御部による通知状態制御の具体例について説明するための説明図である。 必要度が低い場合における、通知状態制御部による通知状態制御の具体例について説明するための説明図である。 必要度が低い場合における、通知状態制御部による通知状態制御の具体例について説明するための説明図である。 必要度が低い場合における、通知状態制御部による通知状態制御の具体例について説明するための説明図である。 本開示の第１の実施形態に係る通知状態制御方法における処理手順を示すフロー図である。 本開示の第２の実施形態に係る遮蔽型ＨＭＤ装置の一外観例を示す斜視図である。 本開示の第２の実施形態に係る遮蔽型ＨＭＤ装置の一外観例を示す斜視図である。 本開示の第２の実施形態に係る遮蔽型ＨＭＤ装置の一構成例を示す機能ブロック図である。 ユーザに対して外部情報が通知されていない状態における、提示状態制御部による外部提示部の表示画面の制御の一具体例について説明するための説明図である。 ユーザに対して外部情報が通知されていない状態における、提示状態制御部による外部提示部の表示画面の制御の一具体例について説明するための説明図である。 ユーザの視線情報に基づく提示状態制御部による外部提示部の表示画面の制御の一具体例について説明するための説明図である。 ユーザの視線情報に基づく提示状態制御部による外部通知部の表示画面の制御の他の具体例について説明するための説明図である。 ユーザの視線情報に基づく提示状態制御部による外部通知部の表示画面の制御の他の具体例について説明するための説明図である。 通知状態制御部による通知状態制御と提示状態制御部による提示状態制御との関連性の具体例について説明するための説明図である。 通知状態制御部による通知状態制御と提示状態制御部による提示状態制御との関連性の具体例について説明するための説明図である。 本開示の第２の実施形態に係る提示状態制御方法における処理手順を示すフロー図である。 本開示の第１及び第２の実施形態に係る遮蔽型ＨＭＤ装置のハードウェア構成を示す機能ブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１．遮蔽型ＨＭＤ装置の外観
１−２．遮蔽型ＨＭＤ装置の構成
１−３．通知状態の具体例
１−３−１．必要度高の場合
１−３−２．必要度中の場合
１−３−３．必要度低の場合
１−４．通知状態制御方法の処理手順
２．第２の実施形態
２−１．遮蔽型ＨＭＤ装置の外観
２−２．遮蔽型ＨＭＤ装置の構成
２−３．提示状態の具体例
２−４．通知状態及び提示状態の具体例
２−５．提示状態制御方法の処理手順
３．ハードウェア構成
４．まとめ

＜１．第１の実施形態＞
［１−１．遮蔽型ＨＭＤ装置の外観］
まず、図１Ａ及び図１Ｂを参照して、本開示の第１の実施形態に係る遮蔽型ＨＭＤ装置の一外観例について説明する。図１Ａ及び図１Ｂは、本開示の第１の実施形態に係る遮蔽型ＨＭＤ装置の一外観例を示す斜視図である。なお、以下の説明では、遮蔽型ＨＭＤ装置を装着しているユーザを基準として、ユーザと対向する側のことを遮蔽型ＨＭＤ装置の内側又は内部側とも呼称し、ユーザと対向しない側のことを遮蔽型ＨＭＤ装置の外側又は外部側とも呼称する。

図１Ａは、第１の実施形態に係る遮蔽型ＨＭＤ装置１０を外部側から見た様子を示す斜視図である。また、図１Ｂは、第１の実施形態に係る遮蔽型ＨＭＤ装置１０を内部側から見た様子を示す斜視図である。図１Ａ及び図１Ｂを参照すると、遮蔽型ＨＭＤ装置１０は、本体部３１０及びバンド部３２０とを備える。本体部３１０は、ゴーグル状の形状を有し、ユーザに装着された際にユーザの眼前に位置し、ユーザの外部に対する視界を遮蔽する。本体部３１０は、各種の情報を処理し遮蔽型ＨＭＤ装置１０の駆動を統合的に制御する制御部や、ユーザに各種の情報を視覚的に通知する表示部等の、遮蔽型ＨＭＤ装置１０の駆動に係る各種の機能を有している。バンド部３２０は、ユーザの頭部に装着され、本体部３１０をユーザの眼前に固定する帯状の部材である。バンド部３２０は、本体部３１０の位置がユーザの眼前に固定されるように、その長さ、角度等が調整可能であってよい。

図１Ａを参照すると、本体部３１０の外部側には、カメラ３１１及びマイクロホン３１２が設けられる。カメラ３１１はユーザの外部の様子を動画又は静止画の形式で撮像する。また、マイクロホン３１２はユーザの外部の様子を録音する。カメラ３１１によって撮像された画像についての画像情報及びマイクロホン３１２によって録音された音声についての音声情報は、本体部３１０の制御部に送信される。ここで、以下の説明では、上記画像情報及び音声情報のようにユーザの外部の状況を表す情報のことを外部情報と呼称する。このように、カメラ３１１及びマイクロホン３１２は外部情報を検出する機能を有する。なお、カメラ３１１及びマイクロホン３１２は、常時外部情報を検出してもよいし、外部情報に変化が生じた場合に当該変化した外部情報を検出してもよい。外部情報に変化が生じるとは、例えば画像情報であれば、カメラ３１１のフレーム内における人や物体の変化であってよいし、音声情報であればマイクロホン３１２によって録音された音声の変化であってよい。

図１Ｂを参照すると、本体部３１０の内部側には、内部表示部３１３ａ、３１３ｂ及び視線センサ部３１４ａ、３１４ｂが設けられる。内部表示部３１３ａ、３１３ｂは、遮蔽型ＨＭＤ装置１０がユーザに装着された際にユーザの眼前に位置する部位に設けられ、各種の情報を、画像、テキスト、グラフ、表等、様々な形式で表示画面に表示し、ユーザに視覚的に通知する。図１Ｂに示す例では、内部表示部３１３ａ、３１３ｂはユーザの左目及び右目に対応する位置にそれぞれ１つずつ設けられ、ユーザに対して３次元画像（３Ｄ画像）を提供することができる。ユーザは内部表示部３１３ａ、３１３ｂの表示画面を参照することにより、例えば映画等のコンテンツを楽しんだり、ワープロソフトや表計算ソフト等を利用した各種の作業を行ったりすることができる。また、内部表示部３１３ａ、３１３ｂの表示画面は外部の様子を透過して観察できるようにはなっておらず、遮蔽型ＨＭＤ装置１０を装着したユーザの視界は、内部表示部３１３ａ、３１３ｂによって外界から遮蔽される。従って、ユーザは内部表示部３１３ａ、３１３ｂの表示画面に表示された情報に集中することができ、作業に没入することができる。なお、上記では、遮蔽型ＨＭＤ装置１０が１対の内部表示部３１３ａ、３１３ｂを有する場合について説明したが、本実施形態はかかる例に限定されない。遮蔽型ＨＭＤ装置１０は１つの表示画面からなる内部表示部を有してもよい。

視線センサ部３１４ａ、３１４ｂは、ユーザの目の状態を検出するセンサ装置である。ここで、目の状態とは、まぶたの開閉状態、瞳孔の状態、視線の状態等、ユーザの目に関するあらゆる状態であってよい。図１Ｂに示す例では、視線センサ部３１４ａ、３１４ｂはユーザの左目及び右目に対応する位置にそれぞれ１つずつ設けられ、ユーザの左右の目の状態をそれぞれ検出することができる。視線センサ部３１４ａ、３１４ｂによって検出されたユーザの目の状態についての情報（以下、視線情報と呼称する。）は、本体部３１０の制御部に送信される。ここで、以下の説明では、ユーザに関する情報のことを内部情報と呼称する。本実施形態においては、内部情報は、ユーザの状態を表す情報（以下、ユーザ情報と呼称する。）及び／又は外部情報以外の情報であってユーザに通知されている情報（以下、コンテンツ情報と呼称する。）を含む。上記視線情報はユーザ情報に含まれるものであり、従って、視線センサ部３１４ａ、３１４ｂは内部情報を検出する機能を有する。なお、内部情報の詳細については図２を参照して後で詳しく説明する。また、視線センサ部３１４ａ、３１４ｂは、常時内部情報を検出してもよいし、内部情報に変化が生じた場合に当該変化した内部情報を検出してもよい。

また、図１Ａ及び図１Ｂには図示しないが、遮蔽型ＨＭＤ装置１０は、ユーザに対して各種の情報を聴覚的に通知するイヤホン装置やスピーカ装置等の音声出力部を有してもよい。また、遮蔽型ＨＭＤ装置１０は、加速度センサ装置やＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ装置、生体センサ装置等の、ユーザ情報を検出するための各種のセンサ装置を有してもよく、これらのセンサによって、ユーザの動きを表す動き情報やユーザの位置情報、ユーザの生体情報等が内部情報として検出されてもよい。

以上、図１Ａ及び図１Ｂを参照して、本開示の第１の実施形態に係る遮蔽型ＨＭＤ装置１０の一外観例について説明した。以上説明したように、遮蔽型ＨＭＤ装置１０は、カメラ３１１及びマイクロホン３１２に代表される、外部情報を検出する構成を有する。また、遮蔽型ＨＭＤ装置１０は、視線センサ部３１４ａ、３１４ｂに代表される、内部情報を検出する構成を有する。更に、遮蔽型ＨＭＤ装置１０は、内部表示部３１３ａ、３１３ｂや音声出力部等の、ユーザに対して各種の情報を通知する構成を有する。そして、第１の実施形態においては、本体部３１０に設けられた制御部によって、検出された外部情報に基づいて、当該外部情報をユーザに対して通知する必要度が判断され、当該必要度に基づいて外部情報のユーザに対する通知状態が切り換えられる。例えば、当該制御部は、上記必要度に応じて、外部情報を内部表示部３１３ａ、３１３ｂに表示してユーザに対して通知したり、外部情報を段階的に内部表示部３１３ａ、３１３ｂに表示してユーザに対して通知したりすることができる。ここで、ユーザに情報を通知するとは、当該情報を内部表示部３１３ａ、３１３ｂの表示画面に画像として表示させたり、当該情報を音声出力部から音声として出力したりして、ユーザに対して視覚的、聴覚的に当該情報を通知することであってよい。このように、遮蔽型ＨＭＤ装置１０は、ユーザへの各種の情報の通知状態を制御する通知状態制御装置であるとも言える。以下の説明では、遮蔽型ＨＭＤ装置１０が行う通知状態制御における一連の処理のことを通知状態制御処理と呼称する。また、以下の説明では、遮蔽型ＨＭＤ装置１０において通知状態制御処理における各種の情報処理が行われることから、遮蔽型ＨＭＤ装置１０のことを情報処理装置１０とも呼称する。

［１−２．遮蔽型ＨＭＤ装置の構成］
次に、図２を参照して、本開示の第１の実施形態に係る遮蔽型ＨＭＤ装置１０の構成について説明する。図２は、本開示の第１の実施形態に係る遮蔽型ＨＭＤ装置１０の一構成例を示す機能ブロック図である。図２を参照すると、第１の実施形態に係る遮蔽型ＨＭＤ装置１０は、外部情報検出部１１０、内部情報検出部１２０、内部通知部１３０及び制御部１４０を備える。

外部情報検出部１１０は、ユーザの外部の状況を表す外部情報を検出する。外部情報検出部１１０は、例えば図１Ａに示すカメラ３１１及びマイクロホン３１２に対応する。

ここで、外部情報について詳しく説明する。上述したように、外部情報とはユーザの外部の状況を表す情報であり、外部情報にはユーザの外部の各種の情報が含まれる。例えば、外部情報は、ユーザの外部の状況を表す画像情報及び音声情報等であってよい。なお、外部情報には、可視光による画像についての画像情報だけでなく、例えば赤外光等、他の波長帯域の光による画像についての画像情報も含まれ得る。また、外部情報には、ユーザの周囲の物体との距離情報や、ユーザの周囲の物体の温度情報等、ユーザの外部の環境を表す各種の情報が含まれていてよい。より詳細には、例えば、外部情報は、当該画像情報に含まれる、ユーザに対して外部の人が近づいてくる旨の情報、外部の人がユーザに向かって話し掛けている（発話している）旨の情報及び／又は外部の人の動き（ジェスチャ）についての情報等を含む。また、例えば、外部情報は、当該音声情報に含まれる、外部の人の発話内容についての情報及び／又はサイレンやブザー等の警報音についての情報等を含む。また、遮蔽型ＨＭＤ装置１０が外部の他の機器と相互に情報を送受信する通信部を有する場合には、外部情報には、当該通信部を介して検出される当該他の機器についての情報（以下、機器情報と呼称する。）が含まれてもよい。機器情報には、例えば当該他の機器を所有している人を特定するためのＩＤ情報が含まれる。このように、外部情報は、ユーザの外部の状況を表す画像情報、ユーザの外部の状況を表す音声情報及び／又はユーザの外部の他の機器との間の通信によって取得される機器情報等、ユーザの外部の状況を表す各種の情報を含んでよい。

外部情報検出部１１０は、上述したような各種の外部情報を検出する装置によって構成される。例えば、外部情報検出部１１０は、画像情報を取得するためのカメラ等の撮像装置、音声情報を取得するためのマイクロホン等の録音装置及び／又は機器情報を取得するための通信装置等を有する。また、外部情報検出部１１０は、赤外線センサ装置や、距離センサ装置、温度センサ装置等の外部の環境を検出する各種のセンサ装置を有してもよい。外部情報検出部１１０は、検出した外部情報を制御部１４０に送信する。

内部情報検出部１２０は、ユーザに関する情報である内部情報を検出する。内部情報検出部１２０は、例えば図１Ｂに示す視線センサ部３１４ａ、３１４ｂに対応する。

ここで、内部情報について詳しく説明する。上述したように、内部情報とはユーザに関する情報であり、内部情報には遮蔽型ＨＭＤ装置１０を装着しているユーザに関する各種の情報が含まれる。本実施形態においては、内部情報は、ユーザの状態を表す情報（ユーザ情報）及び／又は外部情報以外の情報であってユーザに通知されている情報（コンテンツ情報）を含む。

ユーザ情報は、ユーザの動きを表す動き情報、ユーザの位置情報、ユーザの生体情報及びユーザの行動予定についての情報の少なくともいずれかを含む。動き情報とは、例えば加速度センサ装置やジャイロセンサ装置等の物体の動きや姿勢を検出するセンサ装置によって検出される情報であり、ユーザの動き（例えば起立、着席、歩行等）や姿勢（例えば頭部の傾き）を表す情報である。位置情報とは、例えばＧＰＳセンサ装置等の物体の位置を検出するセンサ装置によって検出される情報であり、ユーザの位置（例えば会社内、自宅内、電車内等）を表す情報である。生体情報とは、ユーザの生体活動に関する各種の情報であり、ユーザの脈拍、心拍、呼吸数、目の状態等を表す情報である。上記［１−１．遮蔽型ＨＭＤ装置の外観］で説明した視線情報は当該生体情報に含まれる。ユーザの行動予定についての情報とは、例えば遮蔽型ＨＭＤ装置１０がアクセス可能な記録媒体に記録されているユーザのスケジュール情報等から取得される情報であり、例えば特定の時間がユーザにとって作業時間であるか休憩時間であるか等の情報が含まれる。

コンテンツ情報は、上述したように、外部情報以外の情報であってユーザに通知されている情報のことである。このように、本実施形態においては、ユーザに対して通知される情報とは外部情報及び／又はコンテンツ情報のことであり、通知状態の制御とはユーザに通知されるこれらの情報を切り換える制御のことであってよい。例えば、コンテンツ情報には、映画やテレビ番組等の動画情報や、ワープロソフトや表計算ソフト等を用いた作業に関する情報、ブラウザソフトによって閲覧されるウェブサイト上の情報等が含まれる。このように、コンテンツ情報とは、ユーザが遮蔽型ＨＭＤ装置１０を装着して各種の処理を行っている際に、ユーザに通知されている情報であってよい。以下の説明では、コンテンツ情報がユーザに通知され、ユーザが当該コンテンツ情報に基づく各種の処理を行っている状態のことを、ユーザが作業を行っている状態とも呼称する。

内部情報検出部１２０は、上述したような各種の内部情報を検出する装置によって構成される。例えば、内部情報検出部１２０は、各種のユーザ情報を取得するための加速度センサ装置、ジャイロセンサ装置、ＧＰＳセンサ装置、生体センサ装置等を有する。また、例えば、内部情報検出部１２０は、各種のコンテンツ情報を検出するための構成、すなわち、ユーザに通知されている情報のうち外部情報以外の情報を検出する構成を有する。内部情報検出部１２０は、検出した内部情報を制御部１４０に送信する。

内部通知部１３０は、制御部１４０によってその駆動が制御され、各種の情報を様々な形式でユーザに対して通知する。ここで、ユーザに対する情報の通知とは、視覚的な通知及び聴覚的な通知を含む。例えば、内部通知部１３０は表示画面を有し、各種の情報を、画像、テキスト、グラフ、表等、様々な形式で当該表示画面に表示し、ユーザに対して視覚的に通知する。また、例えば、内部通知部１３０はスピーカ又はイヤホン等の音声出力機器を有し、各種の情報を当該音声出力機器から音声として出力し、ユーザに対して聴覚的に通知する。このように、内部通知部１３０は、各種の情報を表示画面に表示する表示部としての機能と、各種の情報を音声として出力する音声出力部としての機能を有することができる。

内部通知部１３０の表示部としての構成は、例えば図１Ｂに示す内部表示部３１３ａ、３１３ｂに対応する構成である。内部通知部１３０は、コンテンツ情報に含まれる画像情報であるコンテンツ画像を表示画面に表示することにより、ユーザに対して当該コンテンツ情報を通知する。また、内部通知部１３０は、制御部１４０によってその駆動が制御され、外部情報に含まれる画像情報である外部画像を表示画面に表示することにより、ユーザに対して当該外部情報を通知する。なお、内部通知部１３０は、コンテンツ画像及び外部画像のいずれか一方のみを表示画面に表示してもよいし、コンテンツ画像及び外部画像を両方表示画面に表示してもよい。

また、内部通知部１３０が音声出力部としての構成を有する場合には、内部通知部１３０は、コンテンツ情報に含まれる音声情報であるコンテンツ音声を出力することにより、ユーザに対して当該コンテンツ情報を通知する。また、内部通知部１３０は、制御部１４０によってその駆動が制御され、外部情報に含まれる音声情報である外部音声を出力することにより、ユーザに対して当該外部情報を通知する。なお、内部通知部１３０は、コンテンツ音声及び外部音声のいずれか一方のみを出力してもよいし、コンテンツ音声及び外部音声を両方出力してもよい。

制御部１４０は、遮蔽型ＨＭＤ装置１０を統合的に制御するとともに、本実施形態に係る通知状態制御処理における各種の情報処理を行う。以下、制御部１４０の機能及び構成について詳しく説明する。

制御部１４０は、必要度判断部１４１、通知状態制御部１４２及び内部情報取得部１４３を有する。

必要度判断部１４１は、ユーザの外部の状況を表す外部情報に基づいて、前記外部情報をユーザに対して通知する必要度を判断する。具体的には、必要度判断部１４１は、外部情報検出部１１０によって検出された外部情報を取得し、当該外部情報に基づいて、ユーザに対して当該外部情報を通知する必要度（通知必要度）を判断する。このように、必要度判断部１４１は、取得した外部情報の内容を分析し、その内容に基づいて必要度を判断することができる。例えば、外部情報の種類と必要度とが対応付けられたテーブルが用意されており、必要度判断部１４１は、当該テーブルを参照することにより必要度を判断してもよい。また、例えば、外部情報の種類ごとに所定のスコアが付されており、必要度判断部１４１は、検出された外部情報に対して当該スコアを算出することにより必要度を判断してもよい。

ここで、図３を参照して、必要度判断部１４１による外部情報の通知必要度の判断方法の一例について説明する。図３は、本実施形態に係る必要度判断部１４１による外部情報の通知必要度の判断方法の一例について説明するための説明図である。なお、図３に示す例は、上述したテーブルを利用する方法に対応している。

図３を参照すると、表の１番上の行及び１番左の列に外部情報の種類が記載されており、外部情報の組み合わせによって必要度が定められている。１番上の行には、外部情報の例として、「人の接近」、「人の発話」、「特定のジェスチャ」、「デバイス間の通信」が記載されている。「人の接近」及び「特定のジェスチャ」は、外部情報に含まれる画像情報から取得される情報であり、外部の人が、遮蔽型ＨＭＤ装置１０を装着しているユーザに対して近付いてきたこと及び特定のジェスチャをしていることを意味する。特定のジェスチャとは、例えばユーザに対して腕を伸ばす、手を振る等、ユーザに対してコミュニケーションを取ろうとする意思を表す仕草である。「人の発話」は、外部情報に含まれる音声情報から取得される情報であり、外部の人が、遮蔽型ＨＭＤ装置１０を装着しているユーザに対して話し掛けてきたことを意味する。「デバイス間の通信」は、外部情報に含まれる機器情報から取得される情報であり、遮蔽型ＨＭＤ装置１０と相互に通信可能な機器（デバイス）を有する外部の人が、ユーザに対して近付いていること、少なくとも通信可能な所定の範囲内にいることを意味する。

１番左の列には、外部情報の例として、「面識有り」、「面識無し」が記載されている。この「面識有り」及び「面識無し」は、１番上の行に記載された外部情報に基づく、ユーザに対して近付いてきた人、ユーザに対してジェスチャをしている人及びユーザに対して話し掛けてきた人に対する、ユーザの面識の有無を意味している。面識の有無は、例えば外部情報に機器情報が含まれる場合には、当該機器情報に含まれる当該他の機器の所有者を表すＩＤ情報に基づいて判断されてよい。また、面識の有無は、例えば外部情報に画像情報が含まれ、当該画像情報に外部の人の顔の画像が含まれる場合には、顔の画像に基づいて個人を認識することにより判断されてよい。

図３に示す例では、必要度は「高」、「中」、「低」の３段階で判断される。図３を参照すると、例えば、外部情報として「人の発話」又は「特定のジェスチャ」が取得された場合には、必要度判断部１４１は、これらのアクションを起こした外部の人との面識の有無にかかわらず、当該外部情報の必要度を「高」と判断する。これは、外部の人がユーザに対して話し掛けてきた又は特定のジェスチャを行った場合、これらのアクションを起こした外部の人には、ユーザとコミュニケーションを取りたいという明確な意思があると考えられるからである。

また、例えば、外部情報として「人の接近」又は「デバイス間の通信」が取得された場合には、必要度判断部１４１は、ユーザがこれらのアクションを起こした外部の人と面識がある場合には当該外部情報の必要度を「中」と判断し、ユーザがこれらのアクションを起こした外部の人と面識がない場合には当該外部情報の必要度を「低」と判断する。これは、外部情報として「人の接近」又は「デバイス間の通信」が取得された場合には、外部の人がユーザに対して近付いてきているとしても、これらのアクションを起こした外部の人は他の目的で偶然ユーザの近くを通り過ぎる可能性が考えられるからである。そして、その外部の人がユーザと面識がある人であれば、ユーザとコミュニケーションを取ろうとして近付いてきた可能性が高く、その外部の人がユーザと面識がない人であれば、ユーザとコミュニケーションを取らずに立ち去る可能性が高いと考えられるからである。

また、図３には図示しないが、必要度判断部１４１は、外部情報に特定の情報が含まれる場合、当該外部情報をユーザに通知する必要度を「高」と判断することができる。特定の情報とは、例えばサイレンや警報、人の叫び声等、緊急事態を示す外部情報である。このような緊急事態を示す外部情報は、確実にユーザに通知される必要があるため、必要度判断部１４１はその必要度を「高」と判断する。なお、上記特定の情報として具体的にどのような情報が用いられるかは、ユーザによって適宜設定可能であってよい。つまり、ユーザは、特定の外部情報に対して任意にその通知必要度を設定することができる。

以上、図３を説明して、必要度判断部１４１による外部情報の通知必要度の判断方法の一例について説明した。以上説明したように、必要度判断部１４１は、複数の外部情報が検出された場合には、それらの外部情報の組み合わせに応じて、それらの外部情報をユーザに通知する必要度を判断することができる。また、必要度判断部１４１は、機器情報に基づいて機器の所有者を特定したり、画像情報に含まれる顔の画像から外部の人を特定したり、といったように、外部情報から得られる各種の情報に基づいて、当該必要度を判断することができる。なお、これらの外部情報から各種の情報を得る処理は、必要度判断部１４１によって行われてもよいし、外部情報検出部１１０によって行われ、得られた情報も外部情報の一部として必要度判断部１４１に送信されてもよい。

なお、必要度判断部１４１による必要度の判断方法は、図３に示した例に限定されない。例えば、図３に示す例では必要度を３段階で判断しているが、必要度を分類する段階の数は３つに限定されず、より少ない又はより多い数であってもよい。また、例えば図３に示した各外部情報（「人の接近」、「人の発話」、「特定のジェスチャ」、「デバイス間の通信」、「面識有り」、「面識無し」）に対して、必要度を示すスコアが付されており、必要度判断部１４１は、検出された複数の外部情報に付されたスコアを加算することにより、必要度を算出してもよい。

また、例えば、外部情報に含まれる画像情報における外部の人の顔の画像や、外部情報に含まれる機器情報における外部の人のＩＤ情報等に基づいて、ユーザに対してコミュニケーションを取ろうとしている人が個人的に特定される場合には、必要度判断部１４１は、その人に応じて必要度を判断してもよい。例えば、ユーザに対してコミュニケーションを取ろうとしている人が、ユーザにとって会社の同僚や上司、仕事上付き合いのある他の会社の人のように、仕事上の関係にある人である場合には、その人が取ろうとしているコミュニケーションも仕事に関することである可能性が高いと考えられるため、必要度判断部１４１は、その必要度を高く判断してもよい。また、例えば、ユーザに対してコミュニケーションを取ろうとしている人が、ユーザの友人や家族のように、プライベート上の関係にある人である場合には、その人が取ろうとしているコミュニケーションもプライベートに関することである可能性が高いと考えられるため、必要度判断部１４１は、必要度を中又は低く判断してもよい。なお、ユーザと、ユーザに対してコミュニケーションを取ろうとしている人との関係性は、例えば、遮蔽型ＨＭＤ装置１０の記憶部（図示せず。）又は遮蔽型ＨＭＤ装置１０と相互に通信可能なユーザ所有の他の機器（例えば携帯電話、個人ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等）に記憶されている、ユーザの交友関係を表す情報に基づいて判断され得る。ユーザの交友関係を表す情報とは、例えば、遮蔽型ＨＭＤ装置１０及びユーザ所有の他の機器に記憶されている、ユーザの電話帳やアドレス帳の情報であったり、ユーザが所属しているＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）における友人登録の情報であったりしてよい。

図２に戻って、遮蔽型ＨＭＤ装置１０の構成について説明を続ける。必要度判断部１４１は、判断した必要度及び外部情報検出部１１０によって検出された外部情報を通知状態制御部１４２に送信する。

通知状態制御部１４２は、必要度判断部１４１によって判断された必要度に基づいて、外部情報のユーザに対する通知状態を切り換える。ここで、ユーザに情報を通知するとは、当該情報を内部通知部１３０の表示画面に画像として表示させたり、当該情報を内部通知部１３０の音声出力部から音声として出力したりして、ユーザに対して視覚的、聴覚的に当該情報を通知することであってよい。また、通知状態の制御とは内部通知部１３０の駆動を制御し、ユーザに通知される情報の通知状態を切り換える制御のことであってよい。例えば、作業時には、内部通知部１３０の表示画面にはコンテンツ画像が表示され、内部通知部１３０の音声出力部からはコンテンツ音声が出力されており、ユーザは通知されているこれらのコンテンツ情報を参照しながら各種の作業を行っている。この状態で、外部情報検出部１１０によって外部情報が検出されると、必要度判断部１４１によって判断されたその外部情報のユーザへの通知必要度に基づいて、通知状態制御部１４２がユーザへの情報の通知状態を切り換える。具体的には、本実施形態であれば、通知状態制御部１４２は、必要度に基づいて、内部通知部１３０の表示画面の表示を制御する及び／又は内部通知部１３０の音声出力部の出力を制御することにより、ユーザに対する外部情報の通知状態を切り換える。

ここで、通知状態制御部１４２は、通知状態を切り換えるために必要度の段階又は高低を判断する必要がある。例えば、通知状態制御部１４２は、必要度判断部１４１によって判断された必要度を所定のしきい値と比較した結果に基づいて、必要度の段階又は高低を判断し、外部情報のユーザに対する通知状態を切り換えてもよい。例えば、通知状態制御部１４２は、必要度が第１のしきい値以上である場合には、当該必要度が高いと判断することができる。また、例えば、通知状態制御部１４２は、必要度が上記第１のしきい値未満であり、上記第１のしきい値よりも小さい第２のしきい値以上である場合には、当該必要度が中であると判断することができる。更に、例えば、通知状態制御部１４２は、必要度が上記第２のしきい値未満である場合には、当該必要度が低いと判断することができる。ただし、必要度の高低を判断するための条件は上記の例に限定されず、ユーザによって適宜変更可能であってよい。例えば、しきい値の数（すなわち、必要度の段階の数）や、上記第１のしきい値及び第２のしきい値の具体的な値、範囲を規定する「以上」及び「未満」の表現を「超過」及び「以下」等の表現に変更すること等は、ユーザによって適宜調整可能であってよい。なお、例えば、図３に示すように必要度がいくつかの段階で表現される場合には、通知状態制御部１４２は、しきい値との比較を行うことなく、必要度判断部１４１から送信される当該必要度についての情報に基づいて、当該必要度がどの段階に属しているのかを判断してもよい。

なお、以下の説明では、必要度判断部１４１によって判断される必要度の段階又は高低を示すために、便宜的に「高」、「中」、「低」等の表現を用いるが、これらの表現は、上述した所定のしきい値（例えば、第１のしきい値及び第２のしきい値）との比較結果に基づくものであってもよいし、図３に示す例のように必要度の段階を示すものであってもよい。

例えば、通知状態制御部１４２は、必要度判断部１４１によって判断された必要度が「高」である場合（例えば、第１のしきい値以上である場合）、外部情報をユーザに通知させる。具体的には、通知状態制御部１４２は、必要度判断部１４１によって判断された必要度が「高」である場合、外部情報を直ちにユーザに通知させる。なお、外部情報を直ちにユーザに通知させるとは、段階を置かずに、すなわち他の画面の表示や音声出力等を間に挟むことなく、ユーザに対して外部情報を通知することを意味する。外部情報を直ちにユーザに通知させる具体例として、例えば、通知状態制御部１４２は、内部通知部１３０の表示画面の表示及び音声出力を、コンテンツ画像及びコンテンツ音声から外部画像及び外部音声に切り換えてもよい。また、例えば、通知状態制御部１４２は、内部通知部１３０に、コンテンツ情報と外部情報とを両方通知させてもよい。すなわち、内部通知部１３０の表示画面にコンテンツ画像と外部画像とを両方表示させ、内部通知部１３０の音声出力部からコンテンツ音声と外部音声とを両方出力させてもよい。更に、内部通知部１３０の表示画面にコンテンツ画像と外部画像とが両方表示される場合には、当該表示画面が２分割されて、これらの画像がそれぞれ表示されてもよいし、コンテンツ画像に外部画像が重畳されて表示されてもよい。

また、例えば、通知状態制御部１４２は、必要度判断部１４１によって判断された必要度が「中」である場合（例えば、前記第１のしきい値未満であり、前記第１のしきい値よりも小さい第２のしきい値以上である場合）、外部情報を段階的にユーザに対して通知させる。外部情報を段階的にユーザに通知させる具体例として、例えば、外部情報がユーザの外部の状況を表す画像情報及び音声情報であれば、通知状態制御部１４２は、コンテンツ情報に当該音声情報を重畳させて通知させた後、当該画像情報を重畳させて通知させてもよい。つまり、通知状態制御部１４２は、コンテンツ画像及びコンテンツ音声を視聴しながら作業を行っているユーザに対して、コンテンツ画像及びコンテンツ音声は表示及び出力させながら、外部情報のうち、まずは外部音声のみを重畳して出力させ、次いで外部画像を重畳して表示させるようにしてもよい。

また、例えば、通知状態制御部１４２は、必要度判断部１４１によって判断された必要度が「低」である場合（例えば、前記第２のしきい値未満である場合）、外部情報が検出されたことを表す所定の情報をユーザに対して通知させる。つまり、通知状態制御部１４２は、コンテンツ画像及びコンテンツ音声を視聴しながら作業を行っているユーザに対して、コンテンツ画像及びコンテンツ音声は通知させたままで、外部情報をそのまま通知させるのではなく、外部情報が検出されたことのみを通知させてもよい。

また、例えば、通知状態制御部１４２は、必要度判断部１４１によって判断された必要度が「低」である場合（例えば、前記第２のしきい値未満である場合）には、内部通知部１３０の表示画面の表示及び音声出力を変更しない、すなわち、外部情報をユーザに対して通知しなくてもよい。このように、通知状態制御部１４２による外部情報の通知状態の制御には、外部情報を通知しない状態も含まれ得る。通知状態制御部１４２による通知状態制御の具体例については、下記［１−３．通知状態の具体例］で詳しく説明する。

内部情報取得部１４３は、ユーザに関する情報である内部情報を取得する。具体的には、内部情報取得部１４３は、内部情報検出部１２０によって検出された内部情報を取得する。内部情報取得部１４３は、内部情報検出部１２０から内部情報を随時取得してもよいし、必要に応じて内部情報検出部１２０に内部情報を検出するように指令を出すことにより、内部情報を所定のタイミングで取得してもよい。内部情報取得部１４３は、取得した内部情報を必要度判断部１４１に送信する。

必要度判断部１４１は、上述したように、外部情報に基づいて当該外部情報の通知必要度を判断するが、必要度判断部１４１は、内部情報に更に基づいて当該必要度を判断することができる。具体的には、必要度判断部１４１は、外部情報検出部１１０によって検出された外部情報と、内部情報取得部１４３によって取得された内部情報と、に基づいて、ユーザに対して当該外部情報を通知する必要度（通知必要度）を判断する。このように、必要度判断部１４１は、取得した外部情報及び内部情報の内容を分析し、その内容に基づいて必要度を判断することができる。

例えば、内部情報にユーザの位置情報が含まれる場合には、必要度判断部１４１は、当該位置情報に基づいて必要度を判断してもよい。例えば、ユーザが会社にいる場合には、面識の有無にかかわらず様々な人がユーザとコミュニケーションを取ろうとするが、ユーザが自宅にいる場合には、ユーザとコミュニケーションを取ろうとする人がユーザにとって面識のない人である可能性は低い。従って、必要度判断部１４１は、内部情報に含まれる位置情報に基づいてユーザが自宅にいると判断される場合には、コミュニケーションを取ろうとする人は面識のある人であるとして必要度を判断することができる。また、例えば、ユーザが会社にいる場合には、外部の人が取ろうとするコミュニケーションの内容は仕事に関することである可能性が高いため、必要度判断部１４１は、同一の外部情報に基づく必要度の判断であったとしても、ユーザが自宅にいる場合よりも、相対的に必要度を高く判断してもよい。このように、必要度判断部１４１は、内部情報に含まれる位置情報に基づいて、例えば自宅、会社、車内、電車内等のユーザの居場所を判断し、その居場所に応じて必要度を判断することができる。

また、例えば、内部情報にユーザの動きを表す動き情報が含まれる場合には、必要度判断部１４１は、当該動き情報に基づいて必要度を判断してもよい。例えば、ユーザが座った状態から立ち上がった場合や、ユーザが歩き出した場合には、ユーザは作業を中断して別の行動を取ろうとしている可能性が高く、ユーザに外部情報を通知する必要性が高いと考えられる。このように、必要度判断部１４１は、内部情報に含まれる動き情報に基づいてユーザが作業を中断すると判断される場合には、必要度を高く判断することができる。

また、例えば、内部情報にユーザの行動予定についての情報が含まれる場合には、必要度判断部１４１は、当該ユーザの行動予定についての情報に基づいて必要度を判断してもよい。例えば、必要度判断部１４１は、ユーザの行動予定についての情報に基づいて、ユーザが作業時間中であると判断される場合には外部情報を通知する必要度を相対的に低く判断し、ユーザが休憩時間中であると判断される場合には外部情報を通知する必要度を相対的に高く判断することができる。

また、例えば、内部情報にコンテンツ情報が含まれる場合には、必要度判断部１４１は、当該コンテンツ情報に基づいて必要度を判断してもよい。例えば、必要度判断部１４１は、ユーザに通知されているコンテンツ情報に基づいて、ユーザが行っている作業の重要度を判断し、作業の重要度が高い場合には、ユーザの作業を極力妨げないように外部情報を通知する必要度を相対的に低く判断し、作業の重要度が低い場合には外部情報を通知する必要度を相対的に高く判断することができる。なお、コンテンツ情報と作業の重要度との対応関係はユーザによって適宜設定されてよい。また、例えば、コンテンツ情報が映画等の動画情報である場合、当該コンテンツ情報には、各シーンについての情報が含まれてもよく、必要度判断部１４１は、当該各シーンについての情報に基づいて、ユーザに通知されている動画情報のシーンの盛り上がり度を判断して、外部情報を通知する必要度を判断してもよい。各シーンについての情報とは、例えばそのシーンが主に風景が表示されているシーンである旨の情報や、そのシーンが主に登場人物の会話から構成されるシーンである旨の情報等であったり、それらのシーンごとの「盛り上がり度」を示す情報であったりしてよい。例えば、盛り上がり度は、動画のシーンが主に風景が表示されているシーンであれば、ストーリー上重要なシーンではないと考えられるため相対的に低く設定され、動画のシーンが主に登場人物の会話から構成されるシーンであれば、ストーリー上重要なシーンであると考えられるため相対的に高く設定される。従って、必要度判断部１４１は、コンテンツ情報からユーザが視聴している動画のシーンを判断し、盛り上がり度が高い場合には外部情報を通知する必要度を相対的に高く判断したり、盛り上がり度が低い場合には外部情報を通知する必要度を相対的に低く判断したりすることができる。

また、必要度判断部１４１は、内部情報に基づいてユーザに通知されているコンテンツ情報に対するユーザの没入度を判断し、当該没入度に更に基づいて必要度を判断してもよい。没入度の判断は、例えば内部情報に含まれる、動き情報、生体情報及びコンテンツ情報等に基づいて行われてよい。例えば、動き情報から取得されるユーザの姿勢（例えば頸部の傾き）や頭部の動き等についての情報に基づいて、没入度が判断されてもよい。また、例えば、生体情報から取得されるユーザの脈拍、心拍、視線情報等の情報に基づいて、没入度が判断されてもよい。また、例えば、コンテンツ情報から取得される上述した各シーンついての情報や「盛り上がり度」についての情報に基づいて、没入度が判断されてもよい。

以上、図２を参照して、本開示の第１の実施形態に係る遮蔽型ＨＭＤ装置１０の一構成例について詳細に説明した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、制御部１４０については、その各構成要素の機能をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。なお、遮蔽型ＨＭＤ装置１０のハードウェア構成については、下記＜３．ハードウェア構成＞で詳しく説明する。

以上、図２を参照して説明したように、第１の実施形態においては、必要度判断部１４１によって、ユーザの外部の状況を表す外部情報に基づいて、当該外部情報をユーザに対して通知する必要度が判断される。また、通知状態制御部１４２によって、判断された必要度に基づいて、当該外部情報のユーザに対する通知状態が切り換えられる。このように、ユーザに対して外部情報を通知する必要度が判断され、判断された必要度に基づいて当該外部情報の通知が行われるため、ユーザは外部情報が検出されたことを認識できるとともに、その外部情報に対して適切な対応を取ることができ、外部の人とより円滑なコミュニケーションを取ることが可能となる。例えば、必要度が高い場合には、外部情報が直ちにユーザに対して通知されるため、ユーザは外部情報を直ちに認識し、ユーザに対してコミュニケーションを取ろうとしている外部の人に対して素早く応答することができる。また、必要度が中である又は低い場合には、外部情報が段階的にユーザに対して通知される又は外部情報が検出された旨の情報がユーザに対して通知されるため、ユーザは、そのとき行っている作業を優先させたり、作業を中断してすぐに外部に対して応答したり、状況に応じた対応を選択することができ、ユーザの利便性がより向上する。

なお、通知状態制御部１４２による内部通知部１３０の通知状態制御においては、内部通知部１３０における通知状態は、必要度に基づいて制御されるとともに、ユーザによる操作入力により、適宜切り換えられてもよい。従って、必要度に基づく通知状態制御により、外部情報又は外部情報が検出されたことを表す所定の情報が通知されたユーザは、その内容に応じて、通知状態制御部１４２に対して適宜指令を入力することにより、内部通知部１３０における通知状態を変更することができる。例えば、ユーザによる操作入力によって、内部通知部１３０における通知状態が、コンテンツ情報を通知する状態と外部情報を通知する状態とのいずれかに切り換えられてもよい。また、例えば、ユーザによる操作入力によって、内部通知部１３０における通知状態が、コンテンツ情報と外部情報とを重畳して通知する状態に切り換えられてもよい。このように、ユーザは、必要度に基づく通知状態制御により、外部情報又は外部情報が検出されたことを表す所定の情報が通知された後、状況に応じて適切な通知状態を選択することができる。例えば、ユーザは、通知された情報から、外部情報にすぐに対応する必要があると判断した場合には、内部通知部１３０における通知状態を外部情報を通知する状態に切り換えて、外部に対して適切な対応を取ることができる。また、例えば、ユーザは、通知された情報から、外部情報をとりあえずは放置しても構わないと判断した場合には、内部通知部１３０における通知状態をコンテンツ情報を通知する状態に切り換えて、作業を続行することができる。また、例えば、ユーザは、通知された情報から、外部情報にすぐに対応すべきかどうか判断しかねる場合には、内部通知部１３０における通知状態をコンテンツ情報と外部情報とが重畳されて通知される状態に切り換えて、外部の状況を確認しながら作業を続行することができる。なお、通知状態制御を切り換えるためのユーザによる操作入力は、例えばボタンやスイッチにより行われてもよいし、図２に示す外部情報検出部１１０のカメラに向かって所定のジェスチャを行うことにより行われてもよい。

また、必要度判断部１４１による外部情報の通知必要度の判断においては、その判断基準はユーザによって適宜設定されてよい。例えば、ユーザによる設定により、必要度判断部１４１は、近付いてきた外部の人がユーザにとって面識が有る人である（ユーザの知り合いである）場合には必要度を高く判断してもよい。このような設定を行うことにより、ユーザは、自分の知り合いが近付いてきたときにはとりあえず直ちに外部画像を確認し、その後、内部通知部１３０の表示画面及び音声出力機器を適宜切り換える操作を行い、作業を続行するか、外部の人とコミュニケーションを取るか、又は作業を続行しながらコミュニケーションを取るかを状況に応じて選択することができる。

また、図２に示す例では、遮蔽型ＨＭＤ装置１０は、外部情報検出部１１０、内部情報検出部１２０、内部通知部１３０及び制御部１４０を備えているが、本実施形態はかかる例に限定されない。例えば、遮蔽型ＨＭＤ装置１０は、ユーザが各種の情報を入力するための入力部、遮蔽型ＨＭＤ装置１０において処理される各種の情報を記憶するための記憶部、外部の他の機器と相互に各種の情報を送受信するための通信部等の構成を更に有してもよい。また、遮蔽型ＨＭＤ装置１０は１台の装置によって構成されなくてもよく、遮蔽型ＨＭＤ装置１０が備える各機能は、任意に複数の装置に分離されて構成されてもよい。例えば、ユーザに装着される装置には外部情報検出部１１０、内部情報検出部１２０及び内部通知部１３０のみが搭載され、制御部１４０は他の装置、例えば、ユーザが所有するスマートフォン（Ｓｍａｒｔｐｈｏｎｅ）やタブレットＰＣ、及び他の場所に設置されたサーバ等の任意の情報処理装置に搭載され、ユーザに装着される装置と制御部１４０が搭載された情報処理装置とが、任意の通信網（ネットワーク）を介して相互に各種の情報を送受信することにより、以上説明した遮蔽型ＨＭＤ装置１０における各種の処理が行われてもよい。

［１−３．通知状態の具体例］
次に、図４Ａ−図４Ｅ、図５、図６Ａ−図６Ｃを参照して、通知状態制御部１４２による通知状態制御の具体例について詳しく説明する。なお、以下では、必要度判断部１４１によって判断された必要度が高い場合、中である場合及び低い場合のそれぞれについて、通知状態制御部１４２による通知状態制御の具体例について説明する。

（１−３−１．必要度高の場合）
まず、図４Ａ−図４Ｅを参照して、必要度判断部１４１によって判断された必要度が高い場合における、通知状態制御部１４２による通知状態制御の具体例について説明する。上述したように、通知状態制御部１４２は、必要度判断部１４１によって判断された必要度が「高」である場合（例えば、第１のしきい値以上である場合）、外部情報を直ちにユーザに通知させる。これは、外部情報を通知する必要度が高いということは、当該外部情報をユーザに対して素早く通知する必要があると考えられるからである。図４Ａ−図４Ｅを参照して、このような外部情報が直ちにユーザに通知される場合の通知状態の制御について、主に内部通知部１３０の表示画面の切り換えについて説明を行う。

図４Ａ−図４Ｅは、必要度が高い場合における、通知状態制御部１４２による通知状態制御の具体例について説明するための説明図である。図４Ａ−図４Ｅでは、上段及び下段に内部通知部１３０の表示画面５１０を図示している。そして、上段には内部通知部１３０の表示画面５１０にコンテンツ画像５２０が表示されている様子、すなわち、外部情報がユーザに通知される前でありユーザが作業を行っている状態での表示画面の様子が図示されている。また、下段には内部通知部１３０の表示画面５１０に外部画像５３０が表示されている様子、すなわち、外部情報がユーザに通知された状態での表示画面５１０の様子が図示されている。なお、図４Ａ−図４Ｅに示す例では、外部情報は「人が近づいてきた」旨の情報であり、外部情報のユーザに対する通知として、外部の状況が撮像された画像情報及び外部の状況が録音された音声情報が、外部画像及び外部音声として内部通知部１３０の表示画面に表示される及び音声出力機器から出力される場合について説明する。

図４Ａを参照すると、上段には表示画面５１０にコンテンツ情報に含まれるコンテンツ画像５２０が表示された様子が図示されている。また、上段に示す状態では、コンテンツ情報に含まれるコンテンツ音声が音声出力機器から出力されユーザに通知されている。この状態で外部情報が検出され、当該外部情報の必要度が高いと判断された場合には、下段に示すように、表示画面５１０の表示が外部画像５３０に切り換えられる。また、音声出力機器からの出力もコンテンツ音声から外部音声に切り換えられる。このように、図４Ａに示す例では、表示画面５１０の表示及び音声出力機器からの出力が、外部画像５３０及び外部音声に全て切り換えられる。

図４Ｂに通知状態制御の他の具体例を示す。図４Ｂを参照すると、上段には表示画面５１０にコンテンツ情報に含まれるコンテンツ画像５２０が表示された様子が図示されている。また、上段に示す状態では、コンテンツ情報に含まれるコンテンツ音声が音声出力機器から出力されユーザに通知されている。この状態で外部情報が検出され、当該外部情報の必要度が高いと判断された場合には、下段に示すように、表示画面５１０のコンテンツ画像５２０の表示に、外部画像５３０に含まれる人物（すなわち、ユーザに対してコミュニケーションを取ろうとしている人物）の画像のみが重畳されて表示される。また、音声出力機器からは、コンテンツ音声に外部音声が重畳されて出力される。このように、図４Ｂに示す例では、表示画面５１０においてコンテンツ画像５２０に外部画像５３０に含まれる人物の画像が重畳されて表示される。また、音声出力機器からの出力において、コンテンツ音声に外部音声が重畳されて出力される。

図４Ｃに通知状態制御の他の具体例を示す。図４Ｃを参照すると、上段には表示画面５１０にコンテンツ情報に含まれるコンテンツ画像５２０が表示された様子が図示されている。また、上段に示す状態では、コンテンツ情報に含まれるコンテンツ音声が音声出力機器から出力されユーザに通知されている。この状態で外部情報が検出され、当該外部情報の必要度が高いと判断された場合には、下段に示すように、表示画面５１０のコンテンツ画像５２０の表示が縮小されるとともに、表示画面５１０の一部分に外部画像５３０が表示される。また、音声出力機器からは、コンテンツ音声に外部音声が重畳されて出力される。ここで、図４Ｃに示す例では、表示画面５１０において、コンテンツ画像５２０の一部と外部画像５３０の一部とが重なって表示されているが、本実施形態はかかる例に限定されず、コンテンツ画像５２０と外部画像５３０とが互いに重ならないように表示画面５１０に表示されてもよい。例えば、表示画面５１０が２つの領域に分割され、分割された領域にコンテンツ画像５２０及び外部画像５３０がそれぞれ表示されてもよい。このように、図４Ｃに示す例では、表示画面５１０の互いに異なる領域に、コンテンツ画像５２０と外部画像５３０とがそれぞれ表示される。また、音声出力機器からの出力において、コンテンツ音声に外部音声が重畳されて出力される。

図４Ｄに通知状態制御の他の具体例を示す。図４Ｄを参照すると、上段には表示画面５１０にコンテンツ情報に含まれるコンテンツ画像５２０が表示された様子が図示されている。また、上段に示す状態では、コンテンツ情報に含まれるコンテンツ音声が音声出力機器から出力されユーザに通知されている。この状態で外部情報が検出され、当該外部情報の必要度が高いと判断された場合には、下段に示すように、表示画面５１０のコンテンツ画像５２０の表示の一部領域に、外部画像５３０が重畳されて表示される。また、音声出力機器からは、コンテンツ音声に外部音声が重畳して出力される。ここで、コンテンツ画像５２０に外部画像５３０が重畳される位置は、例えばユーザから見て外部画像５３０に含まれる人物（すなわち、コミュニケーションを取ろうとしている人）が近付いてきた方向であってもよい。また、音声出力機器が立体音響を利用して、外部音声が生じた方向から当該外部音声が聞こえるように、外部音声をユーザに対して出力してもよい。このように、図４Ｄに示す例では、表示画面５１０においてコンテンツ画像５２０に外部画像５３０が重畳されて表示される。また、音声出力機器からの出力において、コンテンツ音声に外部音声が重畳されて出力される。更に、外部画像及び外部音声が、その外部情報が検出された方向も同時に通知されるように重畳される。

図４Ｅに通知状態制御の他の具体例を示す。なお、図４Ｅに示す例では、表示画面５１０は各種の画像を３次元的に表示することができる。図４Ｅを参照すると、上段には表示画面５１０にコンテンツ情報に含まれるコンテンツ画像５２０が表示された様子が図示されている。また、上段に示す状態では、コンテンツ情報に含まれるコンテンツ音声が音声出力機器から出力されユーザに通知されている。この状態で外部情報が検出され、当該外部情報の必要度が高いと判断された場合には、下段に示すように、表示画面５１０のコンテンツ画像５２０の表示に、外部画像５３０が３次元的に重畳して表示される。また、音声出力機器からは、コンテンツ音声に外部音声が重畳して出力される。なお、コンテンツ画像５２０に対して外部画像５３０が重畳表示される位置はユーザによって適宜設定可能であってよい。このように、図４Ｅに示す例では、表示画面５１０の表示及び音声出力機器からの出力に対して、外部画像５３０が重畳して表示され、外部音声が重畳して出力される。

以上、図４Ａ−図４Ｅを参照して、必要度判断部１４１によって判断された必要度が高い場合における、通知状態制御部１４２による通知状態制御の具体例について説明した。以上説明したように、必要度が高い場合には、通知状態制御部１４２は外部情報を直ちにユーザに通知させる。従って、ユーザは外部情報を素早く認識することができるため、外部の人に対してすぐに各種の対応を取ることができ、外部の人とより円滑にコミュニケーションを取ることが可能となる。また、図４Ａ−図４Ｅに示したように、コンテンツ情報が通知されている状態から外部情報が通知されている状態に通知状態が切り換えられてもよいし、コンテンツ情報が通知されている状態に外部情報が通知されている状態が重畳されてもよい。更に、図４Ｄに示す例のように、外部情報と同時に、外部情報が検出された方向が通知されてもよい。外部情報が検出された方向が同時に通知されることにより、ユーザはより素早く外部情報を認識することが可能となる。

なお、図４Ａ−図４Ｅに示す例のうち、コンテンツ画像５２０に外部画像５３０又は外部画像５３０の一部の画像が重畳されて表示される場合には、外部画像５３０及び外部画像５３０の一部の画像は、透過して表示され重なった部分のコンテンツ画像５２０がユーザから見える状態であってもよいし、透過せず表示され重なった部分のコンテンツ画像５２０がユーザから見えない状態であってもよい。

また、必要度が高い場合における外部情報の具体的な通知方法は図４Ａ−図４Ｅに示す方法に限定されない。本実施形態においては、必要度が高い場合には、外部情報が直ちにユーザに通知されればよく、その具体的な通知の方法はあらゆる方法であってよい。また、上記図４Ａ−図４Ｅに示す方法を含め、外部情報の具体的な通知の方法は、ユーザによって適宜設定可能であってよい。

（１−３−２．必要度中の場合）
次に、図５を参照して、必要度判断部１４１によって判断された必要度が中である場合における、通知状態制御部１４２による通知状態制御の具体例について説明する。上述したように、通知状態制御部１４２は、必要度判断部１４１によって判断された必要度が「中」である場合（例えば、前記第１のしきい値未満であり、前記第１のしきい値よりも小さい第２のしきい値以上である場合）、外部情報を段階的にユーザに対して通知させる。これは、外部情報を通知する必要度が中であるということは、当該外部情報をユーザに対して直ちには通知しなくても構わないと考えられるからである。図５を参照して、このような外部情報が段階的にユーザに通知される場合の通知状態の制御について、主に内部通知部１３０の表示画面の切り換えについて説明を行う。

図５は、必要度が中である場合における、通知状態制御部１４２による通知状態制御の具体例について説明するための説明図である。図５では、内部通知部１３０の表示画面５１０の表示が段階的に切り換えられる様子を図示している。なお、図５に示す例では、外部情報は「人が近づいてきた」旨の情報であり、外部情報のユーザに対する通知として、外部の状況が撮像された画像情報及び外部の状況が録音された音声情報が、外部画像及び外部音声として内部通知部１３０の表示画面５１０及び音声出力機器から出力される場合について説明する。

図５を参照すると、１段目には内部通知部１３０の表示画面５１０にコンテンツ画像５２０が表示されている様子、すなわち、外部情報がユーザに通知される前でありユーザが作業を行っている状態での表示画面の様子が図示されている。また、１段目に示す状態では、コンテンツ情報に含まれるコンテンツ音声が音声出力機器から出力されユーザに対して通知されている。

この状態で外部情報が検出され、当該外部情報の必要度が中であると判断された場合には、図５の２段目に示すように、表示画面５１０のコンテンツ画像５２０の表示の一部領域に、光パターン５４０が重畳して表示される。光パターン５４０は例えば円形の光を発するパターンであってよく、表示画面５１０上で点滅表示されてもよい。光パターン５４０は、外部情報が検出されたことを表す情報である。従って、ユーザは、表示画面５１０に表示された光パターン５４０を視認することにより、外部情報が検出されたことを認識することができる。

表示画面５１０に光パターン５４０が表示された状態で所定の時間が経過すると、図５の３段目に示すように、表示画面５１０に光パターン５４０が重畳して表示されたまま、音声出力機器から、コンテンツ音声に外部音声が重畳されて出力される。従って、ユーザは、外部情報のうち音声情報を認識することができる。

図５の３段目に示す状態で再度所定の時間が経過すると、図５の４段目に示すように、音声出力機器からはコンテンツ音声に外部音声が重畳されて出力されたまま、光パターン５４０の表示は消え、表示画面５１０のコンテンツ画像５２０の表示の一部領域に外部画像５３０が重畳されて表示される。なお、４段目に示す状態でも光パターン５４０が表示され続けていてもよい。従って、ユーザは、外部情報のうち画像情報及び音声情報を認識することができる。なお、４段目に示す状態では、外部画像５３０は、透過して表示され重なった部分のコンテンツ画像５２０がユーザから見える状態であってもよいし、透過せず表示され重なった部分のコンテンツ画像５２０がユーザから見えない状態であってもよい。

以上、図５を参照して、必要度判断部１４１によって判断された必要度が中である場合における、通知状態制御部１４２による通知状態制御の具体例について説明した。以上説明したように、必要度が中である場合には、通知状態制御部１４２は外部情報を段階的にユーザに通知させる。図５に示す例であれば、まず外部情報が検出された旨の情報が光パターン５４０の表示としてユーザに通知され、次いで外部音声が通知され、最終的に外部画像が通知される。なお、２段目に示す段階から３段目に示す段階に遷移するまでの時間及び３段目に示す段階から４段目に示す段階に遷移するまでの時間は、ユーザによって適宜設定されてよい。また、図５に示す各段階において、ユーザからの操作入力により、内部通知部１３０の通知状態が制御されてもよい。例えば、図５に示す各段階において、ユーザからの操作入力によって、そのまま外部情報の通知処理を続行するか、現在の段階で外部情報の通知処理を中断するか、外部情報の通知処理を中止して内部通知部１３０の通知状態をコンテンツ情報を通知する状態に切り換えるか、又は内部通知部１３０の通知状態を外部情報を通知する状態に切り換えるか等、が適宜選択されてよい。当該選択のためのユーザによる操作入力は、例えばボタンやスイッチにより行われてもよいし、図２に示す外部情報検出部１１０のカメラに向かって所定のジェスチャを行うことにより行われてもよい。従って、ユーザは、外部情報に対して対応するか、外部情報を一旦無視して作業に集中するかを、状況に応じて選択することができ、ユーザの利便性が向上する。なお、必要度が中である場合における外部情報の具体的な通知方法は図５に示す方法に限定されない。本実施形態においては、必要度が中である場合には、外部情報が段階的にユーザに通知され、ユーザによって外部情報に対応するかどうかが選択可能であればよく、その具体的な通知の方法はあらゆる方法であってよい。また、図５に示す方法を含め、外部情報の具体的な通知の方法は、ユーザによって適宜設定可能であってよい。

（１−３−３．必要度低の場合）
次に、図６Ａ−図６Ｃを参照して、必要度判断部１４１によって判断された必要度が低い場合における、通知状態制御部１４２による通知状態制御の具体例について説明する。上述したように、通知状態制御部１４２は、必要度判断部１４１によって判断された必要度が「低」である場合（例えば、前記第２のしきい値未満である場合）、外部情報が検出されたことを表す所定の情報をユーザに対して通知させる。これは、外部情報を通知する必要度が低いということは、当該外部情報をユーザに対して直ちには通知しなくても構わないと考えられるからである。図６Ａ−図６Ｃを参照して、このような外部情報が検出されたことを表す所定の情報がユーザに通知される場合の通知状態の制御について、主に内部通知部１３０の表示画面の切り換えについて説明を行う。

図６Ａ−図６Ｃは、必要度が低い場合における、通知状態制御部１４２による通知状態制御の具体例について説明するための説明図である。図６Ａ−図６Ｃでは、上段及び下段に内部通知部１３０の表示画面５１０を図示している。そして、上段には内部通知部１３０の表示画面５１０にコンテンツ画像５２０が表示されている様子、すなわち、外部情報がユーザに通知される前でありユーザが作業を行っている状態での表示画面の様子が図示されている。また、下段には内部通知部１３０の表示画面５１０に外部情報が検出されたことを表す所定の画像が表示されている様子が図示されている。

図６Ａを参照すると、上段には表示画面５１０にコンテンツ情報に含まれるコンテンツ画像５２０が表示された様子が図示されている。また、上段に示す状態では、コンテンツ情報に含まれるコンテンツ音声が音声出力機器から出力されユーザに通知されている。この状態で外部情報が検出され、当該外部情報の必要度が低いと判断された場合には、下段に示すように、表示画面５１０におけるコンテンツ画像５２０の表示に破線で示す円パターン５５０が重畳されて表示される。円パターン５５０は、例えばユーザから見て外部情報が検出された方向に外部情報が検出された数だけ表示されてよい。また、円パターン５５０は、ユーザにより近い場所で検出された外部情報に対応する円パターン５５０ほど大きく表示されてよい。ユーザは、表示画面５１０に円パターン５５０が表示されたことを視認することにより、何らかの外部情報が検出されたことを認識することができる、また、ユーザは、円パターン５５０の表示位置及び表示された大きさを視認することにより、外部情報の検出方向及び検出距離を定性的に認識することができる。

図６Ｂを参照すると、上段には表示画面５１０にコンテンツ情報に含まれるコンテンツ画像５２０が表示された様子が図示されている。また、上段に示す状態では、コンテンツ情報に含まれるコンテンツ音声が音声出力機器から出力されユーザに通知されている。この状態で外部情報が検出され、当該外部情報の必要度が低いと判断された場合には、下段に示すように、表示画面５１０におけるコンテンツ画像５２０の非表示領域に楕円パターン５６０が表示される。楕円パターン５６０は、例えばユーザから見て外部情報が検出された左右の方向に外部情報が検出された数だけ表示されてよい。また、楕円パターン５６０は、ユーザにより近い場所で検出された外部情報に対応する楕円パターン５６０ほど大きく表示されてよい。ユーザは、表示画面５１０に楕円パターン５６０が表示されたことを視認することにより、何らかの外部情報が検出されたことを認識することができる、また、ユーザは、楕円パターン５６０の表示位置及び表示された大きさを視認することにより、外部情報の検出方向及び検出距離を定性的に認識することができる。

図６Ｃを参照すると、上段には表示画面５１０にコンテンツ情報に含まれるコンテンツ画像５２０が表示された様子が図示されている。また、上段に示す状態では、コンテンツ情報に含まれるコンテンツ音声が音声出力機器から出力されユーザに通知されている。この状態で外部情報が検出され、当該外部情報の必要度が低いと判断された場合には、下段に示すように、表示画面５１０のコンテンツ画像５２０の表示の一部領域に、光パターン５４０が重畳して表示される。光パターン５４０は、図５の２段目の図を参照して説明した光パターン５４０と同じものである。光パターン５４０は例えば円形の光を発するパターンであってよく、表示画面５１０上で点滅表示されてもよい。また、光パターン５４０は、例えばユーザから見て外部情報が検出された方向に表示されてもよい。ユーザは、表示画面５１０に光パターン５４０が表示されたことを視認することにより、何らかの外部情報が検出されたことを認識することができる、また、ユーザは、光パターン５４０の表示位置を視認することにより、外部情報の検出方向を定性的に認識することができる。

以上、図６Ａ−図６Ｃを参照して、必要度判断部１４１によって判断された必要度が低い場合における、通知状態制御部１４２による通知状態制御の具体例について説明した。以上説明したように、必要度が低い場合には、通知状態制御部１４２は外部情報が検出されたことを表す所定の情報をユーザに対して通知させる。図６Ａ−図６Ｃに示す例であれば、外部情報が検出されたことを表す所定の情報として、円パターン５５０、楕円パターン５６０又は光パターン５４０が表示画面５１０に表示されることにより、ユーザに対してその旨が通知される。また、図６Ａ−図６Ｃに示す各状態において、ユーザからの操作入力により、内部通知部１３０の通知状態が制御されてもよい。例えば、図６Ａ−図６Ｃに示す各状態において、ユーザからの操作入力によって、そのまま外部情報が検出されたことを表す所定の情報の通知処理を続行するか、外部情報が検出されたことを表す所定の情報の通知処理を中止して内部通知部１３０の通知状態をコンテンツ情報を通知する状態に切り換えるか、又は内部通知部１３０の通知状態を外部情報を通知する状態に切り換えるか、が適宜選択されてよい。当該選択のためのユーザによる操作入力は、例えばボタンやスイッチにより行われてもよいし、図２に示す外部情報検出部１１０のカメラに向かって所定のジェスチャを行うことにより行われてもよい。従って、ユーザは、外部情報に対して対応するか、外部情報を一旦無視して作業に集中するかを、状況に応じて選択することができ、ユーザの利便性がより向上する。また、図６Ａ−図６Ｃに示す方法においては、外部情報が検出されたことを表す所定の情報のみがユーザに通知されるため、図５に示す方法に比べて、ユーザに対するコンテンツ情報の通知が妨げられない。従って、ユーザの作業を妨げずに外部情報が検出されたことのみがユーザに通知されるため、ユーザが外部情報に対して応答する必要がないと判断した場合には、ユーザはそのまま作業に集中することができる。なお、必要度が低い場合における外部情報の具体的な通知方法は図６Ａ−図６Ｃに示す方法に限定されない。本実施形態においては、必要度が低い場合には、外部情報が検出されたことを表す所定の情報がユーザに通知され、ユーザによって外部情報に対応するかどうかが選択可能であればよく、その具体的な通知の方法はあらゆる方法であってよい。例えば、内部通知部１３０の音声出力機器から、例えばブザーやアラーム等の所定の音が、コンテンツ音声の出力に重畳されて出力されることにより、ユーザに対して外部情報が検出されたことが通知されてもよい。また、上記図６Ａ−図６Ｃに示す方法を含め、外部情報が検出されたことの具体的な通知の方法は、ユーザによって適宜設定可能であってよい。

以上、図４Ａ−図４Ｅ、図５、図６Ａ−図６Ｃを参照して、通知状態制御部１４２による通知状態制御の具体例について詳しく説明した。なお、上記説明した具体例は、本実施形態における通知状態制御の一例であり、必要度に応じた適切な通知状態制御が行われれば、その具体的な方法は上記の方法に限定されない。

例えば、外部情報に含まれる画像情報における外部の人の顔の画像や、外部情報に含まれる機器情報における外部の人のＩＤ情報等に基づいて、ユーザに対してコミュニケーションを取ろうとしている人が個人的に認識される場合には、表示画面５１０に表示される外部画像５３０の人物の画像に対して、当該人物の名前等の情報が重畳されて表示されてもよい。また、ユーザに対してコミュニケーションを取ろうとしている人が、ユーザとＳＮＳ上のつながりがある人物である場合には、外部画像５３０の人物の画像に対して、当該ＳＮＳを表す情報（例えば、ＳＮＳの種類を表すマーク等）が重畳されて表示されてもよい。

また、必要度だけでなく、検出された外部情報に基づいて、通知状態制御部１４２による通知状態制御が切り換えられてもよい。例えば、本実施形態においては、上記［１−２．遮蔽型ＨＭＤ装置の構成］で説明したように、緊急事態を示す特定の外部情報が検出された場合には、当該外部情報の必要度は高く判断されるが、このような外部情報は直ちにユーザに対して通知されることはもちろん、より確実に通知されることが求められる。従って、緊急事態を示す特定の外部情報が検出された場合には、図４Ａに示すように、内部通知部１３０の表示画面５１０の表示及び音声出力機器の出力は即座に外部画像及び外部音声に切り換えられてもよい。

また、例えば、上記では、通知状態制御部１４２が、必要度判断部１４１によって判断された必要度が低い場合には、外部情報が検出されたことを表す所定の情報をユーザに対して通知する場合について説明したが、本実施形態はかかる例に限定されない。例えば、必要度が低い場合には、内部通知部１３０の表示画面の表示及び音声出力を変更しない、すなわち、外部情報をユーザに対して通知しなくてもよい。また、必要度が低い場合に、外部情報が検出されたことを表す所定の情報を通知するかどうかは、ユーザによって適宜設定可能であってよい。従って、ユーザは、作業に集中したいときには、必要度が低い場合には、外部情報が検出されたことすらユーザに対して通知されないようにすることができ、よりユーザの作業を妨げないようにすることができる。

また、上述したように、必要度判断部１４１による外部情報の通知必要度の判断においては、その判断基準はユーザによって適宜設定されてよい。更に、図４Ａ−図４Ｅ、図５、図６Ａ−図６Ｃに示す方法を含め、通知状態制御部１４２による必要度に応じた外部情報の具体的な通知状態は、当該外部情報の種類に応じてユーザによって適宜設定可能であってよい。例えば、ユーザは、特定の外部情報が検出された場合に、その通知する必要度を高く判断するように必要度判断部１４１における判断基準を設定し、更に通知状態制御部１４２によるその具体的な通知状態制御の方法を、必要度が高い場合における通知状態制御の具体例として説明した図４Ａ−図４Ｅの中から適宜設定できてよい。具体的には、例えば、ユーザが、面識のある人（知り合い）が近づいてきたときにはすぐにその知り合いとコミュニケーションを取りたいと考えている場合には、ユーザは、近付いてきた外部の人がユーザにとって知り合いである場合には、必要度判断部１４１がその必要度を高く判断し、通知状態制御部１４２が内部通知部１３０における通知状態を図４Ａに示すように外部画像及び外部音声に切り換えるように、必要度判断部１４１及び通知状態制御部１４２における処理を設定することができる。また、例えば、ユーザが、面識のある人（知り合い）が近づいてきたときにはとりあえず外部様子を確認したいと考えている場合には、ユーザは、近付いてきた外部の人がユーザにとって知り合いである場合には、必要度判断部１４１がその必要度を高く判断し、通知状態制御部１４２が内部通知部１３０における通知状態を図４Ｂ−図４Ｅに示すようにコンテンツ画像及びコンテンツ音声と外部画像及び外部音声とが両方表示、出力される状態に切り換えるように、必要度判断部１４１及び通知状態制御部１４２における処理を設定することができる。更に、この場合、ユーザは、コンテンツ情報に重畳して通知された外部情報を確認した後、内部通知部１３０の表示画面及び音声出力機器を適宜切り換える操作を行い、作業を続行するか、外部の人とコミュニケーションを取るか、又は作業を続行しながらコミュニケーションを取るかを状況に応じて選択してもよい。このように、ユーザによって、必要度判断部１４１における必要度の判断基準及び内部通知部１３０における必要度に応じた通知状態が設定可能であることにより、ユーザの意思や志向を反映した詳細な通知状態制御を行うことが可能となる。

［１−４．通知状態制御方法の処理手順］
次に、図７を参照して、本開示の第１の実施形態に係る通知状態制御方法における処理手順について説明する。図７は、本開示の第１の実施形態に係る通知状態制御方法における処理手順を示すフロー図である。なお、以下の通知状態制御方法の処理手順についての説明において、外部情報検出部１１０、内部情報検出部１２０、内部通知部１３０及び制御部１４０の機能及び構成については、図２を参照して上述しているため、詳細な説明は省略する。

まず、ステップＳ７０１で、内部通知部１３０によってコンテンツ情報がユーザに対して通知されている。具体的には、内部通知部１３０の表示画面にコンテンツ情報に含まれるコンテンツ画像が表示され、内部通知部１３０の音声出力機器によってコンテンツ情報に含まれるコンテンツ音声が出力されている。つまり、ステップＳ７０１に示す状態は、ユーザが作業を行っている状態である。

次に、ステップＳ７０３で、外部情報が検出されたかどうかが判断される。当該判断は、例えば外部情報検出部１１０から送信される外部情報に基づいて、必要度判断部１４１によって行われてよい。また、ここで言う外部情報が検出されたかどうかの判断は、外部情報検出部１１０によって検出される外部情報に変化が生じたかどうかの判断であってよい。外部情報が検出されていないと判断された場合には、外部情報が検出されたと判断されるまで、そのままコンテンツ情報の通知が続行される。外部情報が検出されたと判断された場合には、ステップＳ７０５に進む。

ステップＳ７０５では、内部情報取得部１４３によって内部情報が取得される。具体的には、内部情報取得部１４３から内部情報検出部１２０に対して内部情報を検出するように指令が出され、当該指令に基づいて内部情報検出部１２０によって検出された内部情報が、内部情報取得部１４３によって取得されてよい。ただし、後述するステップＳ７０７における必要度判断部１４１による必要度の判断処理において内部情報が用いられない場合には、ステップＳ７０５における処理は省略されてもよい。

次に、ステップＳ７０７で、必要度判断部１４１によって、外部情報及び／又は内部情報に基づいて、当該外部情報のユーザに対する通知の必要度が判断される。当該必要度は、上記［１−２．遮蔽型ＨＭＤ装置の構成］で説明したように、「高」、「中」、「低」のようにいくつかの段階によって表現されてもよいし、スコアによって表現されてもよい。

次に、ステップＳ７０９で、通知状態制御部１４２によって、ステップＳ７０７で必要度判断部１４１によって判断された必要度に基づいて、内部通知部１３０における通知状態が制御される。具体的には、例えば、通知状態制御部１４２によって、上記［１−３．通知状態の具体例］で説明したような、必要度に基づく通知状態制御が行われる。

最後に、ステップＳ７１１で、ステップＳ７０９で制御された通知状態に基づいて、ユーザによって外部に対して各種の対応が取られる。具体的には、必要度が高い場合には、ユーザに対して外部情報が直ちに通知されるため、ユーザは遮蔽型ＨＭＤ装置１０越しに又は遮蔽型ＨＭＤ装置１０を外し、外部の人に対してコミュニケーションを取ろうとすることができる。また、必要度が中である場合には、ユーザに対して外部情報が段階的に通知されるため、ユーザは、すぐに外部の人に対してコミュニケーションを取ろうとしたり、ある程度自分の作業を優先させてから外部の人に対してコミュニケーションを取ろうとしたりと、状況に応じて対応を選択することができる。更に、必要度が低い場合には、ユーザに対して外部情報がそのままは通知されず、外部情報が検出されたことが通知されるため、ユーザは、すぐに外部の人に対してコミュニケーションを取ろうとしたり、外部の人を一旦無視して自分の作業を続行したりと、状況に応じて対応を選択することができる。

以上、図７を参照して、本開示の第１の実施形態に係る通知状態制御方法における処理手順について説明した。

＜２．第２の実施形態＞
次に、本開示の第２の実施形態について説明する。なお、本開示の第２の実施形態は、上記説明した第１の実施形態に対していくつかの機能及び構成が追加されたものに対応する。従って、以下の第２の実施形態についての説明では、第１の実施形態との相違点について主に説明することとし、第１の実施形態と重複する機能及び構成については詳細な説明は省略する。

［２−１．遮蔽型ＨＭＤ装置の外観］
まず、図８Ａ及び図８Ｂを参照して、本開示の第２の実施形態に係る遮蔽型ＨＭＤ装置の一外観例について説明する。図８Ａ及び図８Ｂは、本開示の第２の実施形態に係る遮蔽型ＨＭＤ装置の一外観例を示す斜視図である。

図８Ａは、第２の実施形態に係る遮蔽型ＨＭＤ装置２０を外部側から見た様子を示す斜視図である。また、図８Ｂは、第２の実施形態に係る遮蔽型ＨＭＤ装置２０を内部側から見た様子を示す斜視図である。図８Ａ及び図８Ｂを参照すると、遮蔽型ＨＭＤ装置２０は、本体部２１０及びバンド部３２０とを備える。ここで、図８Ａ及び図８Ｂに示す遮蔽型ＨＭＤ装置２０は、図１Ａ及び図１Ｂに示す遮蔽型ＨＭＤ装置１０に対して、本体部２１０のゴーグル状の部位の外部に外部表示部３１５が追加され、本体部２１０に設けられる制御部（図示せず。）の機能が変更されたものに対応している。従って、遮蔽型ＨＭＤ装置２０の本体部２１０に設けられるカメラ３１１、マイクロホン３１２、内部表示部３１３ａ、３１３ｂ及び視線センサ部３１４ａ、３１４ｂ並びにバンド部３２０の機能及び構成は、図１Ａ及び図１Ｂを参照して説明した遮蔽型ＨＭＤ装置１０におけるこれらの部材の機能及び構成と同様であるため、詳細な説明は省略する。

図８Ａを参照すると、本体部２１０のゴーグル状の部位の外部と対する面には、外部に向けて各種の情報を視覚的に提示する外部表示部３１５が設けられる。図８Ａに示すように、外部表示部３１５は外部に面した表示画面を有し、各種の情報を、画像、テキスト、グラフ、表等、様々な形式で当該表示画面に表示し、外部に対して視覚的に提示する。ただし、外部表示部３１５は各種の情報を視覚的に提示できればよく、外部表示部３１５の形態は図８Ａに示すような表示画面を有する形態に限定されない。例えば、外部表示部３１５はＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の１つ又は複数のランプであってもよく、当該ランプが異なる色で発光する、異なる速度で点滅する、異なる明度で発光する、所定のランプだけが発光する等の、ランプの駆動によって情報を提示してもよい。また、図８Ａ及び図８Ｂには図示しないが、遮蔽型ＨＭＤ装置２０は、外部に対して各種の情報を聴覚的に提示するスピーカ装置等の音声出力部を有してもよい。

以上、図８Ａ及び図８Ｂを参照して、本開示の第２の実施形態に係る遮蔽型ＨＭＤ装置２０の一外観例について説明した。以上説明したように、第２の実施形態に係る遮蔽型ＨＭＤ装置２０は、第１の実施形態に係る遮蔽型ＨＭＤ装置１０の構成に加えて、外部表示部３１５や音声出力部等の、外部に対して各種の情報を提示する構成を有する。ここで、第２の実施形態においては、第１の実施形態と同様、本体部２１０に設けられた制御部によって、検出された外部情報に基づいて、当該外部情報をユーザに対して通知する通知状態が切り換えられる。ユーザに情報を通知するとは、当該情報を内部表示部３１３ａ、３１３ｂの表示画面に画像として表示させたり、当該情報を音声出力部から音声として出力したりして、ユーザに対して視覚的、聴覚的に当該情報を通知することであってよい。更に、第２の実施形態においては、ユーザに対する外部情報の通知状態に基づいて、ユーザの当該外部情報への反応を示す情報（以下、ユーザ反応情報とも呼称する。）をユーザの外部に対して提示する提示状態が切り換えられる。ユーザの外部に対して情報を提示するとは、当該情報を外部表示部３１５の表示画面に画像として表示させたり、当該情報を音声出力部から音声として外部に向けて出力したりして、ユーザの外部に対して視覚的、聴覚的に当該情報を提示することであってよい。

このように、第２の実施形態に係る遮蔽型ＨＭＤ装置２０は、ユーザ反応情報の外部に対する提示状態を制御する、提示状態制御装置であるとも言える。以下の説明では、遮蔽型ＨＭＤ装置２０が行う提示状態制御における一連の処理のことを提示状態制御処理と呼称する。また、以下の説明では、遮蔽型ＨＭＤ装置２０において提示状態制御処理における各種の情報処理が行われることから、遮蔽型ＨＭＤ装置２０のことを情報処理装置２０とも呼称する。

［２−２．遮蔽型ＨＭＤ装置の構成］
次に、図９を参照して、本開示の第２の実施形態に係る遮蔽型ＨＭＤ装置２０の構成について説明する。図９は、本開示の第２の実施形態に係る遮蔽型ＨＭＤ装置２０の一構成例を示す機能ブロック図である。図９を参照すると、第２の実施形態に係る遮蔽型ＨＭＤ装置２０は、外部情報検出部１１０、内部情報検出部１２０、内部通知部１３０、外部提示部２５０及び制御部２４０を備える。なお、遮蔽型ＨＭＤ装置２０の構成のうち、外部情報検出部１１０、内部情報検出部１２０及び内部通知部１３０の機能及び構成については、図２を参照して説明した第１の実施形態に係る遮蔽型ＨＭＤ装置１０の外部情報検出部１１０、内部情報検出部１２０及び内部通知部１３０の機能及び構成と同様であるため、詳細な説明は省略する。以下の遮蔽型ＨＭＤ装置２０の構成についての説明では、第１の実施形態に係る遮蔽型ＨＭＤ装置１０との相違点である外部提示部２５０及び制御部２４０の機能及び構成について主に説明する。

外部提示部２５０は、制御部２４０によってその駆動が制御され、ユーザの外部情報への反応を示す情報をユーザの外部に対して提示する。ここで、外部に対する情報の提示とは、視覚的な提示及び聴覚的な提示を含む。例えば、外部提示部２５０は表示画面を有し、ユーザ反応情報を、画像、テキスト、グラフ、表等、様々な形式で当該表示画面に表示し、ユーザの外部に対して視覚的に提示する。また、外部提示部２５０はスピーカ等の音声出力機器を有し、ユーザ反応情報を当該音声出力機器から音声として出力し、ユーザの外部に対して聴覚的に提示する。このように、外部提示部２５０は、ユーザ反応情報を表示画面に表示する表示部としての機能と、ユーザ反応情報を音声として出力する音声出力部としての機能を有してもよい。なお、外部提示部２５０の表示部としての構成は、図８Ａに示す外部表示部３１５に対応する構成であり、その表示画面は、ユーザに装着された際にユーザの眼前に位置するとともに、外部に対する面に設けられる。

制御部２４０は、遮蔽型ＨＭＤ装置２０を統合的に制御するとともに、本実施形態に係る提示状態制御処理における各種の情報処理を行う。以下、制御部２４０の機能及び構成について詳しく説明する。

制御部２４０は、必要度判断部１４１、通知状態制御部１４２、内部情報取得部１４３、知覚度判断部２４４及び提示状態制御部２４５を有する。なお、遮蔽型ＨＭＤ装置２０の制御部２４０の構成のうち、必要度判断部１４１、通知状態制御部１４２及び内部情報取得部１４３の機能及び構成については、図２を参照して説明した第１の実施形態に係る遮蔽型ＨＭＤ装置１０の制御部１４０の必要度判断部１４１、通知状態制御部１４２及び内部情報取得部１４３の機能及び構成と同様である。つまり、第２の実施形態においては、第１の実施形態と同様に、必要度判断部１４１によって、ユーザの外部の状況を表す外部情報に基づいて当該外部情報をユーザに対して通知する必要度が判断され、通知状態制御部１４２によって、判断された必要度に基づいて当該外部情報のユーザに対する通知状態が切り換えられる。このように、第２の実施形態においても、ユーザに対して外部情報を通知する必要度が判断され、判断された必要度に基づいて当該外部情報の通知状態の制御が行われる。

従って、以下の遮蔽型ＨＭＤ装置２０の構成についての説明では、遮蔽型ＨＭＤ装置２０の制御部２４０の構成のうち、必要度判断部１４１、通知状態制御部１４２及び内部情報取得部１４３の機能及び構成については詳細な説明は省略し、第１の実施形態に係る遮蔽型ＨＭＤ装置１０との相違点である知覚度判断部２４４及び提示状態制御部２４５の機能及び構成について主に説明する。ただし、第２の実施形態においては、通知状態制御部１４２は、外部情報の通知状態についての情報を知覚度判断部２４４及び提示状態制御部２４５に送信する。また、第２の実施形態においては、内部情報取得部１４３は、取得した内部情報を必要度判断部１４１の他に、知覚度判断部２４４及び提示状態制御部２４５に送信してもよい。

知覚度判断部２４４は、通知状態制御部１４２によって切り換えられた通知状態及び内部情報取得部１４３によって取得された内部情報の少なくともいずれかに基づいて、ユーザの外部情報の知覚度を判断する。ユーザの外部情報の知覚度とは、ユーザが外部情報を知覚している度合いを表す指標である。例えば、ユーザに対する外部情報の通知状態が、図４Ａ−図４Ｅに示すように、外部情報が直ちにユーザに通知されている状態であれば、内部通知部１３０によってユーザに対して外部情報が明示的に通知されているため、ユーザの当該外部情報に対する知覚度は比較的高いと考えられる。また、例えば、ユーザに対する外部情報の通知状態が、ユーザに対して外部情報が通知されていない状態、すなわち、内部通知部１３０によってユーザに対してコンテンツ情報しか通知されていない状態であれば、ユーザは当該外部情報を知覚していないと考えられるため、ユーザの当該外部情報に対する知覚度は極低いと判断できるはずである。このように、知覚度判断部２４４は、通知状態制御部１４２によって切り換えられたユーザに対する外部情報の通知状態に基づいて、ユーザの当該外部情報に対する知覚度を相対的に判断することができる。

また、知覚度判断部２４４が内部情報に基づいてユーザの外部情報に対する知覚度を判断する場合には、知覚度判断部２４４は、例えば、内部情報に含まれるユーザの生体情報や視線情報に基づいて、当該知覚度を判断することができる。例えば、視線情報として、ユーザの目が閉じられている旨の情報が検出された場合には、たとえ内部通知部１３０の表示画面に外部情報に含まれる外部画像が表示されていたとしても、ユーザは当該外部情報を知覚していない可能性が高いと考えられるため、知覚度判断部２４４は、ユーザの当該外部情報に対する知覚度は比較的低いと判断することができる。

また、例えば、図４Ｂ−図４Ｄのように、内部通知部１３０の表示画面５１０の一部領域に外部情報に含まれる外部画像が表示される場合には、視線情報に基づいて、ユーザの視線が内部通知部１３０の表示画面の中の当該外部画像が表示された領域に向けられているかどうかによって、ユーザの当該外部情報に対する知覚度が判断されてもよい。例えば、ユーザに対してコミュニケーションを取ろうとしている人物が外部画像に映り込んでいる場合であって、内部通知部１３０の表示画面５１０の一部領域に表示されている当該外部画像にユーザが視線を向けていない場合には、ユーザは自分に対してコミュニケーションを取ろうとしている人物がいることは認識できていても、その人物が誰なのかまでは認識できていないと考えられる。従って、このような場合には、知覚度判断部２４４は、その外部情報に対するユーザの知覚度は相対的に低いと判断することができる。一方、ユーザに対してコミュニケーションを取ろうとしている人物が外部画像に映り込んでいる場合であって、内部通知部１３０の表示画面５１０の一部領域に表示されている当該外部画像にユーザが視線を向けている場合には、ユーザは自分に対してコミュニケーションを取ろうとしている人物がいることを認識するとともに、その人物が誰なのかまで認識できていると考えられる。従って、このような場合には、知覚度判断部２４４は、その外部情報に対するユーザの知覚度は相対的に高いと判断することができる。

また、例えば、知覚度判断部２４４は、内部情報に含まれるコンテンツ情報に基づいて、当該知覚度を判断してもよい。具体的には、例えば、図５及び図６Ａ−図６Ｃのように、外部情報が段階的に通知される又は外部情報が検出された旨の情報が通知される場合には、ユーザの生体情報及び／又はコンテンツ情報に基づいて当該コンテンツに対するユーザの没入度が判断され、当該没入度に基づいて、ユーザの外部情報に対する知覚度が判断されてもよい。例えば、コンテンツに対する没入度が高い場合であれば、外部情報が段階的に通知されている途中や外部情報が検出された旨の情報が通知されている状態では、ユーザはそれらの通知に気付いていない可能性があるため、知覚度判断部２４４は、ユーザの外部情報に対する知覚度は比較的低いと判断することができる。ここで、知覚度判断部２４４による没入度の判断は、上記［１−２．遮蔽型ＨＭＤ装置の構成］で説明した必要度判断部１４１による没入度の判断と同様に、例えば、動き情報から取得されるユーザの姿勢（例えば頸部の傾き）や頭部の動き等についての情報や、生体情報から取得されるユーザの脈拍、心拍、視線情報等の情報、及び／又は、コンテンツ情報から取得される各シーンついての情報や「盛り上がり度」についての情報に基づいて、判断されてもよい。

なお、必要度判断部１４１による必要度の判断処理と同様、例えば通知状態及び内部情報の種類と知覚度とが対応付けられたテーブルが用意されており、知覚度判断部２４４は、当該テーブルを参照することにより知覚度を判断してもよい。また、例えば、通知状態及び内部情報の種類ごとに所定のスコアが付されており、知覚度判断部２４４は、当該スコアに基づいて知覚度を判断してもよい。

ユーザの外部情報に対する知覚度が、いくつかの段階として又はスコアとして判断されることにより、ユーザが外部情報を「知覚している」、「知覚していない」という２値的な状態だけでなく、例えば「外部情報が検出されたことは認識しているが当該外部情報の内容までは認識していない状態」といったような、より詳細なユーザの外部情報に対する知覚状態を表現することができる。

提示状態制御部２４５は、通知状態制御部１４２によって切り換えられた通知状態に基づいて、ユーザの外部情報への反応を示す情報をユーザの外部に対して提示する提示状態を切り換える。ここで、上述したように、外部に対してユーザ反応情報を提示するとは、ユーザ反応情報を外部提示部２５０の表示画面に画像として表示する又は外部提示部２５０の音声出力機器から音声として出力することにより、外部に対して視覚的又は聴覚的にユーザ反応情報を提示することであってよい。また、ユーザ反応情報には、ユーザが外部情報に反応しているかどうか、すなわち、ユーザが外部情報を認識しているかどうかについての情報も含まれる。

また、提示状態の制御とはユーザ反応情報の外部に対する提示状態を切り換える制御のことであってよい。例えば、図４Ａ−図４Ｅ、図５及び図６Ａ−図６Ｃに示したように、通知状態制御部１４２は、必要度に応じて異なる通知状態制御を行う。提示状態制御部２４５は、このような、必要度に応じた通知状態の違いに応じて、提示状態を制御してもよい。例えば、ユーザに対する外部情報の通知状態が、図４Ａ−図４Ｅに示すように、外部情報が直ちにユーザに通知されている状態であれば、内部通知部１３０の表示画面によってユーザに対して外部情報に含まれる外部画像が明示的に通知されているため、提示状態制御部２４５は、ユーザが外部画像を見ている旨の情報を外部提示部２５０の表示画面に表示する。本実施形態においては、ユーザが外部画像を見ている旨の情報として、例えばユーザの目を模したパターンが外部提示部２５０の表示画面に表示されてもよい。

また、例えば、ユーザに対する外部情報の通知状態が、ユーザに対して外部情報が通知されていない状態であれば、ユーザは外部情報に含まれる外部画像を見ていないため、提示状態制御部２４５は、ユーザが外部画像を見ていない旨の情報を外部提示部２５０の表示画面に表示する。本実施形態においては、ユーザが外部画像を見ていない旨の情報として、例えばバツ印やその旨を表す文字列等が外部提示部２５０の表示画面に表示されてよい。このように、本実施形態においては、外部提示部２５０の表示画面に、ユーザが外部情報に含まれる外部画像を見ていることを表す情報又は見ていないことを表す情報が表示されるため、外部の人は、外部提示部２５０の表示画面を参照することにより、ユーザの外部情報に対する反応を認識することができる。

また、提示状態制御部２４５は、内部情報取得部１４３によって取得された内部情報に基づいて、提示状態を切り換えてもよい。具体的には、提示状態制御部２４５は、例えば内部情報に含まれるユーザの視線情報に基づいて提示状態を切り換えてもよい。例えば、上記のように、ユーザが外部画像を見ている旨の情報としてユーザの目を模したパターンが外部提示部２５０の表示画面に表示される場合には、提示状態制御部２４５は、視線情報に基づいて、目を模したパターンの表示をユーザの目の状態を表すように変更してもよい。例えば、ユーザのまぶたの状態に対応して、外部提示部２５０の表示画面における目を模したパターンの表示が、まぶたが上下するように（目が開閉するように）変化してもよい。また、例えば、外部提示部２５０の表示画面における目を模したパターンの表示が、ユーザの視線の変化に対応して変化してもよい。外部提示部２５０の表示画面における目を模したパターンの表示がユーザの視線の変化に対応して変化する場合には、ユーザが内部通知部１３０の表示画面に表示された外部画像に含まれる人物に対して視線を向けたとすると、外部提示部２５０の表示画面における目を模したパターンも、当該人物の方向に視線を向けるように表示される。このように、外部提示部２５０の表示画面に、ユーザの視線をトレースした表示がなされることにより、外部からユーザに対してコミュニケーションを取ろうとしている人は、ユーザの視線が自分の方を向いているかどうかを認識することができるため、ユーザが自分に気付いているかどうかを認識することができる。

なお、提示状態制御部２４５は、内部情報に含まれる他の情報、例えば視線情報以外のユーザ情報やコンテンツ情報に応じて提示状態を切り換えてもよい。例えば、提示状態制御部２４５は、ユーザの位置情報に基づいて、ユーザが自宅にいるか会社にいるかに応じて提示状態を切り換えてもよい。例えば、ユーザが自宅にいる場合は、ユーザに対してコミュニケーションを取ろうとする外部の人は家族や友人であると考えられるが、ユーザが会社にいる場合は、ユーザに対してコミュニケーションを取ろうとする外部の人は仕事上の付き合いがある上司や顧客等であると考えられる。従って、提示状態制御部２４５は、外部に対して同じ意味を表すユーザ反応情報であっても、自宅で提示する場合には外部の人が比較的親しみを感じるような表示を行ってもよい。

また、提示状態制御部２４５は、知覚度判断部２４４によって判断された知覚度に基づいて、提示状態を切り換えてもよい。例えば、上記のように、ユーザが外部画像を見ている旨の情報としてユーザの目を模したパターンが外部提示部２５０の表示画面に表示される場合には、提示状態制御部２４５は、知覚度に基づいて目を模したパターンの表示を変更してもよい。上述したように、知覚度によって、例えばユーザが外部情報に含まれる外部画像を「見ている（知覚している）」、「見ていない（知覚していない）」という２値的な状態だけでなく、「外部画像が表示されたことは認識しているが当該外部画像の内容までは認識していない状態」が表現され得る。例えば、知覚度が比較的高い場合には、ユーザが外部画像をきちんと認識していることを表すように、目を模したパターンが外部提示部２５０の表示画面に明瞭に表示されてもよい。一方、知覚度が比較的低い場合には、ユーザが外部画像をあまり認識していないことを表すように、外部提示部２５０の表示画面に何も表示されなくてもよい。また、例えば、知覚度が中程度である場合（上記「外部画像が表示されたことは認識しているが当該外部画像の内容までは認識していない状態」である場合）には、外部提示部２５０の表示画面に目を模したパターンがぼやけて表示される又は目を閉じたパターンが表示される等、知覚度が中間状態にある様子を表すような表示がされてもよい。このように、外部提示部２５０の表示画面に、ユーザの知覚度の度合いを反映した表示がなされることにより、外部からユーザに対してコミュニケーションを取ろうとしている人は、ユーザが自分を認識しているかどうかを知ることができる。

なお、提示状態制御部２４５による提示状態制御の具体例については、下記［２−３．提示状態の具体例］で詳しく説明する。また、通知状態制御部１４２による通知状態制御と提示状態制御部２４５による提示状態制御との関連性の具体例については、下記［２−４．通知状態及び提示状態の具体例］で詳しく説明する。

以上、図９を参照して、本開示の第２の実施形態に係る遮蔽型ＨＭＤ装置２０の一構成例について詳細に説明した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、制御部２４０については、その各構成要素の機能をＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。なお、遮蔽型ＨＭＤ装置２０のハードウェア構成については、下記＜３．ハードウェア構成＞で詳しく説明する。

以上、図９を参照して説明したように、第２の実施形態においては、提示状態制御部２４５によって、通知状態制御部１４２によって切り換えられた外部情報のユーザに対する通知状態に基づいて、ユーザの当該外部情報への反応を示す情報をユーザの外部に対して提示する提示状態が切り換えられる。従って、第２の実施形態においては、第１の実施形態によって得られる効果に加えて以下の効果を得ることができる。すなわち、第２の実施形態においては、外部の人に対して、ユーザの外部情報に対する反応が提示されるため、外部の人はユーザが外部情報（例えば、自分がユーザとコミュニケーションを取ろうとしていること）に気付いているかどうかといったユーザの状態を認識することができ、ユーザの状態に応じた適切な対応を取ることができる。従って、ユーザと外部の人とのより円滑なコミュニケーションが実現される。

また、第２の実施形態においては、知覚度判断部２４４によって、通知状態制御部１４２によって切り換えられた外部情報のユーザに対する通知状態及び内部情報取得部１４３によって取得された内部情報の少なくともいずれかに基づいて、ユーザの外部情報に対する知覚度が判断される。そして、提示状態制御部２４５は、内部情報及び知覚度の少なくともいずれかに基づいて、ユーザの当該外部情報への反応を示す情報をユーザの外部に対して提示する提示状態を切り換えてもよい。このように、提示状態に、例えば視線情報等のユーザの状態を表す情報や、ユーザの外部情報に対する知覚度が反映されることにより、外部の人は、ユーザが外部情報に気付いているかどうかだけでなく、ユーザの視線やユーザが外部情報に気付いている度合い等のより詳細なユーザの状態を認識することができるため、ユーザと外部の人とのコミュニケーションをより円滑なものとすることができる。

なお、提示状態制御部２４５による外部提示部２５０の提示状態制御においては、外部提示部２５０における提示状態は、通知状態、知覚度及び／又は内部情報に基づいて制御されるとともに、ユーザによる操作入力により、適宜切り換えられてもよい。つまり、ユーザから提示状態制御部２４５に対して適宜指令が入力されることにより、外部提示部２５０の表示画面における表示及び音声出力機器からの出力は変更されてよい。なお、提示状態制御を切り換えるためのユーザによる操作入力は、例えばボタンやスイッチにより行われてもよいし、図９に示す外部情報検出部１１０のカメラに向かって所定のジェスチャを行うことにより行われてもよい。

なお、上記では、提示状態制御部２４５が、外部提示部２５０の表示画面にユーザの目を模したパターンを表示させることにより、外部に対するユーザ反応情報の提示状態を切り換える場合について説明したが、本実施形態はかかる例に限定されない。例えば、提示状態制御部２４５は、外部提示部２５０の表示画面に文字や記号等のより直接的なメッセージを表示してもよいし、目以外の他のパターンを表示してもよい。また、外部提示部２５０の表示部が表示画面ではなくランプ等を有する場合には、当該ランプの駆動を制御することにより、ユーザ反応情報の外部に対する提示状態が切り換えられてもよい。

また、上記では、提示状態制御部２４５が、外部提示部２５０の表示画面の表示を制御することにより、外部に対するユーザ反応情報の提示状態を切り換える場合について説明したが、本実施形態はかかる例に限定されない。例えば、提示状態制御部２４５は、外部提示部２５０の音声出力機器の出力を制御することにより外部に対する提示状態を切り換えてもよい。例えば、通知状態、知覚度及び／又は内部情報に基づいて、外部提示部２５０の音声出力機器からユーザの外部情報への反応を示す音声が出力されてもよい。当該音声は、人（例えばユーザ）の声であってもよいし、ブザーやアラーム等の音であってもよい。外部の人は、これらの外部提示部２５０の音声出力機器から出力される音声を聞くことにより、ユーザの状態を認識することができる。

また、図９に示す例では、遮蔽型ＨＭＤ装置２０は、外部情報検出部１１０、内部情報検出部１２０、内部通知部１３０、外部提示部２５０及び制御部２４０を備えているが、本実施形態はかかる例に限定されない。例えば、遮蔽型ＨＭＤ装置２０は、ユーザが各種の情報を入力するための入力部、遮蔽型ＨＭＤ装置２０において処理される各種の情報を記憶するための記憶部、外部の他の機器と相互に各種の情報を送受信するための通信部等の構成を更に有してもよい。また、遮蔽型ＨＭＤ装置２０は１台の装置によって構成されなくてもよく、遮蔽型ＨＭＤ装置２０が備える各機能は、任意に複数の装置に分離されて構成されてもよい。例えば、ユーザに装着される装置には外部情報検出部１１０、内部情報検出部１２０、内部通知部１３０及び外部提示部２５０のみが搭載され、制御部２４０は他の装置、例えば、ユーザが所有するスマートフォンやタブレットＰＣ、及び他の場所に設置されたサーバ等の任意の情報処理装置に搭載され、ユーザに装着される装置と制御部２４０が搭載された情報処理装置とが、任意の通信網（ネットワーク）を介して相互に各種の情報を送受信することにより、以上説明した遮蔽型ＨＭＤ装置２０における各種の処理が行われてもよい。

［２−３．提示状態の具体例］
次に、図１０Ａ、図１０Ｂ、図１１、図１２Ａ及び図１２Ｂを参照して、提示状態制御部２４５による提示状態制御の具体例について詳しく説明する。なお、以下の提示状態制御の具体例についての説明では、提示状態制御部２４５が外部提示部２５０の表示画面の表示を制御することにより、提示状態が切り換えられる場合を例に挙げて説明を行う。また、図１０Ａ、図１０Ｂ、図１１、図１２Ａ及び図１２Ｂでは、第２の実施形態に係る遮蔽型ＨＭＤ装置２０を装着したヒト６００を正面から見た様子を図示している。

まず、図１０Ａ及び図１０Ｂを参照して、ユーザに対して外部情報が通知されていない状態における、提示状態制御部２４５による外部提示部２５０の表示画面の制御について説明する。図１０Ａ、図１０Ｂは、ユーザに対して外部情報が通知されていない状態における、提示状態制御部２４５による外部提示部２５０の表示画面の制御の一具体例について説明するための説明図である。なお、ユーザに対して外部情報が通知されていない状態とは、例えば、図２及び図９に示す必要度判断部１４１によって、外部情報を通知する必要度が低いと判断された場合に対応している。

図１０Ａを参照すると、遮蔽型ＨＭＤ装置２０の外部に面した表示画面６１０には、横方向のラインが表示されている。なお、表示画面６１０は、図９に示す外部提示部２５０の表示画面に対応している。このように、外部情報が検出されたにもかかわらずユーザに対して当該外部情報が通知されていない場合には、表示画面６１０に横方向のラインが表示されることにより、ユーザに対して外部情報が通知されていない旨が外部に対して提示されてよい。例えば、外部情報が外部の人がユーザに対して近付いてきた旨の情報である場合、近付いてきた当該外部の人は、ユーザがまだ自分に気付いていないことを認識することができるため、例えばユーザに対して特定のジェスチャを行う等、更なるアクションを取ることにより、ユーザに対して自分がコミュニケーションを取りたいという外部情報を通知させることができる。

また、図１０Ｂを参照すると、遮蔽型ＨＭＤ装置２０の外部に面した表示画面６１０には、「ＤＯ ＮＯＴ ＤＩＳＴＵＲＢ」の文字とともに禁止を表す記号が表示されている。このように、外部情報が検出されたにもかかわらず、ユーザに対して当該外部情報が通知されていない場合に、ユーザによる設定に応じて、作業に集中したい旨の情報が表示画面６１０に表示されてもよい。外部情報が外部の人がユーザに対して近付いてきた旨の情報である場合、近付いてきた当該外部の人は、ユーザがまだ自分に気付いていないこと及びユーザが作業に集中したがっていることを認識することができるため、急用でなければ機会を改めてユーザに対して接触を図る等、状況に応じた適切な対応を取ることができる。

以上、図１０Ａ及び図１０Ｂを参照して説明したように、ユーザに対して外部情報が通知されていない状態には、外部に対する表示画面６１０に、図１０Ａに示す横方向のラインのような、ユーザが外部情報に気付いていない旨を表す表示がなされてもよい。更に、ユーザによる設定に応じて、図１０Ｂに示すようにユーザが作業に集中したがっている旨の情報が表示画面６１０に表示されてもよい。

次に、図１１を参照して、ユーザの視線情報に基づく提示状態制御部２４５による外部提示部２５０の表示画面の制御について説明する。図１１は、ユーザの視線情報に基づく提示状態制御部２４５による外部提示部２５０の表示画面の制御の一具体例について説明するための説明図である。なお、図１１では、ユーザに対して外部情報が通知されている状態であり、そのことを表す表示の一例として、図９に示す外部提示部２５０の表示画面に、ユーザの目を模したパターンが表示される場合について図示している。

図１１を参照すると、遮蔽型ＨＭＤ装置２０の外部に面した表示画面６１０には、ユーザの目を模したパターンが表示されている。また、図１１に示すように、当該目を模したパターンは、ユーザの視線に応じて動くように表示画面６１０における表示が変更される。これは、図９を参照して説明したように、提示状態制御部２４５が、内部情報に含まれるユーザの視線情報に基づいて、ユーザの視線の変化に応じて外部提示部２５０の表示画面における目を模したパターンの表示を制御することに対応している。このように、ユーザに対して外部情報が通知されている状態では、表示画面６１０に表示された目を模したパターンがユーザの視線に応じて動くように表示されてもよい。従って、表示画面６１０を視認した外部の人は、ユーザが自分が近付いてきたことに気付いているかどうかを認識することができるとともに、ユーザが自分を見ているかどうかを認識することができるため、ユーザとより円滑なコミュニケーションを取ることが可能となる。

また、図１２Ａ及び図１２Ｂには、ユーザの視線情報に基づく提示状態制御部２４５による外部提示部２５０の表示画面の制御の他の具体例が図示されている。図１２Ａ及び図１２Ｂは、ユーザの視線情報に基づく提示状態制御部２４５による外部提示部２５０の表示画面の制御の他の具体例について説明するための説明図である。図１２Ａを参照すると、遮蔽型ＨＭＤ装置２０の外部に面した表示画面６１０には、ユーザの目を模したパターンが表示されているが、目が閉じられていることを示すパターンが表示されている。また、図１２Ｂを参照すると、表示画面６１０には、同じくユーザの目を模したパターンが表示されているが、瞬きを示すパターンが表示されている。このように、表示画面６１０には、ユーザの視線だけでなく、ユーザのまぶたの様子や目の開閉状態等、目の状態を表すあらゆる情報が表示されてよい。例えば、ユーザが涙を流している場合には、表示画面６１０にユーザが泣いている旨を表す情報が表示されてもよい。従って、外部に人は、ユーザの状態をより詳細に認識することができるため、ユーザとより円滑なコミュニケーションを取ることが可能となる。

以上、図１１、図１２Ａ及び図１２Ｂを参照して説明したように、外部に対する表示画面６１０には、ユーザの目の状態を表す各種の情報が表示されてよい。ここで、人同士の対面コミュニケーションにおいては、言葉によって得られる情報とともに、目の状態から得られる情報の重要性が指摘されている。例えば、相手の目が隠された状態で会話を行った場合には、相手の意思や考えを理解し難くなると言われている。従って、本実施形態のように、遮蔽型ＨＭＤ装置２０の外部に対する表示画面６１０にユーザの目の状態を表す情報を表示することにより、外部の人に対してユーザの意思や考えがより伝わりやすくなる。

［２−４．通知状態及び提示状態の具体例］
次に、図１３及び図１４を参照して、図９に示す通知状態制御部１４２による通知状態制御と提示状態制御部２４５による提示状態制御との関連性の具体例について説明する。図１３及び図１４は、通知状態制御部１４２による通知状態制御と提示状態制御部２４５による提示状態制御との関連性の具体例について説明するための説明図である。図１３及び図１４では、図の左側に図９に示す内部通知部１３０の表示画面が順に変化する様子を図示し、図の右側に内部通知部１３０の表示画面の変化に対応して外部提示部２５０の表示画面が順に変化する様子を図示している。また、図１３は、一具体例として、図４Ａに示した場合、すなわち、内部通知部１３０の表示画面５１０の表示及び音声出力機器からの出力が、コンテンツ画像５２０及びコンテンツ音声から外部画像５３０及び外部音声に切り換えられる場合を示している。また、図１４は、一具体例として、図４Ｄに示した場合、すなわち、内部通知部１３０の表示画面５１０のコンテンツ画像５２０の表示の一部領域に外部画像５３０が重畳されて表示され、音声出力機器によってコンテンツ音声に外部音声が重畳して出力される場合を示している。

図１３を参照すると、１段目では、内部通知部１３０の表示画面５１０にはコンテンツ画像が表示されており、内部通知部１３０の音声出力機器からはコンテンツ音声が出力されている。つまり、１段目に示す状態は、ユーザに対してコンテンツ情報が通知されている状態であり、ユーザが作業を行っている状態である。このように、１段目に示す状態では、外部情報が検出されておらず、ユーザに対して通知もされていない状態であるため、外部提示部２５０の表示画面６１０には何も表示されていない。

図１３の２段目は、外部情報（例えば、外部の人がユーザに近付いてきた旨の情報）が検出され、内部通知部１３０の表示画面５１０の表示及び音声出力機器からの出力が、コンテンツ画像５２０及びコンテンツ音声から外部画像５３０及び外部音声に切り換えられる遷移状態を示している。このように、内部通知部１３０の表示画面５１０の表示が切り換えられるとき、表示画面５１０の表示が遷移することをユーザに対して示すために、表示画面５１０に何も表示されない状態が所定の時間設けられてもよい。ユーザは、表示画面５１０の表示が何も表示されない状態に切り換わることで、何らかの外部情報が検出されたことを認識することができる。また、２段目に示す状態は、ユーザにとっては、「外部情報が検出されたことは認識しているが当該外部情報の内容までは認識していない状態」である。従って、外部提示部２５０の表示画面６１０にはその旨を表す情報が表示されてよい。図１３に示す例では、ユーザが「外部情報が検出されたことは認識しているが当該外部情報の内容までは認識していない状態」であることを表すために、図１２Ａに示したような目が閉じられたパターンが表示されている。このように表示画面６１０の表示が切り換わることで、ユーザに近付いてきた外部の人は、ユーザがまだ外部情報の内容までは認識していない状態であることを認識することができる。ただし、ユーザが「外部情報が検出されたことは認識しているが当該外部情報の内容までは認識していない状態」であることを表すための表示画面６１０の表示は、図１３の２段目に示す例に限定されず、外部の人にその旨提示できれば他のパターンが表示されてもよい。

図１３の３段目は、内部通知部１３０の表示画面５１０の表示及び音声出力機器からの出力が外部画像５３０及び外部音声に切り換えられた直後の状態を示している。このように表示画面５１０に外部画像５３０が表示されることにより、ユーザは外部の状況を認識することができる。また、外部提示部２５０の表示画面６１０には、ユーザが外部画像５３０を見ていることを示すために、ユーザの目を模したパターンが表示される。ただし、３段目に示す状態は、表示画面５１０の表示が外部画像５３０に切り換わった直後の状態であるため、ユーザは外部画像５３０の全体を見ており、外部画像５３０に含まれる人物に視線を向けてはいない。従って、表示画面６１０に表示される目を模したパターンは、ユーザの視線が正面を向いていることを示すように表示される。このように表示画面６１０の表示が切り換わることで、ユーザに近付いてきた外部の人は、ユーザが外部画像を見ていることを認識できるとともに、目を模したパターンの表示位置に基づいてユーザが自分の方を見ていないことを認識することができる。

図１３の４段目は、内部通知部１３０の表示画面５１０の表示及び音声出力機器からの出力が外部画像５３０及び外部音声に切り換えられ、ユーザが近付いてきた外部の人物を認識した状態を示している。つまり、ユーザは、表示画面５１０に表示される外部画像５３０を視認することにより外部の人が近付いてきたことを認識し、外部画像５３０における当該人物に視線を向けている。外部提示部２５０の表示画面６１０には、ユーザが外部画像５３０を見ていることを示すためにユーザの目を模したパターンが表示されており、当該目を模したパターンは、ユーザの視線を表すように、近付いてきた外部の人の方向（図１３に示す例ではユーザから見て右方向）を向いて表示される。このように表示画面６１０の表示が切り換わることで、ユーザに近付いてきた外部の人は、ユーザが自分の方を見ていることを認識することができる。

次に、図１４を参照して、図９に示す通知状態制御部１４２による通知状態制御と提示状態制御部２４５による提示状態制御との関連性の他の具体例について説明する。

図１４を参照すると、１段目に示す状態は、図１３の１段目に示す状態と同様である。すなわち、１段目に示す状態は、ユーザに対してコンテンツ情報が通知されている状態であり、外部提示部２５０の表示画面６１０には何も表示されていない。

図１４の２段目は、外部情報（例えば、外部の人がユーザに近付いてきた旨の情報）が検出され、内部通知部１３０の表示画面５１０のコンテンツ画像５２０の表示の一部領域に外部画像５３０が重畳されて表示されるとともに、音声出力機器によってコンテンツ音声に外部音声が重畳して出力された直後の状態を示している。２段目に示す状態は、ユーザに対して外部情報が通知された直後の状態であるため、ユーザにとっては、「外部情報が検出されたことは認識しているが当該外部情報の内容までは認識していない状態」である。従って、外部提示部２５０の表示画面６１０にはその旨を表す情報が表示されてよい。図１４に示す例では、図１３と同様、ユーザが「外部情報が検出されたことは認識しているが当該外部情報の内容までは認識していない状態」であることを表すために、図１２Ａに示したような目が閉じられたパターンが表示されている。このような外部提示部２５０の表示画面６１０の表示は、図９に示す提示状態制御部２４５によって、例えば外部情報が内部通知部１３０の表示画面５１０に表示されてから所定の時間表示されるように制御されてもよい。図１４に示すように、内部通知部１３０の表示画面５１０にコンテンツ画像５２０及び外部画像５３０が両方表示される場合には、外部画像が内部通知部１３０の表示画面５１０に表示された瞬間には、ユーザはコンテンツ画像を参照しながら作業を続行しているため、当該外部画像５３０をすぐには視認することができず、当該外部画像５３０の内容を認識するために所定の時間を要すると考えられるからである。図１４の２段目に示すように表示画面６１０の表示が切り換わることで、ユーザに近付いてきた外部の人は、ユーザが外部情報の内容までは認識していない状態であると認識することができる。ただし、ユーザが「外部情報が検出されたことは認識しているが当該外部情報の内容までは認識していない状態」であることを表すための表示画面６１０の表示は、図１４の２段目に示す例に限定されず、外部の人にその旨提示できれば他のパターンが表示されてもよい。

図１４の３段目は、内部通知部１３０の表示画面５１０のコンテンツ画像５２０の表示の一部領域に外部画像５３０が重畳されて表示されるとともに、音声出力機器によってコンテンツ音声に外部音声が重畳して出力されてから、所定の時間が経過した状態を示している。外部情報が内部通知部１３０の表示画面５１０に表示されてから所定の時間が経過しているため、ユーザは外部の状況を認識している状態にある。従って、外部提示部２５０の表示画面６１０には、ユーザが外部画像５３０を見ていることを示すために、ユーザの目を模したパターンが表示される。ただし、３段目に示す状態は、表示画面５１０の表示が外部画像５３０に切り換わってはいるものの、ユーザは外部画像５３０に含まれる人物に視線を向けてはいない。よって、表示画面６１０に表示される目を模したパターンは、ユーザの視線が正面を向いていることを示すように表示される。このように表示画面６１０の表示が切り換わることで、ユーザに近付いてきた外部の人は、ユーザが外部画像を見ていることを認識できるとともに、目を模したパターンの表示位置に基づいてユーザが自分の方を見ていないことを認識することができる。

図１４の４段目は、図１３の４段目に示す状態と同様の状態であり、内部通知部１３０の表示画面５１０の表示及び音声出力機器からの出力が外部画像５３０及び外部音声に切り換えられた状態を示している。また、ユーザは、表示画面５１０に表示される外部画像５３０を視認することにより外部の人が近づいてきたことを認識し、外部画像５３０における当該人物に視線を向けている。このとき、外部提示部２５０の表示画面６１０には、ユーザが外部画像５３０を見ていることを示すためにユーザの目を模したパターンが表示されており、当該目を模したパターンは、ユーザの視線を表すように、近付いてきた外部の人の方向（図１４に示す例ではユーザから見て右方向）を向いて表示される。このように表示画面６１０の表示が切り換わることで、ユーザに近付いてきた外部の人は、ユーザが自分の方を見ていることを認識することができる。

以上、図１３及び図１４を参照して、図９に示す通知状態制御部１４２による通知状態制御と提示状態制御部２４５による提示状態制御との関連性の具体例について説明した。以上説明したように、第２の実施形態に係る遮蔽型ＨＭＤ装置２０では、内部通知部１３０の表示画面５１０の表示に連動して、外部提示部２５０の表示画面６１０にユーザの外部情報への反応を表す情報が表示される。また、表示画面６１０に表示される情報には、内部通知部１３０による通知状態、ユーザの外部情報に対する知覚度及び／又は内部情報が反映されている。従って、ユーザに対してコミュニケーションを取ろうとしている外部の人は、ユーザが自分が近づいてきたことを認識しているかどうか、認識している場合には自分の方を見ているかどうか、といった、外部情報に対するユーザの反応を詳細に認識することができる。従って、当該外部の人は、例えばユーザの視線が自分の方を向くまで待ってから話し掛ける等、コミュニケーションを取るために適切な対応を取ることができる。

なお、図１３及び図１４に示す表示画面５１０の表示及び表示画面６１０の表示は、必ずしもこれらの図に示す順番に変化する必要はなく、また、所定の時間が経過することによって変化しなくてもよい。表示画面５１０の表示及び表示画面６１０の表示は、ユーザによる操作入力により、適宜切り換えられてよい。例えば、図１４に示す例であれば、表示画面５１０の表示及び表示画面６１０の表示は、３段目に示す状態でユーザに外部情報が通知された後、ユーザによる操作入力により、外部の人とのコミュニケーションに集中したい場合には４段目に示す状態に遷移してもよいし、作業を続行しながら外部の人とコミュニケーションを取りたい場合には３段目に示す状態のままで変化しなくてもよい。

また、第２の実施形態においては、通知状態制御部１４２による通知状態制御と提示状態制御部２４５による提示状態制御との関連性は、図１３及び図１４に示した例に限定されない。ユーザの外部情報に対する反応が、ユーザに対して外部情報が通知されているかどうか、通知されている場合にはその通知状態やユーザによる知覚度等に応じて外部に対して提示されればよく、その提示状態はマーク、文字、記号、音声等、あらゆる状態であってよい。また、どのような場合にどのような情報を提示するかは、ユーザによって適宜設定されてよい。つまり、特定の通知状態、知覚度及び内部情報に対して、外部に対して提示されるユーザ反応情報の種類及びその提示状態が、ユーザによって適宜設定可能であってよい。このように、ユーザは、提示状態制御について、状況に応じた詳細な設定を行うことができるため、ユーザの意思や志向をより円滑に外部の人に伝達することが可能となる。

なお、上記の図１３及び図１４の２段目に示す状態である、「ユーザが外部情報が検出されたことは認識しているが当該外部情報の内容までは認識していない状態」とは、例えば、上記のように外部情報が通知される際のコンテンツ情報からの遷移状態、外部情報が通知された直後の状態、図５に示す段階的に外部情報が通知されている状態、及び図６Ａ−図６Ｃに示す外部情報が検出されたことを示す情報が通知されている状態等である。

［２−５．提示状態制御方法の処理手順］
次に、図１５を参照して、本開示の第２の実施形態に係る提示状態制御方法における処理手順について説明する。図１５は、本開示の第２の実施形態に係る提示状態制御方法における処理手順を示すフロー図である。なお、以下の提示状態制御方法の処理手順についての説明において、外部情報検出部１１０、内部情報検出部１２０、内部通知部１３０、外部提示部２５０及び制御部２４０の機能及び構成については、図９を参照して上述しているため、詳細な説明は省略する。また、図１５におけるステップＳ８０１〜ステップＳ８０９での各処理は、図７に示す第１の実施形態に係る通知状態制御方法における処理手順のステップＳ７０１〜Ｓ７０９での各処理と同様であるため、以下の提示状態制御方法の処理手順についての説明においては、ステップＳ８０１〜ステップＳ８０９での各処理についての詳細な説明は省略する。

図１５を参照すると、上述したように、ステップＳ８０１〜ステップＳ８０９において、図７に示す第１の実施形態に係る通知状態制御方法における処理手順のステップＳ７０１〜Ｓ７０９での各処理と同様の処理が行われている。すなわち、ステップＳ８０９では、通知状態制御部１４２によって、必要度判断部１４１によって判断された必要度に基づいて、内部通知部１３０におけるユーザに対する外部情報の通知状態が制御されている。ただし、ステップＳ８０５における内部情報の取得処理は、ステップＳ８０７における必要度判断部１４１による必要度の判断処理、後述するステップＳ８１１における知覚度判断部２４４による知覚度の判断処理及び／又は後述するステップＳ８１３における提示状態制御部２４５による提示状態の制御処理において内部情報が用いられない場合には、省略されてもよい。ステップＳ８０９において外部情報の通知状態が制御されると、ステップＳ８１１に進む。

ステップＳ８１１では、知覚度判断部２４４によって、通知状態制御部１４２によって切り換えられた通知状態及び内部情報取得部１４３によって取得された内部情報の少なくともいずれかに基づいて、ユーザの外部情報の知覚度が判断される。ここで、上記［２−２．遮蔽型ＨＭＤ装置の構成］で説明したように、ユーザの知覚度は、内部通知部１３０における外部情報の通知状態や、生体情報に含まれる視線情報等の情報に基づいて、いくつかの段階として又はスコアとして判断されてよい。なお、後述するステップＳ８１３における提示状態制御部２４５による提示状態の制御処理において知覚度が用いられない場合には、ステップＳ８１１における処理は省略されてもよい。

次に、ステップＳ８１３で、提示状態制御部２４５によって、通知状態制御部１４２によって切り換えられた通知状態に基づいて、ユーザの外部情報への反応を示す情報をユーザの外部に対して提示する提示状態が切り換えられる。また、提示状態制御部２４５による提示状態の切り換えは、ステップＳ８０５で取得される内部情報及び／又はステップＳ８１１で判断される知覚度に基づいて行われてもよい。また、提示状態制御部２４５による提示状態の切り換えは、例えば、上記［２−３．提示状態の具体例］及び［２−４．通知状態及び提示状態の具体例］で説明したように、ユーザの外部情報への反応を表す各種のマークや文字等が、外部に面した表示画面に表示されることによって行われてもよい。

最後に、ステップＳ８１５で、ステップＳ８１３で制御された提示状態に基づいて、外部の人によってユーザに対して各種の対応が取られる。具体的には、例えば、ユーザが外部情報を認識しているとともに外部の人を認識している旨の情報（例えば、外部の人に視線を向けている旨の情報）が提示されている場合には、外部の人はユーザに対して話し掛ける等のコミュニケーションを取ることができる。また、例えば、ユーザが外部情報を認識していない旨の情報が提示されている場合には、外部の人は、ユーザに対して手を振る等更なるアクションを行い、自分の存在を認識してもらってから話し掛ける等のコミュニケーションを取ることができる。このように、外部の人は、ステップＳ８１３で制御された提示状態に基づいて、状況に応じた適切な対応を選択することができる。

以上、図１５を参照して、本開示の第２の実施形態に係る提示状態制御方法における処理手順について説明した。

＜３．ハードウェア構成＞
次に、図１６を参照しながら、本開示の第１及び第２の実施形態に係る遮蔽型ＨＭＤ装置１０、２０のハードウェア構成について、詳細に説明する。図１６は、本開示の第１及び第２の実施形態に係る遮蔽型ＨＭＤ装置１０、２０のハードウェア構成を説明するためのブロック図である。

遮蔽型ＨＭＤ装置１０、２０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、遮蔽型ＨＭＤ装置１０、２０は、更に、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、センサ装置９１４、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５を備える。

ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、遮蔽型ＨＭＤ装置１０、２０内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。ＣＰＵ９０１は、第１及び第２の実施形態においては、例えば、図２及び図９に示す制御部１４０、２４０に対応している。

ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インターフェース９１３を介してセンサ装置９１４、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。

センサ装置９１４は、ユーザの動きを検出するセンサや、現在位置を表す情報を取得するセンサ、ユーザの生体情報を検出するセンサ等の検出手段である。かかるセンサの一例として、加速度センサ、重力検知センサ、落下検出センサ等を含む３軸加速度センサ、角速度センサ、手振れ補正センサ、地磁気センサ等を含む３軸ジャイロセンサ等のモーションセンサ、ＧＰＳセンサ、脈拍センサや心拍センサ等を挙げることができる。また、センサ装置９１４は、上述のもの以外にも、温度計、照度計、湿度計、気圧計等の様々な測定機器を備えていてもよい。センサ装置９１４は、第１及び第２の実施形態においては、例えば、図２及び図９に示す内部情報検出部１２０に対応している。より具体的には、センサ装置９１４には、例えば図１Ａ、図１Ｂ、図８Ａ及び図８Ｂに示す視線センサ部３１４ａ、３１４ｂが含まれる。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバー等ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、遮蔽型ＨＭＤ装置１０、２０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。遮蔽型ＨＭＤ装置１０、２０のユーザは、この入力装置９１５を操作することにより、遮蔽型ＨＭＤ装置１０、２０に対して各種のデータを入力したり処理動作を指示したりすることができる。第１及び第２の実施形態においては、例えば、入力装置９１５を介したユーザによる操作入力により、図２及び図９に示す通知状態制御部１４２及び提示状態制御部２４５によって、内部通知部１３０及び外部提示部２５０の表示及び音声出力が制御されてよい。

出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、プラズマディスプレイ装置、有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）装置、無機ＥＬディスプレイ（ＩＥＬＤ：Ｉｎｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）装置及びランプ（例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ））等の表示装置や、スピーカ、イヤホン及びヘッドホン等の音声出力装置や、プリンタ装置、携帯電話、ファクシミリ等がある。出力装置９１７は、例えば、遮蔽型ＨＭＤ装置１０、２０が行った各種処理により得られた結果を出力する。具体的には、上記表示装置は、遮蔽型ＨＭＤ装置１０、２０が行った各種処理により得られた結果を、テキスト、イメージ等様々な形式で表示する。当該表示装置は、第１及び第２の実施形態においては、例えば、図２及び図９に示す内部通知部１３０及び外部提示部２５０における表示部の構成に対応している。より具体的には、当該表示装置は、例えば図１Ａ、図１Ｂ、図８Ａ及び図８Ｂに示す内部表示部３１３ａ、３１３ｂ及び外部表示部３１５に対応している。また、上記音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。当該音声出力装置は、第１及び第２の実施形態においては、例えば、図２及び図９に示す内部通知部１３０及び外部提示部２５０における音声出力部の構成に対応している。また、出力装置９１７には、イヤホン及びヘッドホン等の音声出力装置を接続するためのイヤホンジャックが設けられてもよい。

ストレージ装置９１９は、遮蔽型ＨＭＤ装置１０、２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種データ等を格納する。ストレージ装置９１９は、第１及び第２の実施形態においては、通知状態制御処理及び提示状態制御処理において処理される各種の情報を記憶することができる。

ドライブ９２１は、記録媒体用リーダライタであり、遮蔽型ＨＭＤ装置１０、２０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）または電子機器等であってもよい。ドライブ９２１は、第１及び第２の実施形態においては、通知状態制御処理及び提示状態制御処理において処理される各種の情報の、各種のリムーバブル記録媒体９２７への書き込み及び読み出しを行う。

接続ポート９２３は、機器を遮蔽型ＨＭＤ装置１０、２０に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、遮蔽型ＨＭＤ装置１０、２０は、外部接続機器９２９から直接各種データを取得したり、外部接続機器９２９に各種データを提供したりする。第１及び第２の実施形態においては、遮蔽型ＨＭＤ装置１０、２０は、接続ポート９２３を介して、通知状態制御処理及び提示状態制御処理において処理される各種の情報を、各種の外部接続機器９２９と相互に送受信することができる。

通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。また、通信装置９２５における通信方式（規格）には、例えば、３Ｇ（第３世代移動通信システム）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、ＦｅｌｉＣａ（登録商標）やＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等、あらゆる通信方式が適用されてよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。第１及び第２の実施形態においては、通信装置９２５により、遮蔽型ＨＭＤ装置１０、２０と各種の外部機器との間で、通知状態制御処理及び提示状態制御処理において処理される各種の情報が相互に送受信されてよい。例えば、通信装置９２５は、図２及び図９に示す外部情報検出部１１０に対応していてもよく、外部の人が所有する機器との間で相互に情報を送受信することができ、当該機器の機器情報を外部情報として受信することができる。

また、図１６には図示しないが、遮蔽型ＨＭＤ装置１０、２０は、以下の構成を備えてもよい。例えば、遮蔽型ＨＭＤ装置１０、２０は、周囲の様子を画像として表す画像信号を取得する撮像装置や、周囲の様子を音声として表す音声信号を取得する録音装置等を備えてもよい。当該撮像装置及び当該録音装置は、第１及び第２の実施形態においては、例えば、図２及び図９に示す外部情報検出部１１０に対応している。より具体的には、当該撮像装置及び当該録音装置は、例えば、図１Ａ、図１Ｂ、図８Ａ及び図８Ｂに示すカメラ３１１及びマイクロホン３１２に対応している。また、遮蔽型ＨＭＤ装置１０、２０は、遮蔽型ＨＭＤ装置１０、２０における上記の各構成に電力を供給する電源装置（バッテリ装置）を備えてもよい。当該電源装置には、例えばリチウムイオン二次電池等の各種の二次電池が適用される。

以上、本開示の第１及び第２の実施形態に係る遮蔽型ＨＭＤ装置１０、２０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

なお、上述のような第１及び第２の実施形態に係る遮蔽型ＨＭＤ装置１０、２０の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。

＜４．まとめ＞
以上説明したように、本開示の第１及び第２の実施形態においては、以下の効果を得ることができる。

第１の実施形態においては、必要度判断部１４１によって、ユーザの外部の状況を表す外部情報に基づいて、当該外部情報をユーザに対して通知する必要度が判断される。また、通知状態制御部１４２によって、判断された必要度に基づいて、当該外部情報のユーザに対する通知状態が切り換えられる。このように、ユーザに対して外部情報を通知する必要度が判断され、判断された必要度に基づいて当該外部情報の通知が行われるため、ユーザは外部情報が検出されたことを認識できるとともに、その外部情報に対して適切な対応を取ることができ、外部の人とより円滑なコミュニケーションを取ることが可能となる。例えば、必要度が高い場合には、外部情報が直ちにユーザに対して通知されるため、ユーザは外部情報を直ちに認識し、ユーザに対してコミュニケーションを取ろうとしている外部の人に対して素早く応答することができる。また、必要度が中である又は低い場合には、外部情報が段階的にユーザに対して通知される又は外部情報が検出された旨の情報がユーザに対して通知されるため、ユーザは、そのとき行っている作業を優先させたり、作業を中断してすぐに外部に対して応答したり、状況に応じた対応を選択することができ、ユーザの利便性がより向上する。

また、第２の実施形態においては、第１の実施形態によって得られる効果に加えて以下の効果を得ることができる。

第２の実施形態においては、提示状態制御部２４５によって、通知状態制御部１４２によって切り換えられた外部情報のユーザに対する通知状態に基づいて、ユーザの当該外部情報への反応を示す情報をユーザの外部に対して提示する提示状態が切り換えられる。このように、外部の人に対して、ユーザの外部情報に対する反応が提示されるため、外部の人はユーザが外部情報（例えば、自分がユーザとコミュニケーションを取ろうとしていること）に気付いているかどうかといったユーザの状態を認識することができ、そのユーザの状態に応じた適切な対応を取ることができる。従って、ユーザと外部の人とのより円滑なコミュニケーションが実現される。

また、第２の実施形態においては、知覚度判断部２４４によって、通知状態制御部１４２によって切り換えられた外部情報のユーザに対する通知状態及び内部情報取得部１４３によって取得された内部情報の少なくともいずれかに基づいて、ユーザの外部情報に対する知覚度が判断される。そして、提示状態制御部２４５は、内部情報及び知覚度の少なくともいずれかに基づいて、ユーザの当該外部情報への反応を示す情報をユーザの外部に対して提示する提示状態を切り換えてもよい。このように、提示状態に、例えば視線情報等のユーザの状態を表す情報や、ユーザの外部情報に対する知覚度が反映されることにより、外部の人は、ユーザが外部情報に気付いているかどうかだけでなく、ユーザの視線やユーザが外部情報に気付いている度合い等のより詳細なユーザの状態を認識することができるため、ユーザと外部の人とのコミュニケーションをより円滑なものとすることができる。

また、第２の実施形態においては、ユーザの外部情報に対する反応として、ユーザの視線情報に基づいて、例えばユーザの目を模したパターンが外部に対して提示される。また、ユーザの外部情報に対する反応として、例えばユーザが作業を続けたい旨の情報が外部に対して提示される。従って、ユーザとコミュニケーションを取ろうとしている外部の人に対して、作業を続けたい、コミュニケーションを取りたい等のユーザの意思や感情を伝えることができる。

今後、遮蔽型ＨＭＤ装置がより普及すれば、現在ＰＣやスマートフォン等の情報処理装置において、机上又は手元の表示画面を参照して行われている作業が、遮蔽型ＨＭＤ装置を装着して行われることが考えられる。本開示の第１の実施形態及び第２の実施形態によれば、遮蔽型ＨＭＤ装置１０、２０を装着しているユーザ同士又は遮蔽型ＨＭＤ装置１０、２０を装着しているユーザと外部の人とのより円滑な意思疎通が実現される。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）ユーザの外部の状況を表す外部情報に基づいて、前記外部情報をユーザに対して通知する必要度を判断する必要度判断部と、判断された必要度に基づいて、前記外部情報のユーザに対する通知状態を切り換える通知状態制御部と、を備える、情報処理装置。
（２）ユーザに関する情報である内部情報を取得する内部情報取得部、を更に備え、前記必要度判断部は、前記内部情報に基づいて前記必要度を判断する、前記（１）に記載の情報処理装置。
（３）前記内部情報は、ユーザの状態を表すユーザ情報を含み、前記必要度判断部は、前記ユーザ情報に基づいて前記必要度を判断する、前記（２）に記載の情報処理装置。
（４）前記ユーザ情報は、ユーザの動きを表す動き情報、ユーザの位置情報、ユーザの生体情報及びユーザの行動予定についての情報の少なくともいずれかを含む、前記（３）に記載の情報処理装置。
（５）前記内部情報は、前記外部情報以外の情報であってユーザに通知されている情報であるコンテンツ情報を含み、前記必要度判断部は、前記コンテンツ情報に基づいて前記必要度を判断する、前記（２）〜（４）のいずれか１項に記載の情報処理装置。
（６）前記コンテンツ情報は、ユーザに通知されている当該コンテンツのシーンについての情報を含む、前記（５）に記載の情報処理装置。
（７）前記必要度判断部は、前記内部情報に基づいて、前記外部情報以外の情報であってユーザに通知されている情報であるコンテンツ情報に対するユーザの没入度を判断し、当該没入度に更に基づいて前記必要度を判断する、前記（２）〜（６）のいずれか１項に記載の情報処理装置。
（８）前記通知状態制御部は、前記必要度を所定のしきい値と比較した結果に基づいて、前記外部情報のユーザに対する通知状態を切り換える、前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）前記通知状態制御部は、前記必要度が第１のしきい値以上である場合又は前記必要度が第１のしきい値よりも大きい場合、前記外部情報をユーザに通知させる、前記（８）に記載の情報処理装置。
（１０）前記外部情報は、ユーザの外部の状況を表す画像情報及び音声情報であり、前記通知状態制御部は、前記必要度が第１のしきい値以上である場合又は前記必要度が第１のしきい値よりも大きい場合、前記外部情報以外の情報であってユーザに通知されている情報であるコンテンツ情報に、前記画像情報及び前記音声情報を重畳させて通知させる、前記（９）に記載の情報処理装置。
（１１）前記外部情報は、ユーザの外部の状況を表す画像情報及び音声情報であり、前記通知状態制御部は、前記必要度が第１のしきい値以上である場合又は前記必要度が第１のしきい値よりも大きい場合、前記外部情報以外の情報であってユーザに通知されている情報であるコンテンツ情報を、前記画像情報及び前記音声情報に切り換えて通知させる、前記（９）に記載の情報処理装置。
（１２）前記必要度判断部は、前記外部情報に特定の情報が含まれる場合、前記必要度を前記第１のしきい値よりも大きく判断する、前記（９）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）前記通知状態制御部は、前記必要度が前記第１のしきい値未満であり前記第１のしきい値よりも小さい第２のしきい値以上である場合、前記必要度が前記第１のしきい値以下であり前記第２のしきい値以上である場合、前記必要度が前記第１のしきい値未満であり前記第２のしきい値よりも大きい場合、又は前記必要度が前記第１のしきい値以下であり前記第２のしきい値よりも大きいである場合、前記外部情報を段階的にユーザに対して通知させる、前記（９）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）前記外部情報は、ユーザの外部の状況を表す画像情報及び音声情報であり、前記通知状態制御部は、前記必要度が前記第１のしきい値未満であり前記第１のしきい値よりも小さい第２のしきい値以上である場合、前記必要度が前記第１のしきい値以下であり前記第２のしきい値以上である場合、前記必要度が前記第１のしきい値未満であり前記第２のしきい値よりも大きい場合、又は前記必要度が前記第１のしきい値以下であり前記第２のしきい値よりも大きいである場合、前記外部情報以外の情報であってユーザに通知されている情報であるコンテンツ情報に、前記音声情報を重畳させて通知させた後、前記画像情報を重畳させて通知させる、前記（１３）に記載の情報処理装置。
（１５）前記通知状態制御部は、前記必要度が前記第２のしきい値未満である場合又は前記必要度が前記第２のしきい値以下である場合、前記外部情報が検出されたことを表す所定の情報をユーザに対して通知させる、前記（１３）又は（１４）に記載の情報処理装置。
（１６）前記外部情報は、ユーザの外部の状況を表す画像情報及び音声情報であり、前記通知状態制御部は、前記必要度が前記第２のしきい値未満である場合又は前記必要度が前記第２のしきい値以下である場合、前記外部情報以外の情報であってユーザに通知されている情報であるコンテンツ情報を通知させたまま、当該画像情報又は当該音声情報が検出されたことを表す所定の情報をユーザに対して通知させるとともに前記画像情報又は前記音声情報が検出された方向をユーザに対して通知させる、前記（１５）に記載の情報処理装置。
（１７）前記外部情報は、ユーザの外部の状況を画像によって表す画像情報、ユーザの外部の状況を音声によって表す音声情報及びユーザの外部の他の機器との間の通信によって取得される当該他の機器に関する機器情報の少なくともいずれかを含む、前記（１）〜（１６）のいずれか１項に記載の情報処理装置。
（１８）前記外部情報に含まれるユーザの外部の状況を表す画像又は前記外部情報が検出されたことを表す所定の画像をユーザに対して表示する表示画面を有し、ユーザに装着された際に当該表示画面がユーザの眼前に位置することによってユーザの外部に対する視界を遮蔽する内部表示部、を更に備え、前記外部情報は、ユーザの外部の状況を表す画像情報を少なくとも含み、前記通知状態制御部は、前記内部表示部の表示画面における表示を切り換えることにより、前記外部情報のユーザに対する通知状態を切り換える、前記（１）〜（１７）のいずれか１項に記載の情報処理装置。
（１９）ユーザの外部の状況を表す外部情報に基づいて、前記外部情報をユーザに対して通知する必要度を判断することと、判断された必要度に基づいて、前記外部情報のユーザに対する通知状態を切り換えることと、を含む、通知状態制御方法。
（２０）コンピュータに、ユーザの外部の状況を表す外部情報に基づいて、前記外部情報をユーザに対して通知する必要度を判断する機能と、判断された必要度に基づいて、前記外部情報のユーザに対する通知状態を切り換える機能と、を実現させるためのプログラム。

１０、２０ 遮蔽型ＨＭＤ装置（情報処理装置）
１１０ 外部情報検出部
１２０ 内部情報検出部
１３０ 内部通知部
１４０、２４０ 制御部
１４１ 必要度判断部
１４２ 通知状態制御部
１４３ 内部情報取得部
２４４ 知覚度判断部
２４５ 提示状態制御部
２５０ 外部提示部
２１０、３１０ 本体部
３１１ カメラ
３１２ マイクロホン
３１３ａ、３１３ｂ 内部表示部
３１４ａ、３１４ｂ 視線センサ部
３１５ 外部表示部
３２０ バンド部

Claims (18)

1. ユーザの外部の状況を表す外部情報を取得する外部情報取得部と、
   前記ユーザに関する情報である内部情報を取得する内部情報取得部と、
   前記外部情報の前記ユーザに対する通知状態を切り換える通知状態制御部と、
   前記ユーザに装着された際に表示画面が前記ユーザの眼前に位置することによって前記ユーザの外部に対する視界を遮蔽する内部表示部と、
   を備え、
   前記外部情報は、外部の状況を表す画像情報、外部の状況を表す音声情報、および外部の他の機器との間の通信によって取得される当該他の機器に関する機器情報の少なくともいずれかに基づく前記外部情報の方向情報を含み、
   前記内部情報は、前記外部情報以外の情報であって、前記内部表示部により前記ユーザに通知されている情報であるコンテンツ情報を含み、
   前記外部情報取得部は、前記外部情報に基づいて前記外部情報を前記ユーザに対して通知する必要度を判断する必要度判断部として構成され、
   前記通知状態制御部は、前記必要度が所定の条件を満たしたことに基づいて、前記コンテンツ情報としてのコンテンツ画像上の前記外部情報の方向に対応する位置に、前記画像情報に対応する対応画像を重畳させる、情報処理装置。
2. 前記通知状態制御部は、前記所定の条件に基づく前記必要度の段階に応じて、前記画像情報に前記対応画像を重畳させる通知状態を切り替える、請求項１に記載の情報処理装置。
3. 前記通知状態制御部は、前記ユーザと前記外部情報との間の距離に応じて前記対応画像を変化させる、請求項１または２に記載の情報処理装置。
4. 前記通知状態制御部は、前記ユーザと前記外部情報との間の距離に応じて前記対応画像の大きさを変化させる、請求項３に記載の情報処理装置。
5. 前記通知状態制御部は、ユーザと前記外部情報との間の距離に応じて大きさを変化させる複数の前記対応画像を、前記外部情報の方向に対応する位置に応じて所定方向に並べて重畳させる、請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記必要度判断部は、前記内部情報に基づいて前記必要度を判断する、請求項１〜５のいずれか１項に記載の情報処理装置。
7. 前記内部情報は、前記ユーザの状態を表すユーザ情報を含み、
   前記必要度判断部は、前記ユーザ情報に基づいて前記必要度を判断する、
   請求項６に記載の情報処理装置。
8. 前記ユーザ情報は、前記ユーザの動きを表す動き情報、前記ユーザの位置情報、前記ユーザの生体情報及び前記ユーザの行動予定についての情報の少なくともいずれかを含む、
   請求項７に記載の情報処理装置。
9. 前記必要度判断部は、前記コンテンツ情報に基づいて前記必要度を判断する、請求項６〜８のいずれか１項に記載の情報処理装置。
10. 前記必要度判断部は、前記コンテンツ情報に対するユーザの没入度を判断し、当該没入度に更に基づいて前記必要度を判断する、
    請求項６〜９のいずれか１項に記載の情報処理装置。
11. 前記所定の条件は、しきい値であって、
    前記通知状態制御部は、前記必要度を所定のしきい値と比較した結果に基づいて、前記外部情報のユーザに対する通知状態を切り換える、
    請求項１〜１０のいずれか１項に記載の情報処理装置。
12. 前記通知状態制御部は、前記必要度が第１のしきい値以上である場合又は前記必要度が第１のしきい値よりも大きい場合、前記外部情報をユーザに通知させる、
    請求項１１に記載の情報処理装置。
13. 前記外部情報は、前記画像情報及び前記音声情報を含み、
    前記通知状態制御部は、前記必要度が第１のしきい値以上である場合又は前記必要度が第１のしきい値よりも大きい場合、前記コンテンツ情報に、前記画像情報及び前記音声情報を重畳させて通知させる、
    請求項１２に記載の情報処理装置。
14. 前記外部情報は、前記画像情報及び前記音声情報を含み、
    前記通知状態制御部は、前記必要度が第１のしきい値以上である場合又は前記必要度が第１のしきい値よりも大きい場合、前記コンテンツ情報を、前記画像情報及び前記音声情報に切り換えて通知させる、
    請求項１２に記載の情報処理装置。
15. 前記通知状態制御部は、前記必要度が前記第１のしきい値未満であり前記第１のしきい値よりも小さい第２のしきい値以上である場合、前記必要度が前記第１のしきい値以下であり前記第２のしきい値以上である場合、前記必要度が前記第１のしきい値未満であり前記第２のしきい値よりも大きい場合、又は前記必要度が前記第１のしきい値以下であり前記第２のしきい値よりも大きいである場合、前記コンテンツ情報に、前記音声情報を重畳させて通知させた後、前記対応画像を重畳することで前記通知状態を切り替える、
    請求項１２〜１４のいずれか１項に記載の情報処理装置。
16. 前記通知状態制御部は、前記必要度が前記第２のしきい値未満である場合又は前記必要度が前記第２のしきい値以下である場合、前記外部情報が検出されたことを表す所定の情報をユーザに対して通知させる、
    請求項１５に記載の情報処理装置。
17. ユーザの外部の状況を表す外部情報を取得することと、
    前記ユーザに関する情報である内部情報を取得することと、
    前記外部情報の前記ユーザに対する通知状態を切り換えることと、
    前記外部情報に基づいて前記外部情報を前記ユーザに対して通知する必要度を判断することと、
    を含み、
    前記外部情報は、外部の状況を表す画像情報、外部の状況を表す音声情報、および外部の他の機器との間の通信によって取得される当該他の機器に関する機器情報の少なくともいずれかに基づく前記外部情報の方向情報を含み、
    前記内部情報は、前記外部情報以外の情報であって、前記ユーザに通知されている情報であるコンテンツ情報を含み、
    前記ユーザに対する通知は、前記ユーザに装着された際に表示画面が前記ユーザの眼前に位置することによって前記ユーザの外部に対する視界を遮蔽する内部表示部で行われ、
    前記必要度が所定の条件を満たしたことに基づいて、前記コンテンツ情報としてのコンテンツ画像上の前記外部情報の方向に対応する位置に、前記画像情報に対応する対応画像を重畳させる、通知状態制御方法。
18. コンピュータに、
    ユーザの外部の状況を表す外部情報を取得することと、
    前記ユーザに関する情報である内部情報を取得することと、
    前記外部情報のユーザに対する通知状態を切り換えることと、
    前記外部情報に基づいて前記外部情報を前記ユーザに対して通知する必要度を判断することと、
    を実行させ、
    前記外部情報は、外部の状況を表す画像情報、外部の状況を表す音声情報、および外部の他の機器との間の通信によって取得される当該他の機器に関する機器情報の少なくともいずれかに基づく前記外部情報の方向情報を含み、
    前記内部情報は、前記外部情報以外の情報であって、前記ユーザに通知されている情報であるコンテンツ情報を含み、
    前記ユーザに対する通知は、前記ユーザに装着された際に表示画面が前記ユーザの眼前に位置することによって前記ユーザの外部に対する視界を遮蔽する内部表示部で行われ、
    前記必要度が所定の条件を満たしたことに基づいて、前記コンテンツ情報としてのコンテンツ画像上の前記外部情報の方向に対応する位置に、前記画像情報に対応する対応画像を重畳させることを実行させるためのプログラム。

Images