JP6108926B2 - ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法 - Google Patents

Description

本発明は、ウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法等に関する。

近年、「Internet of Things」（ＩｏＴ，モノのインターネット）という考え方が広く知られるようになっている。これは日常的な環境に配置されるあらゆる「モノ」が情報を持ち、ネットワーク化される世界を考えたものである。

例えば、冷蔵庫やエアコン等、家庭やオフィスに配置されるあらゆる家電が、いわゆる「スマート家電」と化し、それぞれの家電がインターネット等のネットワークに接続され情報の発信等を行う。また、「モノ」は家電等の電子機器に限定されるものではなく、植木や水槽、商店の棚に陳列されたあらゆる商品が対象となり得る。

このように多くの「モノ」がネットワークに接続され情報発信等を行う場合、所与のユーザの視点で考えれば情報の取捨選択が必要となる。例えば当該ユーザにとって関連性が著しく低い商品の情報を取得しても有用とは言えないし、そもそもネットワーク上に発信される情報量は膨大であり、全ての情報を閲覧することは現実的でない。

その際、何らかのセンシング処理を行い、センシングされた対象物の情報を取得することが考えられる。例えば、特許文献１には、周囲に埋め込まれたセンサからの情報を取得し、ヘッドマウントディスプレイ上に表示することで、周囲の状況を知る手法が開示されている。また特許文献２には、前方の視界を撮像した画像を、データベースにて解析して、撮像した対象物の関連情報を表示装置上に表示する手法が開示されている。

特開２０１０−１５１８６７号公報 特開２０１２−１５５３１３号公報

しかし特許文献１では、埋め込まれたセンサから情報を取得しており、何らかの電気的なデバイスによって信号を発信する必要があり、センサなどの電気的なデバイスが組み込まれていない対象物については情報が取得できない問題がある。

また特許文献２では、撮像素子で撮影した画像をもとに解析して関連情報を出す手法が記載されているが、撮像方向の対象物しか認識ができずに、撮像方向や視界方向以外に対象物がある場合に、対象物を検知できない、または対象物の存在に気が付かないといった問題があった。また、撮影の死角に入るような対象物は検知できない問題があった。

さらに、特許文献１及び特許文献２には、複数の対象物がセンシングされたときに、その中から１つを選択する等、ユーザの利便性等を考慮した表示制御手法は何ら開示されていない。

本発明の幾つかの態様によれば、視界センシングと周囲センシングの両方を行った上で、装着者に対して適切な情報を提示する表示制御を行うウェアラブル装置、プログラム及びウェアラブル装置の表示制御方法等を提供することができる。

本発明の一態様は、装着者の視界の一部の領域を表示領域とし、前記表示領域に拡大虚像を表示する表示部と、前記装着者の視界方向に存在する対象物をセンシングする視界センシングを行って、視界センシング情報を取得する視界センシング部と、前記装着者の周囲に存在する前記対象物をセンシングする周囲センシングの結果である、周囲センシング情報を取得する周囲センシング情報取得部と、前記視界センシング及び前記周囲センシングの少なくとも一方により認識された前記対象物である候補対象物の中から、選択された前記対象物の対象物情報を、前記表示部に表示する制御を行う表示制御部と、を含むウェアラブル装置に関係する。

本発明の一態様では、ウェアラブル装置は視界センシング情報と周囲センシング情報の両方を取得し、視界センシングと周囲センシングの少なくとも一方で認識された候補対象物の中から、選択された対象物の情報を表示する制御を行う。これにより、従来手法に比べて装着者にとって関心が高いと考えられる対象物を適切に認識することが可能になるとともに、認識された候補対象物に対して選択処理を行うことで、装着者に対して適切に対象物情報を提示すること等が可能になる。

また、本発明の一態様では、前記表示制御部は、前記候補対象物のうち、前記視界センシングにより認識され且つ前記周囲センシングにより認識された前記対象物の前記対象物情報を、優先的に表示する制御を行ってもよい。

これにより、視界センシングと周囲センシングの両方で認識された対象物を優先表示することで、装着者にとってより関心が高いと考えられる対象物の情報を提示すること等が可能になる。

また、本発明の一態様では、前記表示制御部は、前記対象物情報として、前記対象物に対する制御指示に用いられる制御画面を表示する制御を行ってもよい。

これにより、対象物情報として制御画面を表示することが可能になる。

また、本発明の一態様では、前記対象物である電子機器との通信を行う通信部を含み、前記通信部は、前記制御画面に基づく前記装着者の操作に応じて、前記対象物である前記電子機器に対して前記制御指示の信号を送信してもよい。

これにより、制御画面に基づく操作が行われた場合に、当該操作に対応する制御信号を送信することで、対象物の制御を行うこと等が可能になる。

また、本発明の一態様では、前記表示制御部は、前記対象物情報として、第１〜第Ｎ（Ｎは２以上の整数）の対象物を表す第１〜第Ｎのアイコンを表示する制御を行い、前記表示制御部は、前記第１〜第Ｎのアイコンの中から、第ｉ（ｉは１≦ｉ≦Ｎを満たす整数）のアイコンを選択する選択処理が行われた場合に、選択された前記第ｉのアイコンに対応する第ｉの対象物に対する前記制御指示に用いられる前記制御画面を表示する制御を行ってもよい。

これにより、複数のアイコンを表示した上で、その中から選択されたアイコンに対応する対象物の制御画面を表示すること等が可能になる。

また、本発明の一態様では、前記表示制御部は、前記アイコンの表示後、所与の期間において前記装着者による前記選択処理が行われなかった場合に、前記アイコンから１つを自動選択する前記選択処理を行って、選択された前記アイコンに対応する前記対象物の前記制御画面を表示する制御を行ってもよい。

これにより、装着者による選択が行われなかった場合に、ウェアラブル装置が１つの対象物を自動選択することで、制御画面の表示に自動的に移行すること等が可能になる。

また、本発明の一態様では、前記表示制御部は、前記対象物情報として、前記対象物を表すアイコンを表示する制御を行い、前記表示制御部は、前記視界センシングにより認識され且つ前記周囲センシングにより認識されなかった前記対象物の前記アイコンを、第１の表示態様で表示し、前記視界センシングにより認識されず且つ前記周囲センシングにより認識された前記対象物の前記アイコンを、前記第１の表示態様とは異なる第２の表示態様で表示し、前記視界センシングにより認識され且つ前記周囲センシングにより認識された前記対象物の前記アイコンを、前記第１の表示態様及び前記第２の表示態様のいずれとも異なる第３の表示態様で表示する制御を行ってもよい。

これにより、対象物情報としてアイコンを表示するとともに、視界センシングと周囲センシングのそれぞれで認識されたか否かを基準として、当該アイコンの表示態様を変更すること等が可能になる。

また、本発明の一態様では、前記表示制御部は、前記視界センシング情報及び前記周囲センシング情報の少なくとも一方に基づいて、前記候補対象物から１つの前記対象物を選択し、選択された前記対象物の前記対象物情報を表示する制御を行ってもよい。

これにより、視界センシング情報と周囲センシング情報の少なくとも一方を用いて、候補対象物の中から１つの対象物を表示対象として選択すること等が可能になる。

また、本発明の一態様では、前記視界センシング部は、撮像画像を取得する前記視界センシングを行い、取得した前記撮像画像に対する画像処理に基づいて前記視界センシング情報を取得し、前記周囲センシング情報取得部は、前記対象物からの信号を受信する前記周囲センシングの結果として、前記信号の強度に関する情報を前記周囲センシング情報として取得し、前記表示制御部は、前記視界センシング情報に基づいて、前記撮像画像に撮像されたと判定され、且つ、前記周囲センシング情報に基づいて、前記信号が検出されたと判定され、且つ、前記視界センシング情報及び前記周囲センシング情報の少なくとも一方に基づいて、前記装着者の視線方向に対する角度が他の対象物に比べて小さいと判定された１つの前記対象物を、前記候補対象物から選択し、選択された前記対象物の前記対象物情報を表示する制御を行ってもよい。

これにより、撮像により視界センシング情報を取得するとともに、信号強度に関する周囲センシング情報を取得し、視界センシングと周囲センシングの両方でセンシングされたこと、及び視線方向に対する角度が他の対象物より小さいことを条件に、１つの対象物を候補対象物から選択すること等が可能になる。

また、本発明の一態様では、前記表示制御部は、前記対象物情報として、前記対象物についてのプロパティ情報を表示する制御を行ってもよい。

これにより、対象物情報として対象物のプロパティ情報を表示すること等が可能になる。

また、本発明の一態様では、前記表示制御部は、前記候補対象物の数が所与の閾値以上の場合に、前記表示部に前記閾値よりも少ない数の前記対象物情報を表示し、且つ前記候補対象物のうち前記対象物情報が表示対象外である前記対象物の数を表示する制御を行ってもよい。

これにより、表示対象となる対象物情報の数を限定するとともに、表示対象とならなかった対象物の数を装着者に対して通知すること等が可能になる。

また、本発明の他の態様は、ウェアラブル装置の装着者の視界方向に存在する対象物をセンシングする視界センシングを行って、視界センシング情報を取得する視界センシング部と、前記装着者の周囲に存在する前記対象物をセンシングする周囲センシングの結果である、周囲センシング情報を取得する周囲センシング情報取得部と、前記視界センシング及び前記周囲センシングの少なくとも一方により認識された前記対象物である候補対象物の中から、選択された前記対象物の対象物情報を、表示部に表示する制御を行う表示制御部として、コンピュータを機能させるプログラムに関係する。

また、本発明の他の態様は、装着者の視界の一部の領域を表示領域とし、前記表示領域に拡大虚像を表示する表示部を有するウェアラブル装置の表示制御方法であって、前記装着者の視界方向に存在する対象物をセンシングする視界センシングを行って、視界センシング情報を取得し、前記装着者の周囲に存在する前記対象物をセンシングする周囲センシングの結果である、周囲センシング情報を取得する処理を行い、前記視界センシング及び前記周囲センシングの少なくとも一方により認識された前記対象物である候補対象物の中から、選択された前記対象物の対象物情報を、前記表示部に表示する制御を行うウェアラブル装置の表示制御方法に関係する。

本実施形態のウェアラブル装置のシステム構成例。 ウェアラブル装置、対象物及びセンシング範囲の関係図。 携帯電話等の電子機器を介して対象物をセンシングする例を説明する図。 撮像画像の例。 対象物情報としてアイコンを表示する場合の表示画像の例。 対象物情報としてリスト表示を行う場合の表示画像の例。 対象物情報として制御画面を表示する場合の表示画像の例。 図８（Ａ）、図８（Ｂ）は外界視野と表示領域を説明する図。 Internet of Thingsの世界観を説明する図。 表示制御における選択処理を説明するフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず本実施形態の手法について説明する。上述したように、「Internet of Things」の世界観においては日常的な環境に配置されるあらゆる「モノ」が情報を持ち、ネットワーク化される。そして各「モノ」（これは認識対象、情報取得対象であるため、以下では対象物と表記する）はネットワーク上に情報を発信し、ユーザは当該情報を取得、閲覧することになる。

対象物としては、上述したようにスマート家電でもよいし、電子機器ではない植木、水槽でもよいし、図９に示したように商品棚に陳列された種々の商品であってもよい。情報発信の形態は種々考えられるが、例えばそれぞれの家電がＳＮＳ（Social Networking Service）を利用するものであってもよく、一例としては短文投稿サービスを利用して、自己の保持する情報を利用者に投げかけることが考えられる。さらに具体的には、冷蔵庫が内部に保管された食材の量や保存状態等を、当該冷蔵庫の持ち主に知らせるものであってもよい。なお、図９の吹き出しは、各商品が情報を発信しているという「Internet of Things」の世界観を表現したものである。よって拡張現実等を用いて実際に吹き出しの形でユーザに情報提示をしてもよいが、本実施形態はそのような手法に限定されるものではない。

また、植木や水槽等、それ自体が本来電子機器ではなく通信機能を有さないモノについては、それらの対象物に対してセンサや通信部を備えた小型電子機器を取り付けてもよい。或いは、対象物の情報はサーバ等で管理しておき、ユーザ（例えば植木の管理者、商品の購入者等）側が有する機器により対象物を認識し、サーバに対して情報取得をリクエストしてもよい。

このような世界観では、ネットワーク上の膨大な情報を全て取得したのでは有益でない情報が含まれることになるし、そもそも情報量を考えれば現実的ではない。そこで、何らかのセンサを用いたセンシング処理を行い、センシングされた対象物の情報を取得、表示することが考えられる。例えば特許文献１には周囲に埋め込まれたセンサからの情報を取得し、ヘッドマウントディスプレイ上に表示する手段が開示され、特許文献２には、前方の視界を撮像した画像を、データベースにて解析して、撮像した対象物の関連情報を表示装置上に表示する手法が開示されている。

しかし、特許文献１では環境にセンサが配置されることを前提としているため、センサが組み込まれていないものを対象物とすることができない。しかし、現状でも商品パッケージに情報の所在（例えばホームページのＵＲＬ）を表す二次元バーコードが付された商品が見られるように、その物品自体がセンサを有していなくても、当該物品の情報がネットワーク上に存在する例は多い。特許文献１の手法ではそのような物品の情報へのアクセスが難しいことになる。

また特許文献２では、視界方向を撮像した撮像画像に対する画像処理を行うため、撮像画像上に所望の対象物が撮像される必要がある。そのため、対象物がユーザの近くにあったとしても視界から外れていれば検出対象とならないし、視界方向に対象物が存在していたとしても、他の物品に遮蔽される等、撮像部の死角にある場合も検出対象とならない。

そこで本出願人は、視線方向の対象物を検出する視界センシングと、ユーザの周囲の対象物をセンシングする周囲センシングを併用する手法を提案する。このようにすれば、装着者の視界方向にない機器、または直接目視できないような機器についてもセンシングすることができるし、電波を発することができない対象物についてもセンシングすることができる。

ただし、２つのセンシング手法を併用した場合には、センシング結果をどのようにユーザに提示するか、具体的には表示部での表示制御をどのように行うかを検討する必要がある。本実施形態においては、ユーザが用いる機器としてはシースルー型の表示部を有するウェアラブル装置（例えばHead Mounted Display，ＨＭＤ）を想定している。そのため、ここでのユーザとはウェアラブル装置を装着する装着者となる。シースルー型のウェアラブル装置を想定するのは、視界センシングにおけるユーザの利便性等を考慮したモノである。

例えば、上述したように商品の包装や、陳列棚に付されたチラシ等に二次元バーコードを表示する手法は広く知られているが、現状では携帯電話等を用いて操作を行っている。具体的には、携帯電話を取り出し、当該携帯電話のカメラを起動し、二次元バーコードを撮影し、撮影により取得されたＵＲＬを表示するブラウザ画面に移行する、といった操作をユーザに強いている。これらは非常に煩雑な操作であり、よほどその商品に興味があるユーザ以外は操作を行わない可能性が高い。結果として、商品提供者からすれば情報の提示機会を失うことになるし、ユーザからすれば情報の取得機会を失うことになる。

その点、シースルー型のウェアラブル装置は、外界視界に重畳させて情報を表示する情報表示装置として用いられるため、外界視界に何があるかという情報は有用であり、ユーザの視界方向をセンシングすることは一般的である。例えば、ユーザの視界方向を撮像する撮像部を設けたシースルー型ウェアラブル装置が広く用いられている。つまり、収納状態にあった装置を起動状態にして、さらに当該装置のカメラを起動して、当該カメラの撮像方向を認識したい対象物の方向に向ける、という携帯電話であれば必要な操作を、シースルー型ウェアラブル装置では意識的に行う必要はなく、当該ウェアラブル装置を装着した状態で対象物の方向を向くという動作を行えば十分ということになる。

また、対象物側が能動的に情報を発信する場合（例えば対象物が電子機器である場合）であったとしても、後述するように当該対象物がユーザの正面にあるか否かを判定することは有用である。その点から考えても、ユーザの正面方向（狭義には視線方向）をセンシングする視界センシング部を有することが一般的であるシースルー型ウェアラブル装置は、本実施形態の手法との親和性が非常に高い。

つまり、シースルー型ウェアラブル装置を用いることで利便性を向上させることができるが、当該ウェアラブル装置では表示領域の狭さが問題となり、上述したように表示制御の手法を検討する必要が生じる。なぜなら、シースルー型ウェアラブル装置では装着したまま移動を行うことが想定されるため、外界視界を認識することが困難なほどに情報表示領域を大きくとることができない。よって、例えばユーザの視界（実視野）が図８（Ａ）に示したような状態である場合、表示領域は図８（Ｂ）のＤＡに示したように外界視界の一部にとどめることになり、結果として表示領域の面積が限定される。

表示領域の面積が限定されれば、一度に表示可能な情報量も少なくなってしまうところ、上述したように視界センシングと周囲センシングの両方を併用すれば認識可能な対象物はむしろ増えることになる。つまり、多数検出されることが想定される対象物について、当該対象物の情報（以下、対象物情報）を、適切な態様で表示することも必要な処理となる。

以上より、本出願人は視界センシングと周囲センシングを併用し、且つ検出した対象物の対象物情報を適切に表示する制御を行うシースルー型ウェアラブル装置を提案する。具体的には、本発明の一態様は、図１に示したように、装着者の視界の一部の領域を表示領域とし、表示領域に拡大虚像を表示する表示部３００と、視界方向に存在する対象物をセンシングする視界センシングを行って、視界センシング情報を取得する視界センシング部１００と、装着者の周囲に存在する対象物をセンシングする周囲センシングの結果である、周囲センシング情報を取得する周囲センシング情報取得部２００と、視界センシング及び周囲センシングの少なくとも一方により認識された対象物である候補対象物の中から、選択された対象物の対象物情報を、表示部３００に表示する制御を行う表示制御部４００と、を含むウェアラブル装置に関係する。

本実施形態のウェアラブル装置のシステム構成例を図１に示す。図１はメガネ型のウェアラブル装置（ＨＭＤ）を上方から見た図であり、テンプル部が耳掛け部分であり、フロント部が通常のメガネであればレンズが設けられる部分である。なお、本実施形態のウェアラブル装置はメガネ型に限定されるものではない。図１に示したように、ウェアラブル装置は、視界センシング部１００と、周囲センシング情報取得部２００と、表示部３００と、表示制御部４００と、通信部５００と、処理部６００と、バッテリ７００を含む。ただし、ウェアラブル装置は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

視界センシング部１００は、ユーザの視界にある対象物をセンシングする視界センシングを行う。周囲センシング情報取得部２００は、ユーザの周囲にある対象物をセンシングする周囲センシングの結果を、周囲センシング情報として取得する。視界センシング部１００と周囲センシング情報取得部２００の詳細については後述する。なお、周囲センシングを行う周囲センシング部は、ウェアラブル装置に含まれてもよいし、他の機器により実現されてもよい。

表示部３００は、ユーザの外界視界に表示画像を重畳表示させる。一例としては図１に示したように、ユーザの眼球正面の位置に先端が来るようなフレームを設け、当該フレーム先端にディスプレイを設けることで表示部３００を実現してもよい。表示制御部４００は、表示部３００での表示制御を行う。なお、本実施形態の表示制御部４００は、表示部３００の動作制御だけでなく、表示部３００に表示される表示画像の生成処理等も行うものとする。

通信部５００は、ネットワークを介して他の電子機器との通信を行う。具体的には、対象物からの対象物情報を受信したり、後述する制御画面でのユーザ操作に基づく制御信号を対象物に対して送信したりする。

処理部６００は、ユーザ操作に基づく操作情報や、通信部５００が受信した情報に基づいて、種々の処理を行う。この処理部６００の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。なお、表示部３００での表示制御に必要な処理については、上述したように表示制御部４００で行われることを想定している。

バッテリ７００は、ウェアラブル装置の各部を動作させるための電力を提供する。

以下、視界センシングと周囲センシングの具体例について説明した後、本実施形態で行われる表示制御の詳細について説明する。表示制御としては、候補対象物から１又は複数の対象物を選択する選択処理（単純な選択だけでなく優先度情報の設定処理等を含む）、アイコン表示を行う例、制御画面表示を行う例について説明する。

２．視界センシングと周囲センシング
視界センシングと周囲センシングの具体例について説明する。なお、視界センシングと周囲センシングは以下で説明するものに限定されない。視界センシングは、図２に示したように装着者の視界に対応する領域の対象物を認識可能であれば他の手法でもよいし、周囲センシングについても図２に示したように装着者の周囲の対象物を認識可能であれば他の手法でもよい。

２．１ 視界センシングの具体例
視界センシングの一例としては、図１に示したように撮像部を用いてもよく、当該撮像部により取得した撮像画像に対して、画像処理を行うものが考えられる。撮像画像から対象物を検出する手法は種々考えられるが、例えば対象物毎にテンプレート情報を保持しておき、撮像画像に対して当該テンプレート情報を用いたテンプレートマッチング処理を行うものであってもよい。或いは、対象物の特徴量情報を記憶しておき、撮像画像から求められた特徴量情報との比較処理を行ってもよい。ここで特徴量とは、画素値（例えばＲ，Ｇ，Ｂの値）であってもよいし、輝度や色差（Ｙ，Ｃｒ，Ｃｂ）であってもよし、それらから求められる他の値であってもよい。また、フーリエ変換等を行って取得された空間周波数特性を特徴量としてもよい。

ここで、撮像部の画角（撮像部の撮像対象となる被写体範囲）と、装着者の実視界の画角とは必ずしも一致する必要はない。上述したように、装着者が対象物の方向を向く、という動作でセンシングを行う例を考慮すれば、撮像部の画角とユーザ視野の画角は対応関係を有することが好ましい。しかし、装着状態の個人差や、装着時の歩行走行による装着状態のズレ等を考慮すれば、厳密に一致することを求めることは困難であるし、そもそも厳密に一致しなくとも所望の処理は可能である。また、ユーザの視線方向は視界の中央部分に集中する（例えば目だけを動かすことを考えない）といった仮定を用いるのであれば、撮像画像はユーザ視野の中央部分が取得できれば足りる。或いは、ユーザの視線方向と撮像部の光軸との上記ズレを考慮して、ユーザ視野よりも広い画角の撮像画像を取得しておくという考え方もできる。つまり、撮像部による撮像範囲は種々の変形実施が可能であり、本実施形態はそれらを広く適用可能である。

或いは、対象物に可視光或いは赤外光等を照射する発光部を設ける、或いは当該発光部を有する電子機器を付けることが可能であれば、視界センシングは発光部からの光を受光する受光部により実現することも可能である。この場合、視界センシング部としては、上記撮像部のように撮像画像まで取得する必要はなく、対象物から発光される光を認識可能な構成があればよく、容易に且つ安価に視界センシング部を実現可能となる。なお、この場合には対象物に発光部を設ける必要が生じることから、発光部を持たない対象物はセンシングできないことになり、電子機器でない対象物を認識できないという特許文献１と同様の課題が生じうる。しかし、発光部は安価であるため、通信部を有する電子機器を対象物に付与する場合に比べると、実現は容易である。

２．２ 周囲センシングの具体例
次に周囲センシングの具体例について述べる。周囲センシングについては、上述の視界センシングとは異なり、対象物側から何らかの信号を出力することを前提とする。つまり、電子機器でなく、且つ信号出力用の機器が取り付けられない対象物については、仮に装着者の至近にあったとしても認識しないものであり、本実施形態はそれを許容する。

周囲センシングの一例としては、例えば対象物が通信用に出力するＷｉ−Ｆｉ等の無線ＬＡＮの電波を検出するものであってもよい。上述したように、電子機器である本実施形態の対象物は、自身がセンサ等を用いて取得した情報を出力することが想定されるため、通信部を有することが一般的である。そのような通信用の信号を検出できた場合には、当該信号を出力した対象物は、ウェアラブル装置の周囲にあると判定できる。また、ウェアラブル装置と対象物との距離が近いほど信号強度は強く、遠いほど弱くなる。つまり、単純に対象物の有無だけでなく、信号強度を用いることでウェアラブル装置から対象物までの距離を推定することもできる。また、信号出力元の方向もある程度推定できるため、ウェアラブル装置に対してどの方向に対象物があるかも推定可能である。よって、図２に示したように、信号強度及び信号方向に基づいて、ウェアラブル装置と対象物との相対的な位置関係を求めることができる。ただし、これらの信号は直接ウェアラブル装置に到達するものだけでなく、他の物体により反射されたものもウェアラブル装置において検出される。よって、信号方向を処理に用いる場合には、精度が高くなくても問題ない処理にする、或いは反射波の存在を考慮して精度を高めるための補正処理を行う、といった対応が必要となる点は留意すべきである。

また、対象物とウェアラブル装置が直接信号をやりとりしないケースも考えられる。例えば、図３に示したようにウェアラブル装置ＷＥと携帯電話ＳＰが短距離無線（例えばＢｌｕｅｔｏｏｔｈ（登録商標）であるがこれに限定されない）で接続され、携帯電話ＳＰが対象物やインターネット等のネットワークと接続される場合も考えられる。この場合、上述の周囲センシングは携帯電話ＳＰにより行われ、ウェアラブル装置ＷＥは周囲センシングの結果である周囲センシング情報を取得することになる。

或いは、ウェアラブル装置（或いはウェアラブル装置のユーザが保持している携帯電話）や対象物が、それぞれＧＰＳ等の位置情報取得部を有しており、取得した位置情報をネットワーク上の位置情報管理サーバに送信する態様も考えられる。この場合、ウェアラブル装置と対象物とが相互接続されることはないが、位置情報管理サーバではウェアラブル装置の位置と、対象物の位置が把握できるため、ウェアラブル装置の周辺に存在する対象物を特定することができ、これは周囲センシングの処理に他ならない。この場合にも、ウェアラブル装置自体は周囲センシングを行わず、外部から周囲センシングの結果である周囲センシング情報を取得することになる。

３．表示制御
表示制御部４００で行われる表示制御の具体例について説明する。まず候補対象物からの選択処理を説明した後、対象物情報の具体例としてアイコンを表示する例、及び制御画面を表示する例について説明する。

３．１ 候補対象物と選択処理
本実施形態では、上述したように視界センシングと周囲センシングを併用する。よって、視界センシングと周囲センシングの少なくとも一方により認識された対象物の情報は取得可能となるため、表示部３００での表示の候補となり得る。そこで本実施形態では、視界センシングと周囲センシングの少なくとも一方により認識された対象物を候補対象物と呼ぶことにする。

上述してきたように、候補対象物はある程度の数であることが想定されるため、シースルー型ウェアラブル装置の表示部３００に全ての候補対象物の対象物情報を表示することが難しい、或いは全ての対象物情報を同等の優先度で表示することで装着者による情報の理解が難しくなるということが考えられる。

そこで本実施形態では、候補対象物に対して選択処理を行い、その結果から表示部３００での表示態様を決定するという表示制御を行うものとする。ここでの選択処理は、候補対象物の中から１つの対象物を選択する処理であってもよいし、候補対象物の中から複数の対象物を選択する処理であってもよい。１つを選択する場合には、表示領域全体を選択された当該１つの対象物の対象物情報の表示に用いることができるため、より詳細な情報提示等が可能になる。ただし、選択されなかった候補対象物については、視界センシングと周囲センシングの少なくとも一方により認識されているにも関わらず、情報を提示することができない。よって、候補対象物から複数の対象物を選択することで、より多くの対象物の対象物情報を表示するものとしてもよい。

ここで、選択処理には視界センシングの結果である視界センシング情報と、周囲センシングの結果である周囲センシング情報を用いることが考えられる。例えば、候補対象物には、視界センシングだけで認識された対象物、周囲センシングだけで認識された対象物、視界センシングと周囲センシングの両方で認識された対象物の３種が含まれるが、そのうちの視界センシングと周囲センシングの両方で認識された対象物を優先的に表示するものとしてもよい。図２の例であれば、環境に配置された対象物ＡＡＡ〜ＥＥＥのうち、ＡＡＡ，ＢＢＢ，ＤＤＤ，ＥＥＥは認識可能な候補対象物となり、そのうちのＡＡＡは視界センシングと周囲センシングの両方で認識され、ＢＢＢは視界センシングだけで認識され、ＤＤＤ及びＥＥＥは周囲センシングだけで認識されている。この場合、図２からわかるように、ＡＡＡはユーザの正面且つ近い位置にあるのに対して、ＢＢＢはユーザの正面方向に位置するものの距離がＡＡＡより遠く、ＤＤＤ及びＥＥＥについては距離は近いもののユーザの側面や背面に位置することになる。つまり、ＡＡＡのように視界センシングと周囲センシングの両方で認識された対象物は、ユーザにとっての関心度合いが高いことが想定されるため、選択処理においても優先的に選択するとよい。

また、視界センシングにおいては、ユーザの正面方向に対する角度情報を取得することも可能である。例えば、撮像画像を用いる例であれば、撮像部の光軸方向に対応する画素は撮像部の設計上既知の情報であり、例えば撮像画像の中央の画素であるといったことがわかる。よって、当該光軸に対応する画素と、認識した対象物の画像上での位置とを比較することで、光軸に対する対象物の角度を知ることができる。例えば図２の視界センシングの際に取得される撮像画像は、図４のようになると考えられ、当該撮像画像において光軸に対応する画素ＡＸと画像上での対象物ＡＡＡ、ＡＸと画像上での対象物ＢＢＢを比較すれば、ＡＡＡは光軸方向からの角度が小さく、ＢＢＢはＡＡＡに比べて光軸方向からの角度が大きいとわかる。角度情報が取得された場合には、光軸方向に近い位置にあるほどユーザの関心度合いは高いことが想定されるため、そのような候補対象物を優先的に選択する選択処理を行えばよい。なお、以上の説明は撮像部の光軸方向と装着者の視線方向がある程度の対応関係を有することを前提とした。よって、撮像部の光軸方向と装着者の視線方向が大きく異なる方向であり、且つ視線方向に対応する撮像画像上の画素が既知であるならば、当該画素を基準として角度情報の処理を行うとよい。

なお、撮像部がステレオマッチングが可能な構成であれば、撮像画像に基づいて対象物までの距離情報を取得することもできる。その場合には、ユーザからの距離が近い候補対象物を優先的に選択する選択処理を行えばよい。

また、周囲センシングにおいては、上述したように信号強度等を用いることで、ユーザと候補対象物との距離情報を取得することができる。この場合には、ユーザからの距離が近い候補対象物を優先的に選択する選択処理を行えばよい。また、上述したように電波方向から対象物の方向を推定することもできる。この場合には、ユーザの正面方向（狭義には視線方向）に近い方向に位置する候補対象物を優先的に選択する選択処理を行えばよい。ただし、上述したように信号方向を用いた推定処理では、他の物体により反射された信号等に起因する誤差が生じうる。よって、当該誤差の発生を抑止する補正処理を行ったり、視界センシングと周囲センシングの両方で認識された候補対象物については視界センシング情報から取得される角度情報を用いる等の対処を行うことが望ましい。

以上のように、視界センシングと周囲センシングのいずれで認識されたか或いは両方で認識されたかという情報、さらにはユーザを基準とした対象物の方向、距離といった情報を用いることで選択処理を行う。一例としては、上述の説明において、優先的に選択されるとされた対象物に対して、そうでない対象物に比べて高いスコアを与えるようなスコア付けを行い、種々の観点から行われたスコア付けの結果を用いて選択処理を行うことが考えられる。その際にも、あらかじめ選択される対象物の数をｋ（ｋは１以上の整数）個と決めておき、上記スコアの高い方からｋ個を選択する手法もあれば、スコア閾値Ｔｈを設定しておき、上記スコアがＴｈを超えたものは全て表示対象とする手法もあり得る。

また、候補対象物から複数の対象物が表示対象として選択された場合には、それらを同等に表示してもよいが、優先度を設けて優先度の高低により表示態様を変更してもよい。この場合の優先度の設定には上述のスコア付けと同様の手法を用いればよい。

また、表示対象として選択された複数の対象物の優先度は設定しないが、それらを複数のグループに分類する処理を行い、グループ毎に表示態様を変更してもよい。例えば、ｋ個選択された対象物をグループ１とグループ２に分類し、グループ１に分類された対象物は第１の表示態様で表示し、グループ２に分類された対象物は第２の表示態様で表示する。例えば、視界センシングで認識された対象物はグループ１、周囲センシングで認識された対象物をグループ２とする、といった分類が考えられる。表示態様とは、図５でアイコンの例を用いて後述するように、表示領域中でのアイコンの配置位置を表すものであってもよいし、アイコンの形状、大きさ等を表すものであってもよい。この場合、同一グループとされた対象物間では優先度に差を設けなくてよく、またグループ間でも優先度に差を設けなくてよい。

或いは、グループ分類と優先度設定の両方を行ってもよい。具体的には、グループ内の対象物に優先度を設け順位付けを行ってもよいし、グループ間で優先度を設けグループ１の対象物をグループ２の対象物より大きく見やすい位置に表示するとしてもよいし、その両方を行ってもよい。

また、表示対象を選択する処理と、選択された表示対象の優先度を決定する処理とで、用いる観点を変更するものであってもよい。例えば、表示対象の選択においては、視界センシングと周囲センシングの両方で認識されたものを表示し、どちらか一方のみで認識された対象物については表示対象とせず、その際にはユーザの正面方向に近い、或いはユーザとの距離が近いということは判断基準としない。そして、表示対象として選択された対象物の優先度を設定する際に、正面方向に対する角度や、ユーザとの距離という観点で処理を行う、といった実施形態が可能である。

なお、本実施形態の「選択処理」には、複数の候補対象物の中からｋ個の表示対象となる対象物を選択する狭義の選択処理と、優先度設定処理と、グループ分類処理とが含まれるものである。そして選択処理としては、狭義の選択処理、優先度設定処理、グループ分類処理の全てを行う必要はなく、そのうちの１つ或いは２つの組み合わせ等であってもよい。つまり、本実施形態の選択処理は、狭義の選択処理をスキップして、優先度設定処理やグループ分類処理だけを行う処理も含む概念である。例えば認識された候補対象物の数が十分少ない場合には、全ての候補対象物を表示しても差し支えなく、その場合狭義の選択処理はスキップされることになる。

３．２ アイコン表示
次に対象物情報としてアイコンを表示する例について説明する。対象物からの情報は種々考えられるが、例えば電子機器が認識された場合には当該電子機器の名称、型番、メーカー、消費電力、現在の動作状況等の情報が取得されるし、上述した冷蔵庫の例のように、内蔵する食品の量や鮮度等の情報を取得することもできる。また上述した植木の例であれば、センサにより取得した温度の情報や、土に含まれる水分量の情報が取得される。つまり、本来対象物がユーザに対して通知したい詳細な情報（以下、詳細情報）は、その情報量が多く、複数の対象物からの詳細情報を表示することは表示部３００の広さを考えれば難しいし、一度に大量の情報提示を行えばかえってユーザの理解を妨げることにもなりかねない。

そこで、最初から詳細情報を表示するのではなく、まずは候補対象物、或いはそこから狭義に選択処理により選択された対象物を表すアイコンを表示する。アイコンは、当該アイコンを見たユーザが、対応する候補対象物を特定できることが望ましいため、例えば対象物を模式化した図柄を用いることが考えられる。ただし、アイコンは模式図に限定されず種々の形式により実現可能である。なお、ここでは詳細には説明しないが、アイコンを用いるのではなく、図６に示したように対象物の名称等のテキストをリスト表示するものであってもよい。

図５を用いて、狭義の選択処理、グループ分類処理、優先度設定処理のそれぞれに対応する表示制御の例を説明する。狭義の選択処理が行われると、候補対象物の中には表示対象とならない対象物が出てくる。その場合、単純に狭義の選択処理により選択された対象物のアイコンを表示し、選択されなかった対象物については全く情報表示を行わないものとしてもよい。

しかし選択されなかった対象物についても、視線方向からの角度が大きい、ユーザからの距離が比較的遠い等、何らかの選択されない理由があるにせよ、センシングが可能な程度に近い位置にあることは確かであり、ユーザが望むのであれば当該対象物から情報取得することが可能である。つまり選択されなかった対象物の個別の情報までは表示しないとしても、センシングされており且つ非表示である対象物の存在を通知することは有用である。そこで一例としては、図５のＡ４に示したように非表示とされた候補対象物の数を表示してもよい。この場合、ユーザから非表示となっている対象物の情報表示を指示する操作が行われた際には、当該対象物の対象物情報（例えばアイコン）を表示する制御を行うとよい。

また、図５はグループ分類処理も行っている。具体的には、視界センシングで認識された対象物をグループ１、視界センシングで認識されず周囲センシングで認識された対象物をグループ２に分類した上で、グループ１を図５のＧ１に示した表示領域の上部に表示し、グループ２を図５のＧ２に示した表示領域の下部に表示する制御を行っている。また、表示態様では、表示位置だけでなくアイコンの枠形状も異ならせており、グループ１ではＡ１に示したように方形の枠を用い、グループ２ではＡ２に示したように角が丸められた方形の枠を用いている。

さらに図５の例では、グループ１を視界センシングと周囲センシングの両方で認識されたグループ１−１と、視界センシングでは認識されたが周囲センシングでは認識されていないグループ１−２に細分化している。そして、図５ではグループ１−１はＡ３に示したように方形の枠と、角が丸められた方形の枠の両方を二重に表示し、グループ１−２ではＡ１に示したように方形の枠のみを表示するという表示態様の差異を設けている。

また、図５ではグループ１に対して、グループ２に比べて高い優先度を設定しており、その結果としてグループ１に含まれるアイコン（例えばＡ１やＡ３）は、グループ２に含まれるアイコン（例えばＡ２）よりも大きく表示されている。ここでは、グループ内での優先度設定処理は特に考慮していないが、例えばグループ１内でも優先度設定処理を行い、優先度の高いものを中央に表示するといった処理を行ってもよい。

なお、上記の選択処理の説明においては詳しく述べなかったが、例えばグループ分類処理、優先度設定処理を行った上で、その結果を用いて狭義の選択処理を行うという実施形態も可能である。図５の例であれば、グループ１は３つ、グループ２は８つのアイコンを表示する、という設定を事前に行っておき、グループ分類処理及び優先度設定処理の結果を用いて、グループ１に含まれる対象物のうち優先度の高い方から３つ、グループ２に含まれる対象物のうち優先度の高い方から８つをそれぞれ選択する狭義の選択処理を行うものであってもよい。その場合、狭義の選択処理により選択されなかった候補対象物はグループ毎に生じる可能性があるため、図５には不図示であるが、グループ毎に非表示となっている対象物の数を表示してもよい。例えば、表示領域の上部（Ｇ１）にグループ１に分類され且つ非表示となっている候補対象物の数を表示し、表示領域の下部（Ｇ２）にグループ２に分類され且つ非表示となっている候補対象物の数を表示してもよい。

３．３ 制御画面表示
次に対象物情報として対象物の制御に用いられる制御画面を表示する例について説明する。これは対象物が電子機器である場合を想定している。制御画面は例えば図７に示した画面であり、対象物（図７の例であればＡＡＡ）である電子機器のオン・オフ制御や、各種設定を行う制御を行うための画面である。設定内容は電子機器の種別により異なるものであるが、例えば対象物がテレビであればチャンネルや音量の変更、受信チャンネルの設定であるし、エアコンであれば冷房暖房といった動作モード、温度、風量の設定である。これはウェアラブル装置をあたかも対象物を操作するリモコンとして動作させるものである。

なお、制御画面に表示される項目の選択、決定処理は、ウェアラブル装置に設けられる操作部（操作ボタン等）により行われてもよい。例えば、図７のＣＵ２に示したように、選択状態にある項目をカーソル等によりユーザに対して提示し、ユーザはカーソルの位置を見ながら所望の項目を選択状態にする。そして決定操作が行われた場合に、選択状態にあった項目に対応する制御を実行すればよい。ただし、ウェアラブル装置は長時間の装着を考えれば、小型軽量とすることが望ましく、操作部を十分設けることができない可能性も高い。よって、ウェアラブル装置に設けられたセンサ類により選択、決定処理を行ってもよい。例えば、加速度センサや方位センサ（例えば地磁気センサ）を用いれば、ユーザの首振り動作を検出することができる。よって縦方向の首振りと横方向の首振りとを組み合わせることで選択、決定処理を行うことが可能である。図７のように縦方向にメニュー項目が並んでいる例であれば、縦方向の首振りにより選択項目（カーソル位置）を上下方向に移動させる。そして、所望の項目が選択されている状態で横方向の首振りを行うことで、選択されていた項目を実行する決定処理を行う。ただし、ウェアラブル装置には種々のセンサが搭載可能であり、他のセンサにより制御画面における操作を実現してもよい。例えば、ユーザの眼球を撮像する撮像部を設けておけば、ユーザの視線方向を検出することができるため、視線方向の変化を用いて選択、決定処理を行うこと等が可能になる。

ここで、制御画面は上述の詳細情報の例と同様に多くの表示項目を含みうるものであるため、複数の対象物に対応する制御画面を同時に表示することが表示部３００の大きさを考えれば適切でない。また、制御画面を用いた操作では実際に他の電子機器に対して制御信号を送信するため、誤操作の可能性は抑止するべきであり、その点からも多くの制御画面の同時表示は避けるべきである。

よって、制御画面を表示する際には、少数（狭義には１つ）の対象物に絞って行うとよい。ここで制御画面を表示する対象物の決定手法は種々考えられる。例えば、図５に示したように、アイコン等を用いて複数の候補対象物の存在を提示し、そこからユーザの操作により１つのアイコンを選択し、選択された対象物の制御画面を表示することが考えられる。この場合には、図７と同様に選択状態にあるアイコンに対してＣＵで示したようなカーソルを表示する等の制御を行うとよい。なお、上述したように対象物にはウェアラブル装置により制御可能な電子機器と、棚に陳列された商品のように制御不可である対象物とが含まれる。よって、ユーザが対象物を操作しようとしてアイコンを選択したのに、当該アイコンに対応する対象物は制御可能なものでなかったというケースが生じうるものであり、それはユーザを混乱させ好ましくない。

そこで、上述の選択処理（狭義の選択処理、グループ分類処理、優先度設定処理）においては、候補対象物が制御可能であるか否か、という観点による処理を行ってもよい。例えば、ユーザが制御画面の表示を望んでいるとウェアラブル装置側がわかっているケースであれば、狭義の選択処理において制御可能な対象物を選択し、制御不可な対象物は選択しないとしてもよい。或いはグループ分類処理において制御可能なグループと、制御不可なグループを作り、グループ毎に表示態様を変更してもよい。例えば、図５のようにアイコンを並べて表示する際には、制御可能な対象物のアイコンを所与の色の枠で囲み、制御不可な対象物のアイコンにはそのような色つきの枠を付けない、といった表示制御が考えられる。

また、ユーザが所与の電子機器を操作する際には、当該電子機器の近くに行き、当該電子機器の方向を向いて操作を行うことが想定される。つまり、ユーザに近い位置にあること、ユーザの視線方向との角度が小さいことは、制御画面の表示を考慮した場合には特に重要な指標となる。逆に言えば、どれだけユーザに近い位置にあったとしても、視線方向から外れる対象物をユーザが操作する可能性は低いし、視線方向との角度が小さくても、遠すぎる対象物をユーザが操作する可能性は低い。

この点を考えると、アイコン等を表示した上でユーザによる制御対象の選択操作を受け付けるのではなく、ウェアラブル装置側で制御対象を自動選択することも可能である。具体的には上述したように、ユーザに近い位置にあり且つユーザの視線方向との角度が小さい１つの対象物を自動選択し、当該対象物の制御画面を表示する。このようにすれば、ユーザに対して煩雑な操作を強いることなく制御画面を表示することが可能になる。

或いは、制御画面を表示する候補の対象物を自動選択し、その結果を提示するものでもよい。例えば、アイコンを表示する際に、自動選択した制御対象の候補を選択状態とした上で、当該対象物のアイコンには選択状態を表すカーソル（例えば図５のＣＵ等）を表示しておく。このようにすれば、自動選択の結果が正しい場合にはユーザはカーソル移動を行うことなく決定操作を行うことができるため、操作の煩雑さを抑止できる。さらに自動選択がユーザの意図した結果となっていない場合にも、ユーザによる訂正の機会を与えることが可能である。

４．本実施形態の具体例
以上の本実施形態では、ウェアラブル装置は図１に示したように、装着者の視界の一部の領域を表示領域とし、表示領域に拡大虚像を表示する表示部３００と、視界方向に存在する対象物をセンシングする視界センシングを行って、視界センシング情報を取得する視界センシング部１００と、装着者の周囲に存在する対象物をセンシングする周囲センシングの結果である、周囲センシング情報を取得する周囲センシング情報取得部２００と、視界センシング及び周囲センシングの少なくとも一方により認識された対象物である候補対象物の中から、選択された対象物の対象物情報を、表示部３００に表示する制御を行う表示制御部４００と、を含む。

ここで、「装着者の視界の一部の領域を表示領域とし、表示領域に拡大虚像を表示する」とは、図８（Ａ）、図８（Ｂ）に示したようにユーザの視界（視野）を領域として捉えた場合に、当該領域のうちの一部に表示画像を表示し、ユーザの視界のうち表示領域でない部分については、外界をそのまま認識可能な状態を表す。

これにより、センサなどの電気的なデバイスが組み込まれていない対象物や、撮影の死角に入るような対象物等、視界センシングと周囲センシングのどちらか一方だけでは認識することができない対象物を適切に認識することが可能になる。さらに、認識した候補対象物の中から選択された対象物の対象物情報を表示することで、表示される情報量が過剰になることや、それにより１つ１つの情報の視認性が低下することを抑止できるとともに、ユーザにとって関心の強い情報を提示すること等が可能になる。

また、表示制御部４００は、候補対象物のうち、視界センシングにより認識され且つ周囲センシングにより認識された対象物の対象物情報を、優先的に表示する制御を行ってもよい。

これにより、候補対象物のうち、視界センシングと周囲センシングの両方で認識された対象物を優先表示することが可能になる。図２に示したように、視界センシングと周囲センシングの両方で認識された対象物とは、ユーザの正面方向にあり且つユーザからの距離が近い対象物となるため、ユーザが関心を持っている可能性が高く、当該対象物を優先表示することで、ユーザが望む情報を提示できる可能性を高めること等が可能になる。

また、表示制御部４００は、対象物情報として、対象物に対する制御指示に用いられる制御画面を表示する制御を行ってもよい。さらに、ウェアラブル装置は図１に示したように、対象物である電子機器との通信を行う通信部５００を含み、通信部５００は、制御画面に基づく装着者の操作に応じて、対象物である電子機器に対して制御指示の信号を送信してもよい。

これにより、図７に示したように対象物である電子機器、或いは対象物自体は非電子機器であるが当該対象物に付加された電子機器（例えば植木に設置されたセンサを含む機器等）に対して、ウェアラブル装置の装着者であるユーザによる制御、操作を行うことが可能になる。対象物として家電の例を考えればわかりやすいように、対象物は一方的に情報を送信するものに限定されず、制御信号（操作信号）を受信することで自身の動作を開始、或いは変更する機器である場合も多い。制御画面の表示及び制御信号の送信を行うことで、それらの機器を操作することができ、ウェアラブル装置をあたかも他の電子機器のリモコンのように用いること等が可能になる。

また、表示制御部４００は、対象物情報として、第１〜第Ｎ（Ｎは２以上の整数）の対象物を表す第１〜第Ｎのアイコンを表示する制御を行い、表示制御部４００は、第１〜第Ｎのアイコンの中から、第ｉ（ｉは１≦ｉ≦Ｎを満たす整数）のアイコンを選択する選択処理が行われた場合に、選択された第ｉのアイコンに対応する第ｉの対象物に対する制御指示に用いられる制御画面を表示する制御を行ってもよい。

なお、ここでの選択処理という用語は、上述した狭義の選択処理、グループ分類処理、優先度設定処理等を含む選択処理とは異なり、複数のアイコンから制御画面の表示対象となる１つのアイコンを決定する処理である。

これにより、まず候補対象物のアイコン表示を行い、そこから選択されたアイコンに対応する対象物の制御画面を表示することが可能になる。上述したように、ウェアラブル装置側で１つの対象物を自動選択することでアイコン表示をスキップする実施例も可能であるが、アイコン表示を行ってユーザによる選択を可能にすることで、よりユーザの意図に沿った対象物の制御画面を表示することができる。

また、表示制御部４００は、アイコンの表示後、所与の期間において装着者による選択処理が行われなかった場合に、アイコンから１つを自動選択する選択処理を行って、選択されたアイコンに対応する対象物の制御画面を表示する制御を行ってもよい。

ここで、自動選択とは、ウェアラブル装置側で１つのアイコンを決定する処理であり、自動選択により選択されるアイコンは、ウェアラブル装置が決定するものであってもよいし、自動選択を開始するタイミングにおいてカーソルが位置していたアイコンを選択するものであってもよい。

これにより、ユーザによるアイコンの選択が行われなかった場合に、自動的に制御画面の表示を行うことが可能になる。よって、ユーザが明示的に選択処理を行わなくてもよいため、操作の煩雑さを低減すること等が可能になる。

また、表示制御部４００は、対象物情報として、図５に示したように対象物を表すアイコンを表示する制御を行い、表示制御部４００は、視界センシングにより認識され且つ周囲センシングにより認識されなかった対象物のアイコンを、第１の表示態様で表示し、視界センシングにより認識されず且つ周囲センシングにより認識された対象物のアイコンを、第１の表示態様とは異なる第２の表示態様で表示し、視界センシングにより認識され且つ周囲センシングにより認識された対象物のアイコンを、第１の表示態様及び第２の表示態様のいずれとも異なる第３の表示態様で表示する制御を行ってもよい。

これにより、対象物情報として対象物を表すアイコンを表示すること、及び視界センシングと周囲センシングのそれぞれで認識されたか否かの情報に基づいて表示態様を変更することが可能になる。よって、２つのセンシングを組み合わせることにより多くの対象物を認識可能な状況において、多くの候補対象物の情報をユーザに提示するとともに、当該候補対象物がそれぞれどちらのセンシングにより認識されたものであるかをわかりやすくユーザに提示することが可能になる。なお、図５では表示態様の差をアイコンの枠形状として表現したがこれに限定されず、アイコンの大きさや色、表示領域における表示位置等、種々の手法により表示態様に差を設けることが可能である。

また、表示制御部４００は、視界センシング情報及び周囲センシング情報の少なくとも一方に基づいて、候補対象物から１つの対象物を選択し、選択された対象物の対象物情報を表示する制御を行ってもよい。

これにより、複数の候補対象物から１つの対象物を表示対象として選択することが可能になる。上述した制御画面や、対象物の名称等を含む詳細情報（例えばプロパティ画面等）のように、対象物情報としてはアイコン等に比べて非常に情報量が多いものも考えられる。その場合、表示領域が限定されるシースルー型ウェアラブル装置においては複数の対象物の対象物情報を同時に表示することが表示部３００のサイズから現実的でなく、無理に表示することで文字が小さくなる等、情報の視認性低下のおそれもある。よって、候補対象物から表示対象を１つに絞る処理は重要な処理となり、本実施形態では表示制御としてこれを実現する。

また、視界センシング部１００は、撮像画像を取得する視界センシングを行い、取得した撮像画像に対する画像処理に基づいて視界センシング情報を取得し、周囲センシング情報取得部２００は、対象物からの信号を受信する周囲センシングの結果として、信号の強度に関する情報を周囲センシング情報として取得してもよい。そして、表示制御部４００は、視界センシング情報に基づいて、撮像画像に撮像されたと判定され、且つ、周囲センシング情報に基づいて、信号が検出されたと判定され、且つ視界センシング情報及び周囲センシング情報の少なくとも一方に基づいて、装着者の視線方向に対する角度が他の対象物に比べて小さいと判定された１つの対象物を、候補対象物から選択し、選択された対象物の対象物情報を表示する制御を行ってもよい。

これにより、１つの対象物の対象物情報を表示する際に、ユーザの関心度合いが最も高いと想定される対象物を表示対象とすることが可能になる。具体的には、両方のセンシングで認識された上で、視線方向に最も近い方向に位置する１つの対象物を表示対象とすることになる。この場合の選択処理の流れを示したフローチャートが図１０であり、この処理が開始されると、周囲センシングで検出されたか否かの判定処理（Ｓ１０１）、視界センシングで検出されたか否かの判定処理（Ｓ１０２）、装着者の視線方向（視界中央）に最も近いかの判定処理（Ｓ１０３）を行い、条件を満たす１つの対象物を自動選択する選択処理を行う（Ｓ１０４）。ただし、１つの対象物を決定する手法は種々考えられる。例えば、表示制御部４００は、視界センシング情報に基づいて、撮像画像に撮像されたと判定され、且つ、周囲センシング情報に基づいて、信号の強度が他の対象物に比べて強いと判定された１つの対象物を、候補対象物から選択し、選択された対象物の対象物情報を表示する制御を行ってもよい。この場合、視界センシングと周囲センシングの両方で認識され、且つ周囲センシングの結果からユーザの最も近くにあると判定された対象物を用いることになる。

また、表示制御部４００は、対象物情報として、対象物についてのプロパティ情報を表示する制御を行ってもよい。

ここで、プロパティ情報とは、対象物の特性に関する情報であり、上述したアイコン等に比べて詳細な情報である。例えば、対象物として冷蔵庫を考えた場合には、アイコンは対象物が冷蔵庫であることを表すもので足りるが、プロパティ情報とは冷蔵庫の名称や型番、或いはセンサにより取得された情報等を含むものである。

これにより、対象物情報としてプロパティ情報を表示することが可能になる。プロパティ情報としては、対象物により送信された種々の情報が考えられるが、対象物のプロパティを表すプロパティ画面であってもよいし、対象物に設けられたセンサのセンサ情報であってもよいし、当該センサ情報に対する処理結果であってもよい。センサ情報に対する処理結果が詳細情報となる場合とは、例えば植木の土の水分量をセンサ情報として取得する例において、当該水分量の数値を単純に出力するのではなく、植物の品種、外気温、土の特性等まで考慮して当該水分量が適正範囲か否かを判定した判定結果を出力する場合等に対応する。

また、表示制御部４００は、候補対象物の数が所与の閾値以上の場合に、表示部３００に閾値よりも少ない数の対象物情報を表示し、且つ候補対象物のうち対象物情報が表示対象外である対象物の数を表示する制御を行ってもよい。

これにより、図５のＡ４に示したように、センシングにより認識されながら表示対象とならなかった候補対象物がある場合には、その数を表示することが可能になる。よって、ユーザに対して非表示ではあるが認識されている対象物の存在を通知することができ、場合によっては当該非表示の対象物の対象物を表示するための操作をユーザに促すこと等も可能になる。

なお、本実施形態のウェアラブル装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態のウェアラブル装置等が実現される。具体的には、非一時的な情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またウェアラブル装置等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１００ 視界センシング部、２００ 周囲センシング情報取得部、３００ 表示部、
４００ 表示制御部、５００ 通信部、６００ 処理部、７００ バッテリ

Claims (18)

1. 装着者の視界の一部の領域を表示領域とし、前記表示領域に拡大虚像を表示する表示部と、
   前記装着者の視界方向に存在する対象物をセンシングする視界センシングを行って、視界センシング情報を取得する視界センシング部と、
   前記装着者の周囲に存在する前記対象物をセンシングする周囲センシングの結果である、周囲センシング情報を取得する周囲センシング情報取得部と、
   前記視界センシング及び前記周囲センシングの少なくとも一方により認識された前記対象物を候補対象物とし、前記候補対象物の中から表示対象となるｋ個（ｋは１以上の整数）の前記対象物を選択する処理を、前記視界センシング情報及び前記周囲センシング情報の少なくとも一方に基づき行い、選択された前記対象物の対象物情報を、前記表示部に表示する制御を行う表示制御部と、
   を含むことを特徴とするウェアラブル装置。
2. 請求項１において、
   前記表示制御部は、
   表示対象となる前記対象物の数を限定し、表示対象とならなかった前記対象物の数又は存在を前記装着者に通知する表示制御を行うことを特徴とするウェアラブル装置。
3. 請求項１又は２において、
   前記表示制御部は、
   前記対象物の優先度の設定処理を行い、設定された前記優先度に応じて前記対象物の前記対象物情報の表示態様を変更する処理、又は前記対象物のグルーブ分類処理を行い、グループ毎に前記対象物の前記対象物情報の表示態様を変更する処理を、前記視界センシング情報及び前記周囲センシング情報の少なくとも一方に基づき行うことを特徴とするウェアラブル装置。
4. 請求項１乃至３のいずれかにおいて、
   前記表示制御部は、
   前記候補対象物のうち、前記視界センシングにより認識され且つ前記周囲センシングにより認識された前記対象物の前記対象物情報を、優先的に表示する制御を行うことを特徴とするウェアラブル装置。
5. 請求項１乃至４のいずれかにおいて、
   前記表示制御部は、
   前記対象物情報として、前記対象物に対する制御指示に用いられる制御画面を表示する制御を行うことを特徴とするウェアラブル装置。
6. 請求項５において、
   前記対象物である電子機器との通信を行う通信部を含み、
   前記通信部は、
   前記制御画面に基づく前記装着者の操作に応じて、前記対象物である前記電子機器に対して前記制御指示の信号を送信することを特徴とするウェアラブル装置。
7. 請求項５又は６において、
   前記表示制御部は、
   前記対象物情報として、第１〜第Ｎ（Ｎは２以上の整数）の対象物を表す第１〜第Ｎのアイコンを表示する制御を行い、
   前記表示制御部は、
   前記第１〜第Ｎのアイコンの中から、第ｉ（ｉは１≦ｉ≦Ｎを満たす整数）のアイコンを選択する選択処理が行われた場合に、選択された前記第ｉのアイコンに対応する第ｉの対象物に対する前記制御指示に用いられる前記制御画面を表示する制御を行うことを特徴とするウェアラブル装置。
8. 請求項７において、
   前記表示制御部は、
   前記アイコンの表示後、所与の期間において前記装着者による前記選択処理が行われなかった場合に、前記アイコンから１つを自動選択する前記選択処理を行って、選択された前記アイコンに対応する前記対象物の前記制御画面を表示する制御を行うことを特徴とするウェアラブル装置。
9. 請求項１乃至４のいずれかにおいて、
   前記表示制御部は、
   前記対象物情報として、前記対象物を表すアイコンを表示する制御を行い、
   前記表示制御部は、
   前記視界センシングにより認識され且つ前記周囲センシングにより認識されなかった前記対象物の前記アイコンを、第１の表示態様で表示し、
   前記視界センシングにより認識されず且つ前記周囲センシングにより認識された前記対象物の前記アイコンを、前記第１の表示態様とは異なる第２の表示態様で表示し、
   前記視界センシングにより認識され且つ前記周囲センシングにより認識された前記対象物の前記アイコンを、前記第１の表示態様及び前記第２の表示態様のいずれとも異なる第３の表示態様で表示する制御を行うことを特徴とするウェアラブル装置。
10. 請求項１乃至９のいずれかにおいて、
    前記表示制御部は、
    前記視界センシング情報及び前記周囲センシング情報の少なくとも一方に基づいて、前記候補対象物から１つの前記対象物を選択し、選択された前記対象物の前記対象物情報を表示する制御を行うことを特徴とするウェアラブル装置。
11. 請求項１０において、
    前記視界センシング部は、
    撮像画像を取得する前記視界センシングを行い、取得した前記撮像画像に対する画像処理に基づいて前記視界センシング情報を取得し、
    前記周囲センシング情報取得部は、
    前記対象物からの信号を受信する前記周囲センシングの結果として、前記信号の強度に関する情報を前記周囲センシング情報として取得し、
    前記表示制御部は、
    前記視界センシング情報に基づいて、前記撮像画像に撮像されたと判定され、且つ、前記周囲センシング情報に基づいて、前記信号が検出されたと判定され、且つ、前記視界センシング情報及び前記周囲センシング情報の少なくとも一方に基づいて、前記装着者の視線方向に対する角度が他の対象物に比べて小さいと判定された１つの前記対象物を、前記候補対象物から選択し、選択された前記対象物の前記対象物情報を表示する制御を行うことを特徴とするウェアラブル装置。
12. 請求項１乃至１１のいずれかにおいて、
    前記表示制御部は、
    前記候補対象物の数が所与の閾値以上の場合に、前記表示部に前記閾値よりも少ない数の前記対象物情報を表示し、且つ前記候補対象物のうち前記対象物情報が表示対象外である前記対象物の数を表示する制御を行うことを特徴とするウェアラブル装置。
13. ウェアラブル装置の装着者の視界方向に存在する対象物をセンシングする視界センシングを行って、視界センシング情報を取得する視界センシング部と、
    前記装着者の周囲に存在する前記対象物をセンシングする周囲センシングの結果である、周囲センシング情報を取得する周囲センシング情報取得部と、
    前記視界センシング及び前記周囲センシングの少なくとも一方により認識された前記対象物を候補対象物とし、前記候補対象物の中から表示対象となるｋ個（ｋは１以上の整数）の前記対象物を選択する処理を、前記視界センシング情報及び前記周囲センシング情報の少なくとも一方に基づき行い、選択された前記対象物の対象物情報を、前記表示部に表示する制御を行う表示制御部として、
    コンピュータを機能させることを特徴とするプログラム。
14. 請求項１３において、
    前記表示制御部は、
    表示対象となる前記対象物の数を限定し、表示対象とならなかった前記対象物の数又は存在を前記装着者に通知する表示制御を行うことを特徴とするプログラム。
15. 請求項１３又は１４において、
    前記表示制御部は、
    前記対象物の優先度の設定処理を行い、設定された前記優先度に応じて前記対象物の前記対象物情報の表示態様を変更する処理、又は前記対象物のグルーブ分類処理を行い、グループ毎に前記対象物の前記対象物情報の表示態様を変更する処理を、前記視界センシング情報及び前記周囲センシング情報の少なくとも一方に基づき行うことを特徴とするプログラム。
16. 装着者の視界の一部の領域を表示領域とし、前記表示領域に拡大虚像を表示する表示部を有するウェアラブル装置の表示制御方法であって、
    前記装着者の視界方向に存在する対象物をセンシングする視界センシングを行って、視界センシング情報を取得し、
    前記装着者の周囲に存在する前記対象物をセンシングする周囲センシングの結果である、周囲センシング情報を取得する処理を行い、
    前記視界センシング及び前記周囲センシングの少なくとも一方により認識された前記対象物を候補対象物とし、前記候補対象物の中から表示対象となるｋ個（ｋは１以上の整数）の前記対象物を選択する処理を、前記視界センシング情報及び前記周囲センシング情報の少なくとも一方に基づき行い、選択された前記対象物の対象物情報を、前記表示部に表示する制御を行うことを特徴とするウェアラブル装置の表示制御方法。
17. 請求項１６において、
    表示対象となる前記対象物の数を限定し、表示対象とならなかった前記対象物の数又は存在を前記装着者に通知する表示制御を行うことを特徴とするウェアラブル装置の表示制御方法。
18. 請求項１６又は１７において、
    前記対象物の優先度の設定処理を行い、設定された前記優先度に応じて前記対象物の前記対象物情報の表示態様を変更する処理、又は前記対象物のグルーブ分類処理を行い、グループ毎に前記対象物の前記対象物情報の表示態様を変更する処理を、前記視界センシング情報及び前記周囲センシング情報の少なくとも一方に基づき行うことを特徴とするウェアラブル装置の表示制御方法。

Images