JP6205189B2 - 情報提示システム及び情報提示システムの制御方法 - Google Patents

Description

本発明は、情報提示システム及び情報提示システムの制御方法等に関する。

近年、「Internet of Things」（ＩｏＴ，モノのインターネット）という考え方が広く知られるようになっている。これは日常的な環境に配置されるあらゆる「モノ」が情報を持ち、ネットワーク化される世界を考えたものである。

例えば、冷蔵庫やエアコン等、家庭やオフィスに配置されるあらゆる家電が、いわゆる「スマート家電」と化し、それぞれの家電がインターネット等のネットワークに接続され情報の発信等を行う。また、「モノ」は家電等の電子機器に限定されるものではなく、植木や水槽、商店の棚に陳列されたあらゆる商品が対象となり得る。

このような状況では、何らかの手法により「モノ」（これは認識対象、情報取得対象であるため、以下では対象物と表記する）を認識し、認識された対象物についての情報を表示することが有用である。

例えば、特許文献１には、使用者の頭部などに搭載された撮像装置（カメラ）で認識されたオブジェクト（対象物）に関する情報を、使用者の頭部に装着された虚像表示装置を用いて提示するシステムが開示されている。

特開２０１２−８２９０号公報

使用者の視界内の虚像表示範囲に納まるように撮像装置によるオブジェクト認識範囲を配置すると、認識したい対象物が虚像表示映像と被って視認しづらくなる問題があった。また、虚像表示範囲とオブジェクト認識範囲を異なる領域に配置した場合には、オブジェクト認識範囲の領域を示す指標（マーカー）を表示することができず、対象物にオブジェクト認識範囲を合わせづらいという問題があった。

例えば、対象となる人の顔にオブジェクト認識範囲を合わせる際に、虚像表示範囲と重なってしまうと相手の顔が見えなくなってしまう。オブジェクト認識範囲を虚像表示範囲と重ならない位置に配置すると、オブジェクト認識範囲を合わせる基準がなく合わせづらい。

また、オブジェクト認識範囲を非常に広く確保する方法ではオブジェクト認識範囲に複数の人又は対象物が入ってしまい認識対象がどれなのか分からなくなる。

本発明の幾つかの態様によれば、オブジェクト認識範囲と虚像表示範囲の位置関係を考慮した表示を行うことで、対象物の認識及び情報の閲覧を円滑に行う情報提示システム及び情報提示システムの制御方法等を提供することができる。

本発明の一態様は、使用者の視界内に、映像を虚像として観察可能に表示する表示部と、前記使用者の頭部に装着され前記使用者の視界方向を撮像する撮像部からの、撮像画像に基づく情報を、前記表示部に表示する制御を行う表示制御部と、を含み、前記撮像部の撮影可能範囲の一部に、対象物の認識を行う範囲であるオブジェクト認識範囲が設定される場合に、前記表示部は、前記オブジェクト認識範囲の一部に対して、前記虚像が表示される虚像表示範囲の少なくとも一部が重畳する位置関係となる前記虚像表示範囲に、前記虚像を表示する情報提示システムに関係する。

本発明の一態様では、表示部は、オブジェクト認識範囲の一部に対して、虚像表示範囲の少なくとも一部が重畳する位置関係となる虚像表示範囲に映像を表示する。よって、オブジェクト認識範囲と虚像表示範囲が重畳する領域が存在するため、当該領域を用いることでオブジェクト認識範囲の位置等をユーザに報知すること等ができる。また、オブジェクト認識範囲のうち虚像表示範囲と重畳しない領域が存在するため、当該領域では認識処理の対象である対象物が映像に遮蔽されず、視認性低下を抑止すること等が可能になる。

また、本発明の一態様では、前記虚像表示範囲のうち前記オブジェクト認識範囲の一部と重畳する領域を第１の領域とし、前記虚像表示範囲のうち前記オブジェクト認識範囲と重畳しない領域を第２の領域とした場合に、前記表示部は、前記映像のうち、前記第２の領域に対応する領域において、前記オブジェクト認識範囲に基づき認識された前記対象物の情報を表示してもよい。

これにより、第２の領域では、映像を表示したとしても当該映像により認識処理の対象となっている対象物を遮蔽しない（少なくとも、対象物のうち認識処理に対する影響が大きい範囲は遮蔽しない）ため、当該第２の領域を情報表示に用いることで対象物の視認性低下を抑止すること等が可能になる。

また、本発明の一態様では、前記表示部は、前記オブジェクト認識範囲と前記虚像表示範囲の前記位置関係を前記使用者に対して報知するマーカーを、前記虚像表示範囲に表示してもよい。

これにより、オブジェクト認識範囲と虚像表示範囲の位置関係を、マーカーを用いてわかりやすくユーザに報知すること等が可能になる。

また、本発明の一態様では、前記表示部は、前記オブジェクト認識範囲の中心位置を示す中心位置マーカーを、前記マーカーとして前記虚像表示範囲に表示してもよい。

これにより、オブジェクト認識範囲と虚像表示範囲の位置関係を、中心位置マーカーを用いてわかりやすくユーザに報知すること等が可能になる。

また、本発明の一態様では、前記表示部は、前記オブジェクト認識範囲の前記中心位置を示す前記中心位置マーカーを、前記マーカーとして前記虚像表示範囲の周縁部に表示してもよい。

これにより、中心位置マーカーの表示位置を適切に決定すること等が可能になる。

また、本発明の一態様では、前記表示部は、前記オブジェクト認識範囲の枠の一部を表す枠マーカーを、前記マーカーとして前記虚像表示範囲に表示してもよい。

これにより、オブジェクト認識範囲と虚像表示範囲の位置関係を、枠マーカーを用いてわかりやすくユーザに報知すること等が可能になる。

また、本発明の一態様では、前記オブジェクト認識範囲が、前記虚像表示範囲の一辺に沿って設定された場合に、前記表示部は、前記オブジェクト認識範囲の位置を示すライン状のラインマーカーを、前記マーカーとして前記虚像表示範囲に表示してもよい。

これにより、オブジェクト認識範囲と虚像表示範囲の位置関係を、ラインマーカーを用いてわかりやすくユーザに報知すること等が可能になる。

また、本発明の一態様では、前記オブジェクト認識範囲の設定処理を行う処理部を含み、前記処理部は、前記虚像表示範囲の位置を表す情報に基づいて、前記オブジェクト認識範囲の一部に対して前記虚像表示範囲の少なくとも一部が重畳する前記位置関係となる前記オブジェクト認識範囲の前記設定処理を行ってもよい。

これにより、オブジェクト認識範囲と虚像表示範囲の位置関係を考慮して、当該オブジェクト認識範囲の設定処理を行うこと等が可能になる。

また、本発明の一態様では、前記処理部は、前記オブジェクト認識範囲の位置及びサイズの少なくとも一方を可変に設定してもよい。

これにより、オブジェクト認識範囲を柔軟に設定すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記オブジェクト認識範囲の認識処理により認識された前記対象物の数が、所与の閾値よりも大きい場合に、前記オブジェクト認識範囲の前記サイズを、前記認識処理時の前記サイズに比べて小さく設定してもよい。

これにより、認識処理の結果に基づいて、オブジェクト認識範囲のサイズを変更すること等が可能になる。

また、本発明の一態様では、前記対象物がテキストである場合に、前記表示部は、前記対象物として認識された前記テキストに関する関連情報、又は、前記テキストを翻訳した情報を、前記虚像表示範囲に表示してもよい。

これにより、対象物としてテキストを認識すること等が可能になる。

また、本発明の一態様では、前記表示部は、前記オブジェクト認識範囲の一部に対して、前記虚像表示範囲の一部が重畳する前記位置関係となる前記虚像表示範囲に、前記虚像を表示してもよい。

これにより、虚像表示範囲の一部が、オブジェクト認識範囲の一部に対して重畳する位置関係とすること等が可能になる。

また、本発明の一態様では、前記表示部は、前記オブジェクト認識範囲の一部に対して、前記虚像表示範囲の全部が重畳する前記位置関係となる前記虚像表示範囲に、前記虚像を表示してもよい。

これにより、虚像表示範囲の全部が、オブジェクト認識範囲の一部に対して重畳する位置関係とすること等が可能になる。

また、本発明の一態様では、前記オブジェクト認識範囲と前記虚像表示範囲が重畳する領域を重畳領域とし、前記オブジェクト認識範囲のうち前記虚像表示範囲と重畳しない領域を非重畳領域とした場合に、前記表示部は、前記重畳領域及び前記非重畳領域の両方が存在する前記位置関係となる前記虚像表示範囲に、前記虚像を表示してもよい。

これにより、オブジェクト認識範囲に対して、重畳領域、非重畳領域という観点から規定された位置関係である虚像表示範囲において表示を行うこと等が可能になる。

また、本発明の他の態様は、撮像部が使用者の視界方向を撮像し、表示部が前記使用者の視界内に、前記撮像部からの撮像画像に基づく情報を含む映像を、虚像として観察可能に表示する情報提示システムの制御方法であって、前記撮像部の撮影可能範囲の一部に、対象物の認識を行う範囲であるオブジェクト認識範囲が設定される場合に、前記オブジェクト認識範囲の一部に対して、前記虚像が表示される虚像表示範囲の少なくとも一部が重畳する位置関係となる前記虚像表示範囲に、前記虚像を表示する情報提示システムの制御方法に関係する。

本実施形態の情報提示システムのシステム構成例。 情報提示システムであるウェアラブル装置と、撮像部、処理部とが異なる機器に設けられる例。 オブジェクト認識範囲と虚像表示範囲の位置関係の例。 オブジェクト認識範囲と虚像表示範囲の位置関係の他の例。 図５（Ａ）、図５（Ｂ）はオブジェクト認識範囲と虚像表示範囲の位置関係による非重畳領域の形状の差異を説明する図。 中心位置マーカー及び枠マーカーの表示例。 情報表示に用いられる表示画面の領域分割例。 テキスト認識でのオブジェクト認識範囲と虚像表示範囲の位置関係の例。 図９（Ａ）、図９（Ｂ）はオブジェクト認識範囲を可変に設定する例。 オブジェクト認識範囲のサイズ等を変更する処理を説明するフローチャート。 図１１（Ａ）、図１１（Ｂ）は縦方向のテキストを認識する例。 虚像表示範囲の周縁部を説明する図。 Internet of Thingsの世界観を説明する図。 図１４（Ａ）、図１４（Ｂ）は外界視野と虚像表示範囲を説明する図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず本実施形態の手法について説明する。上述したように、「Internet of Things」の世界観においては日常的な環境に配置されるあらゆる「モノ」が情報を持ち、ネットワーク化される。そして各「モノ」（対象物）はネットワーク上に情報を発信し、ユーザ（使用者）は当該情報を取得、閲覧することになる。

対象物としては、上述したようにスマート家電でもよいし、電子機器ではない植木、水槽でもよいし、図１３に示したように商品棚に陳列された種々の商品であってもよい。情報発信の形態は種々考えられるが、例えばそれぞれの家電がＳＮＳ（Social Networking Service）を利用するものであってもよく、一例としては短文投稿サービスを利用して、自己の保持する情報を利用者に投げかけることが考えられる。さらに具体的には、冷蔵庫が内部に保管された食材の量や保存状態等を、当該冷蔵庫の持ち主に知らせるものであってもよい。なお、図１３の吹き出しは、各商品が情報を発信しているという「Internet of Things」の世界観を表現したものである。よって拡張現実等を用いて実際に吹き出しの形でユーザに情報提示をしてもよいが、本実施形態はそのような手法に限定されるものではない。

また、植木や水槽等、それ自体が本来電子機器ではなく通信機能を有さないモノについては、それらの対象物に対してセンサや通信部を備えた小型電子機器を取り付けてもよい。或いは、対象物の情報はサーバ等で管理しておき、ユーザ（例えば植木の管理者、商品の購入者等）側が有する機器により対象物を認識し、サーバに対して情報取得をリクエストしてもよい。

このような世界観では、ネットワーク上の膨大な情報を全て取得したのでは有益でない情報が含まれることになるし、そもそも情報量を考えれば現実的ではない。そこで、何らかのセンサを用いたセンシング処理を行い、センシングされた対象物の情報を取得、表示することが考えられる。例えば特許文献１には使用者の頭部などに搭載された撮像装置（カメラ）で認識されたオブジェクト（対象物）に関する情報を、使用者の頭部に装着された虚像表示装置を用いて提示するシステムが開示されている。

ここでの虚像表示装置とは、例えばシースルー型のＨＭＤ（Head Mounted Display）等である。シースルー型のＨＭＤでは、ユーザーの外界視野（実視野、外界視界とも表記する）の一部である虚像表示範囲に、映像を虚像として表示する。例えば、ユーザの実視野が図１４（Ａ）に示すような状況である場合に、シースルー型ＨＭＤでは図１４（Ｂ）のＤＡに示したように、実視野の一部を虚像表示範囲とし、当該虚像表示範囲ＤＡにおいて映像を表示する。

本実施形態で想定しているシステムは例えば図１４（Ｂ）に示したような形態であり、外界視野で観察される山を、撮像部からの撮像画像を用いて認識し、山が認識されたという結果に基づいて当該山に関する情報を虚像表示範囲ＤＡに表示する。撮像部の撮像範囲をユーザの視界方向に対応づけておけば、ユーザは情報を取得したい対象物の方向に視線を向けるだけで、当該対象物の情報を、ＤＡに表示される映像により取得することが可能となる。

ここで問題となるのが、撮像画像を用いた対象物の認識処理の対象となるオブジェクト認識範囲と、図１４（Ｂ）のＤＡに示した虚像表示範囲の関係である。例えば、撮像部が図１４（Ａ）、図１４（Ｂ）に示したユーザの実視野と同等の範囲を撮像している場合、撮像画像には山だけではなく、家屋や道路、樹木といった多くの対象物が含まれることになり、どの対象物の情報を提示すればよいかがわからない。上述したように、ユーザの利便性を考慮すれば視界方向と撮像範囲は対応づけるとよいが、撮像画像全体（図３等の最大検出範囲ＭＡＸに対応）をオブジェクト認識範囲とすることは必ずしも好ましいとは言えない。

つまり、オブジェクト認識範囲は、当該範囲に含まれる対象物が１つ、或いは情報を表示するにあたって支障とならない程度に少数となるサイズとするとよい。これは例えば、撮像画像の全体ではなく、一部を認識処理の対象とすることで実現できる。これにより、撮像範囲（図３等における最大検出範囲ＭＡＸ）の一部をオブジェクト認識範囲とすることになる。

しかし、オブジェクト認識範囲が実視野等と比較した場合に狭い範囲であるとすると、当該オブジェクト認識範囲の位置及びサイズを、どのようにユーザに報知するかが問題となる。

例えば、オブジェクト認識範囲と虚像表示範囲が全く重畳しない位置関係となる場合には、オブジェクト認識範囲の位置、サイズに関する情報は一切ユーザに示されることがない。例えば、オブジェクト認識範囲を示すマーカーを表示しようにも、映像を表示可能なのは虚像表示範囲ＤＡに限られるのであるから、当該虚像表示範囲ＤＡと重畳しないオブジェクト認識範囲を位置やサイズをわかりやすく表示することは難しい。撮像部の撮像範囲がユーザの視界方向に対応することから、実視野内のどこかの領域がオブジェクト認識範囲であるとの推測はできるが、それ以上の情報はなく、情報を閲覧したい対象物を適切にオブジェクト認識範囲に収めることは困難と言える。

それに対して、虚像表示範囲ＤＡの位置及びサイズは、当該範囲に映像が表示されることからユーザにとって容易に知ることができる。つまりオブジェクト認識範囲を虚像表示範囲ＤＡと一致させる、或いはオブジェクト認識範囲が虚像表示範囲ＤＡに含まれるようにすることで、オブジェクト認識範囲の位置をユーザに対して明確に知らせることが可能となる。

しかし、虚像表示範囲ＤＡには図１４（Ｂ）に示したように情報（映像）が表示されるため、情報表示中には当該虚像表示範囲ＤＡに重なる位置にある物体の視認性が著しく低下する。例えば、本来であれば図１４（Ａ）に示したような実視野が観察されるところ、虚像表示範囲ＤＡに映像を表示することで、図１４（Ｂ）に示したように道路や家屋の一部が見えづらくなってしまう。よって、ユーザが情報を取得したいと考えている対象物をオブジェクト認識範囲に含める、すなわち虚像表示範囲ＤＡに含めるようにした場合、興味を持っているはずの対象物の視認性が下がる結果となってしまい好ましくない。

そこで本出願人は、オブジェクト認識範囲と虚像表示範囲の位置関係を考慮することで、オブジェクト認識範囲の位置をユーザに対してわかりやすく報知し、且つ当該オブジェクト認識範囲に対象物が含まれるようにした場合であっても、虚像表示範囲に表示される映像による対象物の視認性低下を抑止する情報提示システム等を提案する。

本実施形態の情報提示システムは、図１に示したように、使用者の視界内に、映像を虚像として観察可能に表示する表示部３００と、使用者の頭部に装着され使用者の視界方向を撮像する撮像部１００からの、撮像画像に基づく情報を、表示部３００に表示する制御を行う表示制御部４００を含む。そして、撮像部１００の撮影可能範囲の一部に、対象物の認識を行う範囲であるオブジェクト認識範囲ＯＢが設定される場合に、表示部３００は、オブジェクト認識範囲の一部に対して、虚像が表示される虚像表示範囲の少なくとも一部が重畳する位置関係となる虚像表示範囲に、虚像を表示する。

これにより、オブジェクト認識範囲と虚像表示範囲が重畳する重畳領域を有することで、虚像表示範囲のうち重畳領域となる範囲にマーカーを表示すること等ができるため、オブジェクト認識範囲の位置やサイズをわかりやすくユーザに報知することができる。また、オブジェクト認識範囲のうち虚像表示範囲と重畳しない非重畳領域を有することで、対象物をオブジェクト認識範囲における認識対象としながら、表示される映像による当該対象物の視認性低下を抑止することも可能となる。

以下、情報提示システムのシステム構成例を説明し、その後オブジェクト認識範囲と虚像表示範囲の関係例を説明する。さらに、オブジェクトとしてテキストを認識する変形例、及び対象物の認識結果等に基づいてオブジェクト認識範囲の位置やサイズを可変に設定する変形例についても説明する。

２．システム構成例
本実施形態の情報提示システムのシステム構成例を図１に示す。図１では、情報提示システムのとしてメガネ型のウェアラブル装置（ＨＭＤ）を用いる例を示しているが、情報提示システムはメガネ型ウェアラブル装置に限定されるものではない。

図１はメガネ型ウェアラブル装置を上方から見た図であり、テンプル部が耳掛け部分であり、フロント部が通常のメガネであればレンズが設けられる部分である。図１に示したように、情報提示システムは、撮像部１００と、表示部３００と、表示制御部４００と、通信部５００と、処理部６００と、バッテリ７００を含む。ただし、情報提示システムは図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

撮像部１００は、ユーザの視界方向を撮像し、撮像画像を取得する。表示部３００は、ユーザの外界視界に映像を虚像としてを重畳表示させる。一例としては図１に示したように、ユーザの眼球正面の位置に先端が来るようなフレームを設け、当該フレーム先端にディスプレイを設けることで表示部３００を実現してもよい。表示制御部４００は、表示部３００での表示制御を行う。

通信部５００は、ネットワークを介して他の電子機器との通信を行う。具体的には、対象物からの対象物情報の受信等を行う。また、図２を用いて後述するように、撮像部や、認識処理を行う処理部が他の機器に設けられる場合には、それらの機器との間で撮像画像や認識処理の結果等の情報の通信処理を行う。

処理部６００は、ユーザ操作に基づく操作情報や、通信部５００が受信した情報に基づいて、種々の処理を行う。この処理部６００の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。処理部６００は、例えばオブジェクト認識範囲の設定処理や、撮像部１００からの撮像画像に基づく対象物の認識処理等を行ってもよい。

バッテリ７００は、ウェアラブル装置の各部を動作させるための電力を提供する。

なお、図１では情報提示システム（狭義にはウェアラブル装置）が撮像部１００を含む構成としたがこれには限定されない。撮像部の撮像範囲はユーザの視界方向に対応することから、撮像部はユーザの頭部に装着される他のウェアラブル装置に含まれるものであってもよい。例えば、本実施形態に係る情報提示システムとは別に、ヘッドバンド型、ヘルメット型、耳掛け型等のウェアラブル装置を装着し、撮像部は当該ウェアラブル装置に設けられてもよい。その場合、情報提示システムと、撮像部を含むウェアラブル装置とはネットワークを介して接続され、撮像部で撮像された撮像画像は、当該ネットワークを介して情報提示システムの通信部５００に送信され、処理部６００において認識処理が行われることが想定される。ここでのネットワークは有線、無線を問わない。或いは、撮像部を含むユニットが、情報提示システムのアタッチメントとして用意されてもよい。その場合、撮像部を含むユニットは、情報提示システムに設けられた端子等のインターフェースに接続されることになる。

また、オブジェクト認識範囲の設定処理や、撮像画像に対する認識処理を情報提示システムの処理部６００で行うものとしたがこれに限定されない。情報提示システムがウェアラブル装置である場合、当該ウェアラブル装置はユーザにより装着される関係から、小型化、軽量化されることが好ましい。そのため、処理部６００の処理性能やバッテリ容量等の制限が大きくなり、処理負荷の高い認識処理（画像処理）を情報提示システム内で行うことが困難な場合も考えられる。その場合には、外部機器により認識処理を行い、情報提示システムはその処理結果を取得、表示してもよい。

例えば、図２に示したように、情報提示システム（ここではウェアラブル装置ＷＥ）と、撮像部ＣＡを含む他のウェアラブル装置とが別体として設けられ、ＷＥ及びＣＡがユーザにより装着され、且つ当該ユーザが他の電子機器（ここではスマートフォンＳＰを想定）を所持している場合を考える。図２の例では、撮像部ＣＡからの撮像画像は、短距離無線等のネットワークを介してスマートフォンＳＰに送信され、対象物の認識処理はスマートフォンＳＰの処理部において行われる。そして認識処理の結果が、同様に短距離無線等のネットワークを介して情報提示システムに対して送信され、情報提示システムの表示部３００で表示される。なお、ここでの認識処理の結果とは、所与の対象物が認識されたことを表す情報であってもよいし、認識された対象物に関連する対象物情報であってもよい。このようにすれば、撮像部や認識処理を行う処理部が情報提示システムに含まれない構成とすることができ、情報提示システムの処理負荷の軽減等が可能になる。

なお、認識処理を行う主体は、スマートフォン等のようにユーザにより携帯される電子機器には限定されない。例えば、情報提示システムとネットワークを介して接続されるサーバシステム等において認識処理が行われてもよい。或いは、撮像部を含むユニットから、撮像画像が一旦スマートフォンに送信され、スマートフォンからサーバシステムに対して撮像画像が送信されるという経路をたどってもよい。つまり、撮像部や、認識処理を行う処理部がどの機器に設けられるかは種々の変形実施が可能であるし、当該機器間の接続関係についても種々の変形実施が可能である。

３．オブジェクト認識範囲と虚像表示範囲の関係
次にオブジェクト認識範囲と虚像表示範囲との位置関係（サイズ関係を含む）について説明する。本実施形態における位置関係は大きく分けて２つのパターンに分類できる。１つは図３に示したように、オブジェクト認識範囲ＯＢの一部（狭義にはオブジェクト認識範囲ＯＢのうち周縁部の一部）に虚像表示範囲ＤＡが対応する場合である。この場合、虚像表示範囲ＤＡとオブジェクト認識範囲ＯＢが重畳する重畳領域ＯＡ、及びオブジェクト認識範囲ＯＢであるが虚像表示範囲ＤＡとは重畳しない非重畳領域ＮＡ１が設定されることになる。

もう１つのパターンは、図４に示したように、オブジェクト認識範囲ＯＢと虚像表示範囲ＤＡは、一方が他方を包含するという関係にはならないものであり、この場合、上記重畳領域ＯＡ、非重畳領域ＮＡ１の他、虚像表示範囲ＤＡであるがオブジェクト認識範囲ＯＢとは重畳しない第２の非重畳領域ＮＡ２が設定されることになる。

３．１ 第１の関係例
まず図３のパターンについて説明する。上述したように、図３ではオブジェクト認識範囲ＯＢに虚像表示範囲ＤＡが含まれることになり、重畳領域ＯＡ及び非重畳領域ＮＡ１が設定できる。この場合、重畳領域ＯＡはオブジェクト認識範囲ＯＢに含まれるため対象物の認識処理が可能であり、且つ虚像表示範囲ＤＡにも含まれるため情報の表示も可能である。よって、重畳領域ＯＡにおいてオブジェクト認識範囲ＯＢの位置を示す情報を表示することで、ユーザに対してオブジェクト認識範囲ＯＢの位置等を報知することが可能になる。

ここで重畳領域ＯＡにおいて表示される情報とは、図３に示したようにオブジェクト認識範囲ＯＢの基準位置を表すマーカーであってもよい。基準位置としてオブジェクト認識範囲ＯＢの中心位置を設定すれば、オブジェクト認識範囲ＯＢはマーカー（中心位置マーカーＭ１）を中心とした所与の範囲であることをユーザに知らせることができる。なお、この場合にはオブジェクト認識範囲ＯＢのサイズについては報知できない。ただし、図４を用いて後述するオブジェクト認識範囲ＯＢの枠を表示する実施例と対比すれば、少なくとも重畳領域ＯＡ内にオブジェクト認識範囲ＯＢの枠がくることがない程度にオブジェクト認識範囲ＯＢのサイズは大きい、といった推測をユーザに行わせることは可能である。

なお、非重畳領域ＮＡ１での対象物の視認性を考慮すれば、虚像表示範囲ＤＡの中心位置とオブジェクト認識範囲ＯＢの中心位置が近い、すなわちオブジェクト認識範囲ＯＢの中心位置を表すマーカーが、虚像表示範囲ＤＡの中央部に表示される、というケースは好ましくない。理由を図５（Ａ）、図５（Ｂ）を用いて説明する。

非重畳領域ＮＡ１とは、オブジェクト認識範囲ＯＢでありながら虚像表示範囲ＤＡでない領域であるため、当該非重畳領域ＮＡ１に位置する対象物は、認識処理の対象となり、且つ映像により遮蔽されず視認性が高いものとなる。認識対象となっている対象物の視認性向上という観点から考えれば、非重畳領域ＮＡ１の形状も考慮する必要がある。

図５（Ａ）と図５（Ｂ）はともに同じ面積の非重畳領域ＮＡ１を有する。図５（Ａ）の位置関係であれば、虚像表示範囲ＤＡはオブジェクト認識範囲ＯＢの右下に偏るため、オブジェクト認識範囲ＯＢの上部及び左部が非重畳領域ＮＡ１となる。よって、高さＨ１幅Ｗ１の範囲に視認される対象物、或いは高さＨ２幅Ｗ２の範囲に視認される対象物は、対象物全体が認識処理の対象となった場合でも、映像に遮蔽されることなく、対象物全体を視認することが可能である。なお、ここでのＨ１等は対象物の実際の大きさではなく、視界内でどのようなサイズに見えるかを問題としている。また図５（Ａ）の位置関係であれば、仮に高さＨ１幅Ｗ１、或いは高さＨ２幅Ｗ２に収まらない対象物であったとしても、当該対象物のうち広い範囲を視認できる可能性が高い。

それに対して、図５（Ｂ）では非重畳領域ＮＡ１が細い枠のような形状となってしまう。よって、全体がオブジェクト認識範囲ＯＢに含まれ、且つ映像に遮蔽されることなく全体が視認できる対象物は、極小さく視認されるものや、縦長横長形状のものに限定されてしまう。つまり、多くの対象物において、当該対象物を認識しようとした場合には、当該対象物の広い範囲が映像により遮蔽されることになり、視認性が低下する可能性が高い。

以上の点を考慮すれば、オブジェクト認識範囲ＯＢの中心位置は、虚像表示範囲ＤＡの周縁部の位置することが好ましい。この場合、オブジェクト認識範囲ＯＢの中心位置を表す中心位置マーカーＭ１は、虚像表示範囲ＤＡの周縁部に表示されることになる。

３．２ 第２の関係例
次に図４のパターンについて説明する。図４の例では、オブジェクト認識範囲ＯＢと虚像表示範囲ＤＡのそれぞれ一部が重畳する配置となっている。つまり、オブジェクト認識範囲ＯＢと虚像表示範囲ＤＡが重畳する重畳領域ＯＡと、オブジェクト認識範囲ＯＢであるが虚像表示範囲ＤＡとは重畳しない非重畳領域ＮＡ１と、虚像表示範囲ＤＡであるがオブジェクト認識範囲ＯＢとは重畳しない第２の非重畳領域ＮＡ２とが設定できる。

図４は図３と比較した場合、虚像表示範囲ＤＡ内にオブジェクト認識範囲ＯＢの枠が含まれる点が異なる。つまり図４のパターンでは、図３に示したようにオブジェクト認識範囲ＯＢの中心位置等を表すマーカーを表示するだけでなく、図６に示したようにオブジェクト認識範囲ＯＢの外縁を表す枠マーカーＭ２を表示することが可能になる。

ユーザに対して、図６に示したように中心位置マーカーＭ１と枠マーカーＭ２の両方を提示すれば、ユーザーは当該マーカーに基づいて、図６の点線に示したようにオブジェクト認識範囲ＯＢの位置及びサイズを正しく推定可能となる。なお、図３のパターンと同様に、オブジェクト認識範囲ＯＢのおおよその位置がわかればよく、その位置及びサイズを一意に決定する必要まではないケースも考えられる。その場合には、中心位置マーカーＭ１と枠マーカーＭ２の両方を表示するのではなく、どちらか一方を表示するものであってもよい。

また、図４では虚像表示範囲ＤＡであるがオブジェクト認識範囲ＯＢとは重畳しない第２の非重畳領域ＮＡ２がある点でも図３と異なる。第２の非重畳領域ＮＡ２では、虚像表示範囲ＤＡに含まれるため情報の表示が可能である一方、当該領域はオブジェクト認識範囲ＯＢではないため、認識対象となっている対象物が含まれることはない（少なくとも、認識対象の対象物のうち、認識処理に寄与する部分が含まれることはない）。つまり、第２の非重畳領域ＮＡ２に情報を表示したとしても、認識対象である対象物の視認性に関して与える影響は小さいと考えられる。

この点をふまえると、虚像表示範囲ＤＡの全体に情報を表示するのではなく、虚像表示範囲ＤＡのうち第２の非重畳領域ＮＡ２において情報を表示し、重畳領域ＯＡでは情報を表示しない形態としてもよい。或いは、重畳領域ＯＡにおいても情報の表示は行うが、重畳領域ＯＡに比べて第２の非重畳領域ＮＡ２での情報表示を優先的に行うものであってもよい。

具体的な映像表示例を図７に示す。図７の左上に示したように、虚像表示範囲ＤＡのうち重畳領域ＯＡでは情報の表示を行わず、中心位置マーカーＭ１や枠マーカーＭ２の表示を行う。一方で、虚像表示範囲ＤＡのうち重畳領域ＯＡ以外の領域である第２の非重畳領域ＮＡ２において情報の表示を行う。このようにすれば、虚像表示範囲ＤＡにマーカー等を表示することでオブジェクト認識範囲ＯＢをわかりやすくし、且つ認識対象である対象物を映像で遮蔽することなく当該対象物の視認性を低下させない、という両方の効果を効率的に実現することが可能になる。

なお、図７では第２の非重畳領域ＮＡ２をさらに２つに分け、検知対象物表示エリアＩＡ２と情報表示エリアＩＡ１を設定している。ここで検知対象物表示エリアＩＡ２とは、認識対象により認識された対象物の名称、外観といった概略情報を表示するエリアであり、情報表示エリアＩＡ１とは当該対象物の詳細情報を表示するエリアを想定している。対象物の詳細情報は種々考えられるが、例えば対象物が家電製品であれば、商品名、型番、メーカー、消費電力といった仕様に関する情報、或いは当該製品に対する消費者の口コミ情報等であってもよい。ただし、第２の非重畳領域ＮＡ２での表示映像は図７に限定されず、種々の変形実施が可能である。

４．テキスト認識
以上の説明では、対象物は家電製品やパッケージされた商品を想定していた。しかし本実施形態の対象物はそれらに限定されるものではなく、例えばテキストを対象物として、対象物の認識処理としてテキスト認識を行ってもよい。このようにすれば、ユーザがテキストの方向に視線を向けることで、当該テキストを認識し、例えばテキストに含まれる単語の意味を表示したり、外国語のテキストを自国語に翻訳すること等が可能になる。なお、テキストを含む画像からテキストを認識する点については種々の手法が知られており、本実施形態ではそれらの手法を広く適用可能であることから、詳細な説明は省略する。以下では、テキスト認識を行う場合のオブジェクト認識範囲ＯＢ、虚像表示範囲ＤＡの位置関係、表示されるマーカー等について説明する。

テキスト認識を行う場合の具体例を図８に示す。図８では、オブジェクト認識範囲ＯＢとして横方向に長いテキスト認識範囲を設定している。これはテキスト認識においては行単位で認識処理を行うことを想定しているためである。もちろん、本実施形態の手法において複数行のテキストに対応するテキスト認識範囲を設定することは妨げられないが、ユーザが翻訳等を望んでいるテキスト範囲を適切に認識することを考えると、行単位とすることが好ましい。

この場合には、テキスト認識範囲が虚像表示範囲ＤＡの一辺に沿った方向に細長く設定されることから、図８に示したように当該一辺に沿ったライン上のマーカーを表示すればよい。なお、図６で上述したように、オブジェクト認識範囲ＯＢの外縁を表す枠マーカーＭ２を表示してもよいが、図８のようなテキスト認識においては、枠マーカーＭ２とラインマーカーＭ３の差異が小さいため、枠マーカーＭ２は表示しないものとしてもよい。

また、第２の非重畳領域ＮＡ２において情報を表示する点は図７と同様であり、例えば上述したように認識された単語の意味や、翻訳後のテキスト等を表示する。

５．オブジェクト認識範囲のサイズ等の変更
また、上述してきたオブジェクト認識範囲ＯＢのサイズや位置は、動的に変更されてもよい。この変更は例えば認識処理を行う処理部６００で行われる。

具体的な状況の例を図９（Ａ）、図９（Ｂ）に示す。図９（Ａ）では対象物として棚に陳列された商品を想定している。ここでＲ１に示す範囲がオブジェクト認識範囲ＯＢとして設定されていたとする。この場合、当該オブジェクト認識範囲ＯＢには４つの対象物候補が含まれることになる。この場合、４つの対象物候補の全てに関する情報を表示してしまうと、情報量が過剰となってしまう可能性が高い。例えば、一度に表示される情報量が多いことで、ユーザに対して情報の取捨選択を迫ることになる場合もあるし、シースルー型ＨＭＤのように表示範囲（虚像表示範囲ＤＡ）のサイズが限定される情報提示システムであれば、そもそもサイズの問題から多くの情報を一度に表示することが困難な場合もある。

このような場合には、複数の対象物候補について優先度を判定し、最も優先度の高い候補を表示する対象物として選択する処理等を行ってもよいが、ここではオブジェクト認識範囲ＯＢのサイズや位置を動的に変更することで対応する。具体的には、オブジェクト認識範囲ＯＢを対象とした認識処理により認識された対象物の数が所定の閾値よりも大きい（狭義には２以上である）場合には、オブジェクト認識範囲ＯＢのサイズを縮小する。具体的には、オブジェクト認識範囲ＯＢをＲ１からＲ２に縮小すればよい。このようにすれば、縮小後のオブジェクト認識範囲Ｒ２に含まれる対象物の数を少なくできるため、適切な表示が可能となる。つまり、広いオブジェクト認識範囲Ｒ１から、狭いオブジェクト認識範囲Ｒ２に変更することで、図９（Ｂ）に示したように対象物の絞り込みを行うことが可能になる。

なお、サイズや位置の変更後のオブジェクト認識範囲ＯＢについても、虚像表示範囲ＤＡに対して図３や図４に示した位置関係となるように、その位置やサイズを変更するとよい。

オブジェクト認識範囲ＯＢのサイズや位置の変更は、上述したように認識処理の結果に基づいて自動で行われてもよいし、ユーザからの入力に基づいて行われてもよい。処理部６００等において自動的に行われる場合の処理フローを図１０に示す。この処理が開始されると、まずオブジェクト認識範囲ＯＢに含まれる対象物の認識処理が行われる（Ｓ１０１）。そして認識された対象物の数が一定以下かを判定し（Ｓ１０２）、一定数以下でない場合には、オブジェクト認識範囲ＯＢを縮小し（Ｓ１０３）、Ｓ１０１に戻って再度オブジェクト認識範囲ＯＢに含まれる対象物の認識処理を行う。一方、Ｓ１０２において対象物が一定数以下である場合には、認識された対象物の情報を取得して、表示部３００に表示する（Ｓ１０４）。

また、オブジェクト認識範囲ＯＢのサイズ等の変更は以上のものに限定されない。例えば、図８を用いて上述したテキスト認識においては、テキストが縦書きか横書きかに応じてテキスト認識範囲のサイズや位置を変更してもよい。例えば、日本語等の言語では、文字は縦書きにも横書きにもできる。横書きの場合には図８に示したテキスト認識範囲を用いればよいが、縦書きの場合には行単位で認識処理を行うという考えに従えば、縦長のテキスト認識範囲を設定するとよい。例えば、図１１（Ａ）に示したようなテキストの場合には、虚像表示範囲ＤＡの縦方向の一辺に沿ったテキスト認識範囲を設定し、虚像表示範囲ＤＡには縦方向のラインマーカーＭ３を表示する。また、英語のような横書きが基本の言語においても、図表の説明においては、図１１（Ｂ）のように縦方向にテキストが記載される場合がある。そして、図表等が壁面に固定されているケースや、ＰＣのディスプレイに表示されるケースでは、図表自体を回転させることが困難なためテキストを横方向で認識することができない。そのような場合にも、図１１（Ｂ）に示したように縦方向のテキスト認識範囲を設定するとよい。

この場合のテキスト認識範囲の変更についても、ユーザによる入力（例えば縦書きモードか横書きモードかを示す入力）に基づいて行ってもよいし、認識処理の結果から自動判別してもよい。自動判別の手法は種々考えられるが、例えば構文解析等を用いてもよい。縦書きの文章を横方向に読む、或いは横書きの文章を縦方向に読むと文章として意味が通じないものになる。よって広く知られている構文解析を行って、当該文章が文法に沿ったものかどうかを判定すれば、テキストの認識方法が正しいか否かを判定可能である。

また、以上ではオブジェクト認識範囲ＯＢのサイズや位置の変更、及びテキスト認識における認識方向の変更について説明したが、非テキストであるオブジェクトの認識モードと、テキスト認識モードとの間でのモード遷移はユーザによる明示の入力により行われることを想定していた。しかし、認識処理の結果に基づいて現在のモードを自動判別し、判別されたモードに従ってオブジェクト認識範囲ＯＢの位置やサイズを自動的に変更してもよい。例えば、オブジェクト認識範囲ＯＢ（テキスト認識範囲）に含まれるテキストの文字数や、位置、サイズ等に基づいて、ユーザはテキスト認識を意図しているのか、非テキストの認識を意図しているのかを推測することが可能である。テキスト認識モードであると判定されれば、図８や図１１（Ａ）、図１１（Ｂ）に示したようなテキスト認識範囲を設定すればよいし、非テキストであるオブジェクトの認識モードであると判定されれば、図３や図４等のオブジェクト認識範囲ＯＢを設定すればよい。

６．本実施形態の具体例
以上の本実施形態では、情報提示システムは図１に示したように、使用者の視界内に、映像を虚像として観察可能に表示する表示部３００と、使用者の頭部に装着され使用者の視界方向を撮像する撮像部１００からの、撮像画像に基づく情報を、表示部３００に表示する制御を行う表示制御部４００を含む。そして、撮像部１００の撮影可能範囲ＭＡＸの一部に、対象物の認識を行う範囲であるオブジェクト認識範囲ＯＢが設定される場合に、表示部３００は、オブジェクト認識範囲ＯＢの一部に対して、虚像が表示される虚像表示範囲ＤＡの少なくとも一部が重畳する位置関係となる虚像表示範囲ＤＡに、虚像を表示する。

ここで、撮像可能範囲とは撮像部１００により撮像することができる被写体範囲を表すものであり、図３等ではＭＡＸで示したものである。またオブジェクト認識範囲ＯＢとは撮像可能範囲ＭＡＸのうち、対象物の認識処理の対象となる範囲を表すものであり、実際には撮像画像のうちオブジェクト認識範囲ＯＢに対応する領域に対して、対象物を認識するための画像処理を行うことになる。なお、撮像部１００は使用者の視界方向を撮像するものであるが、撮像部１００の画角（撮像部の撮像可能範囲に対応）と、装着者の実視界の画角とは必ずしも一致する必要はない。

また、「オブジェクト認識範囲の一部に対して、虚像が表示される虚像表示範囲ＤＡの少なくとも一部が重畳する位置関係」とは、図４に示したように、オブジェクト認識範囲の一部に対して、虚像表示範囲ＤＡの一部が重畳する位置関係であってもよい。或いは、図３に示したように、オブジェクト認識範囲の一部に対して、虚像表示範囲ＤＡの全部が重畳する位置関係であってもよい。

これは言い換えれば、オブジェクト認識範囲ＯＢと虚像表示範囲ＤＡが重畳する領域を重畳領域ＯＡとし、オブジェクト認識範囲ＯＢのうち虚像表示範囲ＤＡと重畳しない領域を非重畳領域ＮＡ１とした場合に、表示部３００は、重畳領域ＯＡ及び非重畳領域ＮＡ１の両方が存在する位置関係となる虚像表示範囲ＤＡに虚像を表示する、ということにもなる。

さらには、オブジェクト認識範囲ＯＢが、虚像表示範囲ＤＡと重なる重畳領域ＯＡと、虚像表示範囲ＤＡと重ならない非重畳領域ＮＡ１とを有する、とも言い換えられる。

これにより、オブジェクト認識範囲ＯＢと虚像表示範囲ＤＡは、図３或いは図４といった位置関係となるため、虚像表示範囲ＤＡを基準としてオブジェクト認識範囲ＯＢの位置やサイズをわかりやすくユーザに報知することが可能になる。また、非重畳領域ＮＡ１に観察される対象物については、認識処理の対象でありながら表示される映像に遮蔽されることがないため、ユーザが興味を持っている対象物の視認性低下を抑止することも可能となる。

また、虚像表示範囲ＤＡのうちオブジェクト認識範囲ＯＢの一部と重畳する領域を第１の領域とし、虚像表示範囲ＤＡのうちオブジェクト認識範囲ＯＢと重畳しない領域を第２の領域とした場合に、表示部３００は、映像のうち、第２の領域に対応する領域において、オブジェクト認識範囲ＯＢに基づき認識された対象物の情報を表示してもよい。

ここで、第１の領域とは、図４等を用いて上述してきた重畳領域ＯＡに対応し、第２の領域とは、第２の非重畳領域ＮＡ２に対応する。

これにより、虚像表示範囲ＤＡのうち適切な領域において情報を表示することが可能になる。第２の領域（第２の非重畳領域ＮＡ２）とは、情報の表示が可能であり、且つ当該領域に観察される対象物は認識処理の対象とならない領域である。よって、第２の領域に情報を表示することで、当該領域に観察される物体の視認性が低下したとしても、当該物体はユーザが興味を持って認識対象としている対象物ではないと推測できるため特に問題とならない。なお、対象物の広い範囲がオブジェクト認識範囲に含まれ、対象物の比較的狭い範囲が第２の非重畳領域ＮＡ２に含まれる場合、当該対象物が認識処理の対象となる可能性はあり得る。その場合、第２の非重畳領域ＮＡ２に表示された映像が、認識処理の対象である対象物を遮蔽するということになるが、遮蔽されるのは対象物のうち認識処理に影響を与えない程度の領域であるため、やはり大きな問題とならない。

また、表示部３００は、オブジェクト認識範囲ＯＢと虚像表示範囲ＤＡの位置関係を使用者に対して報知するマーカーを、虚像表示範囲ＤＡに表示してもよい。

具体的には、表示部３００は図３に示したように、オブジェクト認識範囲ＯＢの中心位置を示す中心位置マーカーＭ１を、前記マーカーとして虚像表示範囲ＤＡに表示してもよい。

或いは、表示部３００は図６に示したように、オブジェクト認識範囲ＯＢの枠の一部を表す枠マーカーＭ２を、前記マーカーとして虚像表示範囲ＤＡに表示してもよい。

或いは、オブジェクト認識範囲ＯＢが、虚像表示範囲ＤＡの一辺に沿って設定された場合に、表示部３００は図８に示したように、オブジェクト認識範囲ＯＢの位置を示すライン状のラインマーカーＭ３を、前記マーカーとして虚像表示範囲ＤＡに表示してもよい。

或いは、これらのマーカーを複数組み合わせて表示してもよい。

これにより、オブジェクト認識範囲ＯＢと虚像表示範囲ＤＡの位置関係を、種々マーカーを利用して使用者に対してわかりやすく報知することが可能になる。なおここでのマーカーは位置関係を一意に決定するものに限定されず、当該位置関係の概略を推定可能なものであってもよい。例えば、図６に示したように中心位置マーカーＭ１と枠マーカーＭ２を併用することで、オブジェクト認識範囲ＯＢを正確にユーザに報知することができる。或いは、中心位置マーカーＭ１、枠マーカーＭ２、ラインマーカーＭ３のいずれかを表示してもよく、その場合、オブジェクト認識範囲ＯＢを厳密に特定することはできないが、オブジェクト認識範囲ＯＢを推定する手がかりとして用いることができる。

また、表示部３００は、オブジェクト認識範囲ＯＢの中心位置を示す中心位置マーカーＭ１を、虚像表示範囲ＤＡの周縁部に表示してもよい。

ここで虚像表示範囲ＤＡの周縁部とは、例えば図１２に示したように虚像表示範囲ＤＡの外縁から、所与の長さだけ虚像表示範囲ＤＡの中心方向にシフトした位置までの間の領域である。さらに具体的には、虚像表示範囲ＤＡの高さをＨ３，幅をＷ３とした場合に、周縁部のうち図１２に示したＨ４，Ｗ４の長さが、所与の閾値Ｔｈに対して、Ｈ４／Ｈ３＜Ｔｈ及びＷ４／Ｗ３＜Ｔｈを満たす領域であってもよい。ただし、図１２では虚像表示範囲ＤＡの中央部（周縁部以外の領域）を方形としたがこれに限定されず、虚像表示範囲ＤＡの中央部を円形状にする等、周縁部の定義については種々の変形実施が可能である。

これにより、虚像表示範囲ＤＡの中央部に中心位置マーカーＭ１を表示する場合、すなわちオブジェクト認識範囲ＯＢの中心位置と虚像表示範囲ＤＡの中心位置が近い場合に比べて、より認識対象である対象物の視認性低下を抑止することが可能となる。具体的には、図５（Ａ）、図５（Ｂ）を用いて上述したように、非重畳領域ＮＡ１が縦長或いは横長の領域を組み合わせた枠形状となるよりは、縦横比が比較的１に近い形状となったほうが、より多くの形状、サイズの対象物について、当該対象物のうち広い範囲が映像に遮蔽されることなく視認可能となる。

また、情報提示システムは図１に示したように、オブジェクト認識範囲ＯＢの設定処理を行う処理部６００を含んでもよい。そして処理部６００は、虚像表示範囲ＤＡの位置を表す情報に基づいて、オブジェクト認識範囲の一部に対して虚像表示範囲ＤＡの少なくとも一部が重畳する位置関係となるオブジェクト認識範囲ＯＢの設定処理を行う。

これにより、情報提示システムの処理部６００においてオブジェクト認識範囲ＯＢの設定処理を行うことが可能になる。例えば、図１に示したように撮像部１００と表示部３００が同一のウェアラブル装置に実装される場合には、撮像部１００の撮像可能範囲（最大検出範囲）と表示部３００で表示が行われる虚像表示範囲ＤＡの対応付けは、設計事項として既知である場合が考えられる。或いは、図１のフレームの操作等により表示部３００の位置が可変である場合にも、当該フレームの操作量等を検出することで、やはり撮像可能範囲と虚像表示範囲ＤＡの対応付けができる。よって、虚像表示範囲ＤＡの位置やサイズに基づいて、オブジェクト認識範囲ＯＢの位置やサイズを設定することが可能である。具体的には、撮像画像のうちどの領域が虚像表示範囲ＤＡに対応するかということが情報として与えられることになり、当該領域と認識処理の対象とする領域との位置関係を処理部６００で設定すればよい。

なお、図２を用いて上述したように、オブジェクト認識範囲ＯＢの設定処理は、情報提示システムとしてのウェアラブル装置で行われるものに限定されず、ウェアラブル装置とネットワーク等を介して接続された携帯電子機器（例えばスマートフォン）の処理部、或いはサーバシステムの処理部において行われてもよい。つまり本実施形態における情報提示システムは、狭義には図２に示したウェアラブル装置ＷＥに対応するものであるが、それには限定されず、ウェアラブル装置ＷＥと撮像部ＣＡと処理部を含む電子機器（例えばスマートフォンＳＰ）とから構成されるシステムであってもよい。

また、処理部６００は、オブジェクト認識範囲ＯＢの位置及びサイズの少なくとも一方を可変に設定してもよい。

これにより、オブジェクト認識範囲ＯＢを柔軟に設定することが可能になる。図３や図４に示したように、オブジェクト認識範囲の一部に対して、虚像表示範囲ＤＡの少なくとも一部が重畳する位置関係は一意に決定されるものではなく、多くのパターンが考えられる。よって、外界視界に視認される対象物の状況等によっては、所与の位置関係は対象物の認識や情報の表示に適しているが、他の位置関係は不適切であるといった状況も生じうる。そこで、状況に合わせてオブジェクト認識範囲ＯＢを可変とすることで、より当該状況に適したオブジェクト認識範囲ＯＢを設定することが可能になる。なお、オブジェクト認識範囲ＯＢを変更するトリガーとしてどのような情報を用いるか、及び変更後のオブジェクト認識範囲ＯＢの位置及びサイズをどのように決定するかは種々の手法が考えられる。例えば、ユーザから入力された情報を用いてもよいし、認識処理の結果等を用いて処理部６００が自動判別してもよい。

また、処理部６００は、オブジェクト認識範囲ＯＢの認識処理により認識された対象物の数が、所与の閾値よりも大きい場合に、オブジェクト認識範囲ＯＢのサイズを、認識処理時のサイズに比べて小さく設定してもよい。

これにより、図９（Ａ）、図９（Ｂ）に示したように、オブジェクト認識範囲Ｒ１で認識される対象物が多すぎる場合に、オブジェクト認識範囲をＲ２に縮小することで対象物を絞り込むことが可能になる。その結果、情報を表示すべき対象物を限定できるため、情報の適切な提示が可能になる。ここでの情報の適切な提示とは、例えば一度に表示する情報量を限定することで、ユーザの理解を容易にするものであったり、１つ１つの文字等のサイズを大ききすることで視認性を高めるものである。

また、対象物がテキストである場合に、表示部３００は、対象物として認識されたテキストに関する関連情報、又は、テキストを翻訳した情報を虚像表示範囲ＤＡに表示してもよい。

これにより、図８等に示したように、テキストを対象物として認識し、当該テキストの関連情報、或いは翻訳した情報を表示することが可能になる。ここで、テキストに関する関連情報とは、テキストに含まれる単語の辞書的な意味を示す情報であってもよいし、テキストをキーワードとして検索処理を行った場合の検索結果を示す情報であってもよいし、他の情報であってもよい。

また、以上の本実施形態は、撮像部１００が使用者の視界方向を撮像し、表示部３００が使用者の視界内に、撮像部１００からの撮像画像に基づく情報を含む映像を、虚像として観察可能に表示する情報提示システムの制御方法（ウェアラブル装置の制御方法）であって、撮像部１００の撮影可能範囲の一部に、対象物の認識を行う範囲であるオブジェクト認識範囲ＯＢが設定される場合に、オブジェクト認識範囲の一部に対して、虚像が表示される虚像表示範囲ＤＡの少なくとも一部が重畳する位置関係となる虚像表示範囲ＤＡに、虚像を表示する情報提示システムの制御方法（ウェアラブル装置の制御方法）に適用できる。

なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また情報提示システム等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１００ 撮像部、３００ 表示部、４００ 表示制御部、５００ 通信部、
６００ 処理部、７００ バッテリ、ＣＡ 撮像部、ＤＡ 虚像表示範囲、
ＩＡ１ 情報表示エリア、ＩＡ２ 検知対象物表示エリア、Ｍ１ 中心位置マーカー、
Ｍ２ 枠マーカー、Ｍ３ ラインマーカー、ＭＡＸ 最大検出範囲、
ＮＡ１ 非重畳領域、ＮＡ２ 第２の非重畳領域、ＯＡ 重畳領域、
ＯＢ，Ｒ１，Ｒ２ オブジェクト認識範囲、ＳＰ スマートフォン、
ＷＥ ウェアラブル装置

Claims (15)

1. 使用者の視界内に、映像を虚像として観察可能に表示する表示部と、
   前記使用者の頭部に装着され前記使用者の視界方向を撮像する撮像部からの、撮像画像に基づく情報を、前記表示部に表示する制御を行う表示制御部と、
   を含み、
   前記撮像部の撮影可能範囲の一部に、対象物の認識を行う範囲であるオブジェクト認識範囲が設定される場合に、
   前記表示部は、
   前記オブジェクト認識範囲の一部に対して、前記虚像が表示される虚像表示範囲の少なくとも一部が重畳する位置関係となる前記虚像表示範囲に、前記虚像を表示し、
   前記虚像表示範囲のうち前記オブジェクト認識範囲の一部と重畳する領域を第１の領域とし、前記虚像表示範囲のうち前記オブジェクト認識範囲と重畳しない領域を第２の領域とした場合に、
   前記表示部は、
   前記映像のうち、前記第２の領域に対応する領域において、前記オブジェクト認識範囲に基づき認識された前記対象物の情報を表示することを特徴とする情報提示システム。
2. 使用者の視界の一部に、映像を虚像として観察可能に表示する表示部と、
   前記使用者の頭部に装着され前記使用者の視界方向を撮像する撮像部からの、撮像画像に基づく情報を、前記表示部に表示する制御を行う表示制御部と、
   を含み、
   前記撮像部の撮影可能範囲の一部に、対象物の認識を行う範囲であるオブジェクト認識範囲が設定される場合に、
   前記表示部は、
   前記オブジェクト認識範囲の一部に対して、前記虚像が表示される虚像表示範囲の少なくとも一部が重畳する位置関係となる前記虚像表示範囲に、前記虚像を表示し、
   前記表示部は、
   前記オブジェクト認識範囲と前記虚像表示範囲の前記位置関係を前記使用者に対して報知するマーカーを、前記虚像表示範囲に表示することを特徴とする情報提示システム。
3. 請求項２において、
   前記表示部は、
   前記オブジェクト認識範囲の中心位置を示す中心位置マーカーを、前記マーカーとして前記虚像表示範囲に表示することを特徴とする情報提示システム。
4. 請求項３において、
   前記表示部は、
   前記オブジェクト認識範囲の前記中心位置を示す前記中心位置マーカーを、前記マーカーとして前記虚像表示範囲の周縁部に表示することを特徴とする情報提示システム。
5. 請求項２乃至４のいずれかにおいて、
   前記表示部は、
   前記オブジェクト認識範囲の枠の一部を表す枠マーカーを、前記マーカーとして前記虚像表示範囲に表示することを特徴とする情報提示システム。
6. 請求項２において、
   前記オブジェクト認識範囲が、前記虚像表示範囲の一辺に沿って設定された場合に、
   前記表示部は、
   前記オブジェクト認識範囲の位置を示すライン状のラインマーカーを、前記マーカーとして前記虚像表示範囲に表示することを特徴とする情報提示システム。
7. 請求項１乃至６のいずれかにおいて、
   前記オブジェクト認識範囲の設定処理を行う処理部を含み、
   前記処理部は、
   前記虚像表示範囲の位置を表す情報に基づいて、前記オブジェクト認識範囲の一部に対して前記虚像表示範囲の少なくとも一部が重畳する前記位置関係となる前記オブジェクト認識範囲の前記設定処理を行うことを特徴とする情報提示システム。
8. 請求項７において、
   前記処理部は、
   前記オブジェクト認識範囲の位置及びサイズの少なくとも一方を可変に設定することを特徴とする情報提示システム。
9. 請求項８において、
   前記処理部は、
   前記オブジェクト認識範囲の認識処理により認識された前記対象物の数が、所与の閾値よりも大きい場合に、前記オブジェクト認識範囲の前記サイズを、前記認識処理時の前記サイズに比べて小さく設定することを特徴とする情報提示システム。
10. 請求項１乃至９のいずれかにおいて、
    前記対象物がテキストである場合に、
    前記表示部は、
    前記対象物として認識された前記テキストに関する関連情報、又は、前記テキストを翻訳した情報を、前記虚像表示範囲に表示することを特徴とする情報提示システム。
11. 請求項１乃至１０のいずれかにおいて、
    前記表示部は、
    前記オブジェクト認識範囲の一部に対して、前記虚像表示範囲の一部が重畳する前記位置関係となる前記虚像表示範囲に、前記虚像を表示することを特徴とする情報提示システム。
12. 請求項２乃至６のいずれかにおいて、
    前記表示部は、
    前記オブジェクト認識範囲の一部に対して、前記虚像表示範囲の全部が重畳する前記位置関係となる前記虚像表示範囲に、前記虚像を表示することを特徴とする情報提示システム。
13. 請求項１乃至１０のいずれかにおいて、
    前記オブジェクト認識範囲と前記虚像表示範囲が重畳する領域を重畳領域とし、前記オブジェクト認識範囲のうち前記虚像表示範囲と重畳しない領域を非重畳領域とした場合に、
    前記表示部は、
    前記重畳領域及び前記非重畳領域の両方が存在する前記位置関係となる前記虚像表示範囲に前記虚像を表示することを特徴とする情報提示システム。
14. 撮像部が使用者の視界方向を撮像し、表示部が前記使用者の視界内に、前記撮像部からの撮像画像に基づく情報を含む映像を、虚像として観察可能に表示する情報提示システムの制御方法であって、
    前記撮像部の撮影可能範囲の一部に、対象物の認識を行う範囲であるオブジェクト認識範囲が設定される場合に、
    前記オブジェクト認識範囲の一部に対して、前記虚像が表示される虚像表示範囲の少なくとも一部が重畳する位置関係となる前記虚像表示範囲に、前記虚像を表示し、
    前記虚像表示範囲のうち前記オブジェクト認識範囲の一部と重畳する領域を第１の領域とし、前記虚像表示範囲のうち前記オブジェクト認識範囲と重畳しない領域を第２の領域とした場合に、
    前記映像のうち、前記第２の領域に対応する領域において、前記オブジェクト認識範囲に基づき認識された前記対象物の情報を表示することを特徴とする情報提示システムの制御方法。
15. 撮像部が使用者の視界方向を撮像し、表示部が前記使用者の視界の一部に、前記撮像部からの撮像画像に基づく情報を含む映像を、虚像として観察可能に表示する情報提示システムの制御方法であって、
    前記撮像部の撮影可能範囲の一部に、対象物の認識を行う範囲であるオブジェクト認識範囲が設定される場合に、
    前記オブジェクト認識範囲の一部に対して、前記虚像が表示される虚像表示範囲の少なくとも一部が重畳する位置関係となる前記虚像表示範囲に、前記虚像を表示し、
    前記オブジェクト認識範囲と前記虚像表示範囲の前記位置関係を前記使用者に対して報知するマーカーを、前記虚像表示範囲に表示することを特徴とする情報提示システムの制御方法。

Images