JP7223776B2 - 表示端末、アプリケーション制御システムおよびアプリケーション制御方法 - Google Patents

Description

本発明は、表示領域の小さい表示端末における表示制御技術に関する。

表示領域の小さい表示端末として、例えば、ユーザの頭部に支持され、ユーザの眼前に画像を表示するＨＭＤ（ヘッドマウントディスプレイ；Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）がある。ＨＭＤの中でも、外界とディスプレイ表示との両者を視認可能な透過型（シースルー型）は、特に表示領域が小さい。このようなＨＭＤにおいて、ディスプレイ表示を用いて行う操作の操作性を向上させる技術として、例えば、特許文献１に開示の技術がある。

特許文献１に開示のＨＭＤシステムは、座標系設定部と、セグメント選択部と、画像生成部とを具備する。座標系設定部は、実空間上に、複数のセグメントに区画された円筒座標系を設定する。セグメント選択部は、円筒座標系において、ディスプレイの方向に基づいて複数のセグメントのいずれかを選択待機状態とする。画像生成部は、選択待機状態とされたセグメントの選択が確定すると、確定されたセグメントに応じてディスプレイに表示される表示画像を生成する。

国際公開第２０１４／１２９１０５号

ＨＭＤにおいても、一般に普及しているパソコンやスマートフォンの様な情報端末と同様に、アイコンをディスプレイ上に配置して表示し、その選択を受け付けることにより、選択されたアイコンに対応付けられたアプリケーションソフトを起動する。

特許文献１に開示の技術では、ＨＭＤ装着者の周囲の実空間に、複数のセグメントに区画された円筒形座標を設定する。そして、各セグメントに選択可能なオブジェクト（アイコン）を表示し、ＨＭＤ装着者の視線方向のセグメントに表示されるアイコンが選択されたものとする。これにより、ユーザ（ＨＭＤ装着者）は、手に持って操作入力を行う操作機器を使用することなく、操作指示を行うことができ、操作性が向上する。

しかしながら、特許文献１に開示の技術によれば、ＨＭＤに保存された全アプリケーションのアイコンが表示され、その中から所望のものを選択する。このとき、周囲に設定された円筒形座標に各アイコンを表示するセグメントが設けられるため、所望のアイコンを選択するために、ユーザは、頭を回転させる必要がある。また、選択可能なアイコンの数だけ、セグメントを用意する必要があり、アイコン数が多い場合、セグメント数も増加し、個々のセグメントの領域が小さくなる。これに伴い、各セグメントに表示されるアイコンのサイズも小さくなる。また、アイコンの表示に多くの領域が用いられるため、外界を視認する領域も小さくなる。従って、保存されるアプリケーション数が多くなればなるほど、利便性は高まるが、操作性は低下する。

本発明は、上記事情に鑑みてなされたもので、表示領域の小さい表示端末において、利便性を維持しながら、高い操作性を実現する技術を提供することを目的とする。

本発明は、撮影装置を備える表示端末であって、前記撮影装置で撮影した画像を解析し、前記画像上の、外界に存在する実オブジェクトを抽出し、当該実オブジェクトに対応する画像領域の情報である領域情報を用いて当該実オブジェクトと合致するアイコン図形を探索し、合致するアイコン図形が存在した場合に当該アイコン図形を当該実オブジェクトに関連するアイコンとして特定する画像解析部と、特定された前記アイコンのユーザによる選択指示に応じて、前記アイコンに対応付けられたアプリケーションを起動する起動部と、を備えることを特徴とする。

また、本発明は、表示端末と、前記表示端末にネットワークを介して接続されるサーバとを備えたアプリケーション制御システムであって、撮影装置と、記憶装置と、前記撮影装置で撮影した画像を解析し、前記画像上の、外界に存在する実オブジェクトを抽出し、当該実オブジェクトに対応する画像領域の情報を用いて当該実オブジェクトと合致するアイコン図形を探索し、合致するアイコン図形が存在した場合に当該アイコン図形を当該実オブジェクトに関連するアイコンとして特定する画像解析部と、特定された前記アイコンに対応付けられたアプリケーションが、前記記憶装置に格納されているか判別し、格納されていると判別した場合、前記アイコンのユーザによる選択指示に応じて当該アプリケーションを起動する起動部と、前記起動部が、前記アプリケーションが前記記憶装置に格納されていないと判別した場合、当該アプリケーションを前記サーバから取得する取得部と、を備えることを特徴とする。

また、本発明は、撮影装置を備える表示端末におけるアプリケーション制御方法であって、前記撮影装置で撮影することにより画像を取得し、取得した前記画像から、外界に存在する実オブジェクトに対応する画像領域を抽出し、抽出した前記画像領域の情報に基づき、当該領域内の図形と合致するアイコン図形が予め登録されているか否かを判別し、前記アイコン図形が登録されている場合、ユーザによる前記アイコン図形の選択指示に応じて当該アイコン図形に対応付けられたアプリケーションを起動することを特徴とする。

本発明によれば、表示領域の小さい表示端末において、利便性を維持しながら、高い操作性を実現できる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

（ａ）は、第一の実施形態のアプリケーション制御システムのシステム構成図であり、（ｂ）～（ｅ）は、第一の実施形態のアプリケーション制御の概要を説明するための説明図である。 第一の実施形態のＨＭＤのハードウェア構成図である。 （ａ）は、第一の実施形態のアプリ制御部の機能ブロック図であり、（ｂ）は、第一の実施形態の指示受付表示部の視線指示機能の機能ブロック図である。 （ａ）は、第一の実施形態のアプリケーションデータベースの一例を、（ｂ）は、第一の実施形態のアイコンデータベースの一例を、それぞれ説明するための説明図である。 第一の実施形態のアプリケーション制御処理のフローチャートである。 （ａ）～（ｃ）は、第一の実施形態のアプリケーション制御処理を説明するための説明図である。 （ａ）～（ｃ）は、第一の実施形態のアプリケーション制御処理を説明するための説明図である。 （ａ）は、第一の実施形態の変形例１のユーザによる指示手法を、（ｂ）は、第一の実施形態の変形例２のアイコン表示例を、（ｃ）は、第一の実施形態の変形例５のアプリ起動時の指示手法を、それぞれ説明するための説明図である。 （ａ）～（ｃ）は、第一の実施形態の変形例４のオブジェクトを、（ｄ）～（ｆ）は、第一の実施形態の変形例４のアイコン特定後の表示例を、それぞれ、説明するための説明図である。 （ａ）は、第一の実施形態の変形例６のアプリケーションデータベースを、（ｂ）は、本変形例のディスプレイ表示例を、それぞれ、説明するための説明図である。 第一の実施形態の変形例７の店舗データベースの一例を説明するための説明図である。 （ａ）および（ｂ）は、第一の実施形態の変形例８をそれぞれ説明するための説明図である。 （ａ）～（ｃ）は、第一の実施形態の変形例８のアプリケーション制御処理を説明するための説明図である。 第一の実施形態の変形例９のシステム構成図の一例である。 （ａ）は、第二の実施形態のシステム構成図であり、（ｂ）は、第二の実施形態の携帯端末のハードウェア構成図である。 （ａ）～（ｃ）は、第二の実施形態の携帯端末における表示例を説明するための説明図である。 （ａ）は、第三の実施形態のシステム構成図であり、（ｂ）は、第三の実施形態のＨＭＤの機能ブロック図である。 （ａ）～（ｃ）は、第三の実施形態のアプリケーション制御処理を説明するための説明図である。 （ａ）～（ｄ）は、第三の実施形態のアプリケーション制御処理を説明するための説明図である。 本発明の変形例１２のＨＭＤの機能ブロック図である。

以下、本発明の実施の形態について、図面を用いて説明する。以下、本明細書において、同一機能を有するものは、特に断らない限り同一の符号を付し、繰り返しの説明は省略する。なお、本発明はここで説明する実施形態に限定されるものではない。

＜＜第一の実施形態＞＞
本実施形態では、表示端末において、不要なアイコンを表示させず、所望のアプリケーションを起動させるアプリケーション制御システムを提供する。ユーザは、多数のアイコンの中から、所望のアプリケーションを起動させるためのアイコンを探さなくてもよい。

以下、本実施形態（本明細書）において、プログラムの機能を示す図形または記号であって、ユーザが選択し、実行を指示することにより、当該プログラムが起動する図形または記号を、アイコンと呼ぶ。さらに、本実施形態（本明細書）では、アイコンに対する実行指示により実行されるプログラムを、アプリケーションまたはアプリと呼ぶ。

また、本実施形態では、表示端末として、ユーザが頭部に装着して用いるＨＭＤ（ヘッドマウントディスプレイ；Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であって、外界とディスプレイ表示との両者を視認可能な透過型（シースルー型）のＨＭＤを例にあげて説明する。

図１（ａ）は、本実施形態のアプリケーション制御システム１００のシステム構成図である。本実施形態のアプリケーション制御システム１００は、ＨＭＤ２００と、サーバ３００とを備える。ＨＭＤ２００とサーバ３００とは、ネットワーク１０１を介して相互にデータの送受信を行う。

本実施形態のサーバ３００は、アプリケーション関連サービスを行う業者によって設置されるサーバ装置である。本実施形態では、ＨＭＤ２００から送信された要求データを解析し、関連したサービスを要求元のＨＭＤ２００に提供する。例えば、サーバ３００は、各種のアプリケーションを保持し、ＨＭＤ２００からの要求に応じて、ＨＭＤ２００にアプリケーションを提供する。サーバ３００は、例えば、アプリストア等である。

なお、本図では、ネットワーク１０１に接続されるＨＭＤ２００およびサーバ３００は、それぞれ、一つのみ記載しているが、これらの数は、問わない。また、他の装置がさらに接続され、相互にデータ送受信を行っても良い。

まず、本実施形態のアプリケーション制御システム１００によるアプリケーション制御の概要を、図１（ｂ）～図１（ｅ）を用いて説明する。

図１（ｂ）に示すように、ＨＭＤ２００を装着したユーザ２０１が、看板５０１等に記載されるアイコンと思われる図形を発見した場合、ＨＭＤ２００の探索モードをＯＮにする。なお、探索モードについては、後述する。このとき、ユーザ２０１は、ＨＭＤ２００のディスプレイに表示される撮影領域に、当該図形が含まれるようにする。例えば、図形との距離、図形に対する自身の向き等を調整する。

探索モードがＯＮにされたことを受け、ＨＭＤ２００は、ユーザ２０１の視野範囲の画像を取得する。ここで取得した画像６０１の例を図１（ｃ）に示す。ここでは、一例として、タクシー乗場を示す。

そして、ＨＭＤ２００は、取得した画像６０１を解析し、実視野内の図形等に対応する画像６０１上の領域（以下、オブジェクトと呼ぶ）６０２を抽出する。なお、図１（ｄ）では、点線の矩形領域が抽出したオブジェクト６０２である。抽出等の詳細は、後述する。

ＨＭＤ２００は、オブジェクト６０２を抽出すると、当該オブジェクト６０２で特定されるアイコンが選択されたものと判断し、図１（ｅ）に示すように、特定したアイコンに対応づけて保持するアプリケーションを起動する。ここでは、タクシー配車アプリ６０３を起動する例を示す。ユーザ２０１は、この中から所望の処理を選択し、実行する。

従来は、ＨＭＤ２００が記憶している使用可能な全てのアプリケーションのアイコンを表示させ、その中からその時点で必要なアイコンを選択し、実行している。しかし、本実施形態によれば、ユーザ２０１の視野範囲にある実オブジェクトの画像をアイコンとして特定し、自動的にそのアプリケーションを起動させる。従って、ユーザ２０１は、多数のアイコンの中から所望のアイコンを探して選択する必要がなく、あたかも周囲環境に存在する実際の図形をアイコン代わりに用いているかのように、その場で必要な関連アプリケーションを起動させることができる。

以下、上記処理を実現する本実施形態のＨＭＤ２００について、説明する。

［ハードウェア構成］
図２は、本実施形態のＨＭＤ２００のハードウェア構成図である。本実施形態のＨＭＤ２００は、基本的に汎用のコンピュータ（情報処理装置）と同様の構成を有する。すなわち、ＨＭＤ２００は、本図に示すように、ＣＰＵ２１１と、ＲＡＭ２１２と、ＲＯＭ２１３と、カメラ２１４と、ディスプレイ２１５と、音声インタフェース（Ｉ／Ｆ）２１６と、通信インタフェース（Ｉ／Ｆ）２１７と、センサ２１８と、各部を接続するバス２１９と、を備える。

撮影装置であるカメラ２１４は、外向カメラ２１４ａと、視線検出カメラ２１４ｂとを備える。外向カメラ２１４ａは、ＨＭＤ２００のユーザ２０１の視野を撮影範囲に含むよう取り付けられる。視線検出カメラ２１４ｂは、ユーザ２０１の視線方向を検出するカメラである。このため、視線検出カメラ２１４ｂは、ユーザ２０１の眼の虹彩、瞳孔等を撮影範囲に含むよう取り付けられる。

ディスプレイ２１５は、カメラ２１４で取得した画像、ＨＭＤ２００内で生成された画面データを表示する。ディスプレイ２１５は、例えば、透過型の液晶デバイスや有機ＥＬデバイス、あるいはＭＥＭＳ（ｍｉｃｒｏ ｅｌｅｃｔｒｏ ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍｓ）を用いた光走査型のデバイス等で構成される。しかしながら、デバイスはこれに限定されず、ディスプレイ２１５上に映像を表示しつつ、ディスプレイ２１５の向こう側が透けて見える構造を実現可能なデバイスであればよい。

音声Ｉ／Ｆ２１６は、例えば、マイク、スピーカ、ブザー等である。外界の音の入力と、ＨＭＤ２００内で作成した音や通信Ｉ／Ｆ２１７介して送られてくる音声や音楽等の音の出力とを行う。本実施形態では、音声Ｉ／Ｆ２１６は、備えなくてもよい。

通信Ｉ／Ｆ２１７は、符号回路や復号回路、アンテナ等を備え、ネットワーク１０１を介して、他装置とのデータの送受信（データ通信）を行う。本実施形態では、図示を省略したアクセスポイント等を介して、または、図示を省略した移動体電話通信網の基地局等を介して、ネットワーク１０１と接続するＩ／Ｆである。通信Ｉ／Ｆ２１７を介して、ＨＭＤ２００は、ネットワーク１０１に接続された各サーバ３００とのデータ送受信を行う。

ＨＭＤ２００と前記アクセスポイントとの接続は、例えば、Ｗｉ－Ｆｉ（登録商標）等の無線通信方式やその他の通信方式により行われる。ＨＭＤ２００と前記移動体電話通信網の基地局との接続は、例えば、Ｗ－ＣＤＭＡ（登録商標）（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式やＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、或いはその他の通信方式によって行われる。

センサ２１８は、ＨＭＤ２００の現在位置、傾き、速度、ユーザ２０１による操作等を検出する。センサ２１８として、例えば、ＧＰＳ受信機２１８ａ等の位置情報取得センサ（位置情報取得装置）、ジャイロセンサ２１８ｂ、加速度センサ２１８ｃ、地磁気センサ２１８ｄ、タッチセンサ２１８ｅ等を備える。なお、センサ２１８は、全てを備えなくてもよい。

なお、ＲＡＭ２１２およびＲＯＭ２１３は、特に区別する必要がない場合は、両者を合わせて記憶装置２３０と呼ぶ。また、音声Ｉ／Ｆ２１６も備えなくてもよい。

［機能ブロック］
図３（ａ）は、本実施形態のＨＭＤ２００の、上記アプリケーション制御処理に関連する機能であるアプリケーション制御部（アプリ制御部と呼ぶ。）２２０の機能ブロック図である。アプリ制御部２２０は、指示受付表示部２２１と、撮影処理部２２２と、画像解析部２２３とアプリ起動部２２４と、アプリ取得部２２５と、を備える。

これらの各部は、ＣＰＵ２１１が、記憶装置２３０に格納されたプログラムを、ＲＡＭ２１２等のメモリにロードして実行することにより実現される。

また、記憶装置２３０には、アイコンデータベース（アイコンＤＢ）２３１と、アプリケーションデータベース（アプリＤＢ）２３２と、画像２３３と、表示データ２３４と、が格納される。

アプリＤＢ２３２は、アイコンと、当該アイコンが選択されることにより起動されるアプリケーションとを対応づけて登録するデータベースである。図４（ａ）にアプリＤＢ２３２の一例を示す。

本図に示すように、アプリＤＢ２３２は、アイコン毎の当該アイコンに対応付けられたアプリケーションの情報が登録される。本実施形態では、アイコンの図形または記号（以下、アイコン図形、または、アイコンと呼ぶ）を一意に識別する情報であるアイコンＩＤ２３２ａ毎に、アプリケーションの名称（アプリ名称）２３２ｂ、アプリケーションを一意に識別する情報であるアプリＩＤ２３２ｃ、アプリケーションが保存されている場所の情報であるアプリ格納場所２３２ｄが登録される。アプリ格納場所２３２ｄは、ＨＭＤ２００の記憶装置内のアドレスである。なお、アプリケーションが、ＨＭＤ２００の記憶装置に保持されていない場合、例えば、ネットワーク上の、当該アプリケーションを保持するサーバ３００の場所であるＵＲＬであってもよい。

アイコンＤＢ２３１は、アイコンを登録するデータベースである。図４（ｂ）のその一例を示す。

本図に示すように、アイコンは、それぞれ、アイコンＩＤ２３１ａと、アイコン図形２３１ｂと、種別（カテゴリ）２３１ｃと、内容２３１ｄとを備える。アイコンＩＤ２３１ａは、アイコンを一意に識別する情報である。アイコン図形２３１ｂは、アイコンとしてディスプレイ２１５に表示する図形の形状情報である。

種別２３１ｃは、アイコンに対応付けられたアプリケーションの処理内容ごとに予め設定された分類が登録される。本実施形態では、例えば、交通、決済、施設、商品、買い物、ゲーム、音楽や動画配信、等である。

内容２３１ｄは、アイコン図形２３１ｂの説明および／またはアイコンに対応付けられたアプリケーションの処理内容の概要が登録される。内容２３１ｄに登録される情報は、後述の撮影画像の意味を解析して関連するアイコンを特定する際に用いられる。

また、記憶装置２３０には、撮影処理部２２２により取得された画像２３３が格納される。また、指示受付表示部２２１がディスプレイ２１５に表示させる画面データを生成する際に用いる、各種のデータが表示データ２３４として格納される。

指示受付表示部２２１は、ユーザ２０１による操作指示を受け付ける。また、各部の処理結果から画面データを生成し、ディスプレイ２１５に表示させる。

指示受付表示部２２１は、例えば、ディスプレイ２１５に各種の操作指示ボタン（領域）を表示し、ユーザ２０１による選択を受け付ける。操作指示ボタンのデータは、予め記憶装置に格納される。

ユーザ２０１による選択等の指示は、例えば、視線によりなされる。すなわち、ユーザ２０１の視線方向を検出し、ポインティングデバイスの代替として用いる。ディスプレイ２１５上の、視線上に存在する領域が選択されたものと判断される。

視線方向の検出は既存の技術を用いる。例えば、ユーザ２０１の眼の、不動の基準点に対する、動点の位置に基づいて検出する。不動の基準点には、例えば、目頭等が用いられる。動点には、例えば、瞳孔、虹彩等が用いられる。これらの位置は、視線検出カメラ２１４ｂにより撮影された画像を解析することにより得る。選択指示の検出には、例えば、所定回の瞬きをさらに加えてもよい。

ここで、指示受付表示部２２１の、主として視線による指示を実現する機能の機能ブロックを図３（ｂ）に示す。本図に示すように、指示受付表示部２２１は、表示制御部２４１と、表示画像生成部２４２と、視線検出部２４３と、解析制御部２４４とを備える。

表示画像生成部２４２は、ディスプレイ２１５に表示する画面データを生成する。画面データは、例えば、記憶装置２３０に格納された各種のデータを用いて生成される。

表示制御部２４１は、表示画像生成部２４２が生成した画面データをディスプレイ２１５に表示させる。

視線検出部２４３は、視線検出カメラ２１４ｂが撮影した映像から視線方向を検出する。

解析制御部２４４は、視線検出部２４３が検出した視線方向を解析し、指示を特定し、各部に信号を出力する。解析制御部２４４は、視線方向が所定期間同方向である場合、当該視線上に存在する画像領域が選択されたものと判別する。また、視線方向が所定期間、同方向であり、かつ、所定の間隔で所定回数瞬きをした場合、当該画像領域が選択されたものと判別してもよい。

なお、操作指示には、例えば、ＨＭＤ２００の処理を探索モードとする指示（探索指示）、抽出されたアイコン群の中から、所望のアイコンやアプリケーションを選択する選択指示、選択されたアプリケーションの実行を指示する実行指示、等がある。指示受付表示部２２１は、それぞれの指示を受け付けると、選択指示信号および実行指示信号をそれぞれ出力する。

なお、探索モードは、ユーザ２０１の実視野を撮影するモードである。指示受付表示部２２１は、探索指示を受け付けた場合、撮影処理部２２２に画像を取得する指示として撮影指示信号を出力する。探索モード終了指示を受け付けるまで、撮影指示信号を出力する。

探索指示は、例えば、ディスプレイ２１５に表示された探索指示ボタンを、ユーザ２０１が選択したことにより受け付ける。探索指示ボタンは、例えば、ＨＭＤ２００の起動時以降、または、アプリケーション制御処理の開始の指示を受け付けた後、ディスプレイ２１５に表示される。

選択指示は、例えば、ディスプレイ２１５に表示された複数のアイコンの中から、所望のアイコンの選択を受け付ける指示である。実行指示は、アプリケーションの実行の指示である。選択指示により選択されたアイコンに対応付けられたアプリケーションを実行する指示を受け付ける。

撮影処理部２２２は、指示受付表示部２２１から撮影指示信号を受信すると、所定の時間間隔で、ユーザ２０１の視野範囲（実視野）を撮影する。撮影は、外向カメラ２１４ａを用いる。撮影により取得した画像２３３は、記憶装置２３０に記憶する。

なお、撮影処理部２２２による撮影は、探索モードとなったタイミングで１回、行うよう構成してもよい。

画像解析部２２３は、撮影処理部２２２が取得した画像２３３を記憶装置２３０に記憶すると、当該画像２３３を解析し、画像２３３内のアイコンを抽出する。

具体的には、画像解析部２２３は、まず、画像２３３内の、外界に存在する実際のオブジェクト（実オブジェクト）に対応する領域を、画像上のオブジェクトとして抽出する。そして、抽出したオブジェクトの領域を特定する情報である領域情報を用いて当該実オブジェクトに関連するアイコンを特定する。

オブジェクトの抽出は、例えば、公知の輪郭抽出（エッジ検出）により行う。そして、抽出した全てのオブジェクトについて、アイコンＤＢ２３１に保持されるアイコン図形２３１ｂと合致するか否かを判別する。

判別は、例えば、形状のみの公知のマッチング法により行う。そして、抽出したオブジェクトの中で、アイコンＤＢ２３１に保持されるアイコン図形２３１ｂと合致したオブジェクトを、アイコンと判定する。そして、合致したアイコン図形２３１ｂを、当該オブジェクトに関連するアイコンとして特定する。

なお、ここで言う合致とは、完全一致に限定されず、所定の類似度以上の照合結果を含む。

なお、画像解析部２２３がオブジェクトとして画像２３３から抽出する対象は、街頭に表示されているマーク、店頭で掲示や表示されるマーク、あるいは商品タグに印字表示されるマークなど様々な実オブジェクトであってよい。また、ペイントされているもの、シール状のものに印刷されているもの、あるいはタブレット端末や案内板などの表示装置に表示されているものなど、様々な形態を含む。

なお、画像解析部２２３は、アイコンと判定されたオブジェクトが複数ある場合、それらをディスプレイに２１５に表示する。そして、指示受付表示部２２１を介して、選択指示を受け付ける。なお、このとき、ディスプレイ２１５に表示するのは、オブジェクトに合致したアイコン図形２３１ｂであってもよいし、抽出したオブジェクトの領域の画像データそのものであってもよい。

なお、アイコンは、目の網膜へ直接表示させてもよい。外向カメラ２１４ａの撮影範囲に存在する外界の光景を目視可能な態様で、表示できれば、表示方式は問わない。

表示されたアイコンに対し、選択指示を受け付けると、指示受付表示部２２１は、選択されたアイコンを、非選択のアイコンと異なる態様で表示する。例えば、サイズを変える、色を変える、特別な枠で囲む等である。また、選択されたアイコンのみサイズを大きく表示し、他のアイコンのサイズを選択されたアイコンに比べて小さく表示させる、選択されたアイコンのみカラーで表示し、他のアイコンは、グレースケールで表示する、等であってもよい。

アプリ起動部２２４は、選択されたアイコンに対応付けられたアプリケーションを実行する。具体的には、アプリ起動部２２４は、アプリＤＢ２３２を参照し、選択されたアイコンに対応付けられたアプリケーションを特定する。ここでは、選択されたアイコンのアイコンＩＤ２３１ａ／２３２ａに対応づけて登録されているアプリ格納場所２３２ｄを抽出し、その場所から当該アプリケーションのプログラムをＲＡＭ２１２にロードして起動させる。

なお、アプリ起動部２２４は、選択されたアイコンのアプリケーションが記憶装置２３０に格納されていない場合は、アプリ取得部２２５にアプリ取得信号を送信する。これは、例えば、選択されたアイコンのアプリ格納場所２３２ｄにネットワーク１０１上のＵＲＬが登録されている場合、あるいは、アプリＤＢ２３２に、選択されたアイコンのアイコンＩＤ２３２ａの登録がない場合である。アプリ取得信号には、アイコンＩＤ２３２ａを含める。アプリ格納場所２３２ｄにＵＲＬが登録されている場合は、ＵＲＬもさらに含める。

アプリ取得部２２５は、アプリ起動部２２４からアプリ取得信号を受信すると、アプリ取得信号に含まれるアイコンＩＤ２３２ａに対応づけられたアプリケーションをサーバ３００から取得する。なお、ＵＲＬを受信した場合は、当該ＵＲＬにアクセスし、アプリケーションを取得する。

このとき、アプリ取得部２２５は、アイコンＩＤ２３２ａを含むアプリケーション取得要求を当該サーバ３００に送信し、アプリケーションの提供を受ける。すなわち、アプリケーションをダウンロードする。

また、アプリ取得部２２５は、提供されたアプリケーションを、記憶装置２３０に格納し、格納場所を当該アイコンＩＤ２３２ａに対応づけてアプリＤＢ２３２のアプリ格納場所２３２ｄに登録する。そして、登録を終えたことを、アプリ起動部２２４に通知する。アプリ起動部２２４は、通知を受け、当該アプリケーションを起動する。

ダウンロードしたアプリケーションをアプリＤＢ２３２に登録することにより、次回以降は、そのままそのアプリケーションを利用できる。

なお、画像解析部２２３による解析によりアイコンと判定されたオブジェクトが１つである場合、上記選択指示はなされなくてもよい。この場合、画像解析部２２３により、抽出されたオブジェクトがアイコンであると判定されると、アプリ起動部２２４は、当該アイコンに対応付けられたアプリケーションをそのまま実行する。

なお、本実施形態のＨＭＤ２００は、さらに、図示はしないが、各ハードウェアの動作を制御する制御部を備える。具体的には、通信Ｉ／Ｆ２１７の動作を制御する通信制御部と、外向カメラ２１４ａの動作を制御する外向きカメラ制御部と、センサ２１８毎に設けられた、それぞれのセンサ２１８の動作を制御するセンサ制御部と、である。

通信制御部は、ＨＭＤ２００が有するＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、４Ｇや５Ｇなどの移動通信システム等の無線通信機能を制御し、外部装置とのデータの送受信を実現する。センサ制御部は、各センサで検出した信号を出力する。

［処理フロー］
次に、本実施形態のアプリ制御部２２０によるアプリケーション制御処理の流れを説明する。図５は、本実施形態のアプリケーション制御処理の処理フローである。また、以下の処理は、探索指示を受け付けたことを契機に開始する。

撮影処理部２２２は、外向カメラ２１４ａに撮影させ、ユーザ２０１の実視野を含む画像２３３を取得する（ステップＳ１１０１）。取得した画像２３３は、記憶装置２３０に記憶する。

画像解析部２２３は、当該画像２３３を解析し、オブジェクトを抽出する（ステップＳ１１０２）。そして、抽出したオブジェクトがアイコンであるか否かを判別し、アイコンである場合、アイコンを特定する（ステップＳ１１０３）。ここでは、アイコンＤＢ２３１を参照し、当該オブジェクトに類似の形状を有するアイコン図形２３１ｂが登録されているか否かにより判断する。すなわち、抽出したオブジェクトに類似のアイコン図形２３１ｂがアイコンＤＢ２３１に登録されている場合、当該オブジェクトを、当該類似のアイコンであると判別する。そして、類似のアイコンとして判別されたアイコン図形２３１ｂに対応づけて登録されているアイコンＩＤ２３１ａを抽出することにより、アイコンを特定する。さらに、画像解析部２２３は、画像２３３の解析中、アイコンが特定されたオブジェクトの数をアイコン数としてカウントする。

指示受付表示部２２１は、アイコン数が０であるか否かを判別する（ステップＳ１１０４）。アイコン数が０であれば、処理を終了する。

一方、０でなければ、指示受付表示部２２１は、アイコン数が１であるか否かを判別する（ステップＳ１１０５）。

アイコン数が１である場合（Ｓ１１０５；Ｙｅｓ）、後述のステップＳ１１０８へ移行する。

一方、アイコン数が１でない場合（Ｓ１１０５；Ｎｏ）、すなわち、アイコン数が複数であれば、指示受付表示部２２１は、特定されたアイコン全てについて、当該アイコンのアイコン図形２３１ｂをディスプレイ２１５に表示する（ステップＳ１１０６）。そして、選択指示を受け付ける（ステップＳ１１０７）。

アプリ起動部２２４は、アプリＤＢ２３２を参照し、選択されたアイコンのアイコンＩＤ２３１ａ／２３２ａに対応付けられたアプリケーションがＨＭＤ２００内に登録されているか否かを判別する（ステップＳ１１０８）。ここでは、アプリ格納場所２３２ｄとして、記憶装置２３０内のアドレスが格納されている場合、アプリケーションが登録されていると判断する。

ＨＭＤ２００内にアプリケーションが登録されている場合は、当該アプリケーションを起動し（ステップＳ１１０９）、処理を終了する。

一方、ＨＭＤ２００内にアプリケーションが登録されていない場合は、アプリ取得部２２５にアプリを取得するよう指示を行う。アプリ取得部２２５は、サーバ３００にアクセスして検索し（ステップＳ１１１１）、当該アイコンのアイコンＩＤ２３２ａに対応付けられたアプリケーションをサーバ３００から取得（ダウンロード）する（ステップＳ１１１２）。そして、アプリ取得部２２５は、ダウンロードしたアプリケーションを、アイコンＩＤ２３２ａに対応づけて、アプリＤＢ２３２に登録する（ステップＳ１１１３）。そして、ステップＳ１１０９へ移行する。

なお、本実施形態では、探索モードの間、アプリ制御部２２０は、所定の時間間隔で、上記処理を実行する。

なお、ここで各処理の遷移時には前の表示を消して新たな表示を行うようにする。これにより、不要な表示による見苦しさを防ぐことが出来る。勿論、この様な画面表示の方法は本実施形態におけるすべての画面遷移に於いて適用可能である。

［使用例］
次に、本実施形態のアプリケーション制御システムの具体的な利用例を図６（ａ）～図７（ｃ）を用いて説明する。ここでは、ユーザ２０１が、タクシー乗場の近傍において、配車アプリケーションを起動させたい場合を例にあげて説明する。配車アプリケーションは、タクシーの配車を依頼したり、予約したり、料金を検索したりするアプリケーションである。

図１（ｂ）に示すように、ユーザ２０１は、例えば、タクシー乗場の近傍に来た場合、配車アプリケーションのアイコンと同じ図形が付された看板５０１を目にする。このような看板５０１を目にしたユーザ２０１は、視線により、ディスプレイ２１５に表示される探索指示ボタン７１１を指示する。

この場合のディスプレイ２１５を介してユーザ２０１が目にする内容を図６（ａ）に示す。上述のように、このディスプレイ２１５は、透過型である。従って、ユーザ２０１には、実空間の実像５１０にＨＭＤ２００が生成した画像が重畳されて見える。なお、本図において、実空間（実環境）の実像を実線で、指示受付表示部２２１が生成した画像を破線で示す。本図においては、探索指示ボタン７１１が画像である。

ここは、例えば、駅前広場等である。ユーザ２０１の視野範囲には、実空間の実オブジェクトとして、バスの図形５１１が付されたバス停、電車の図形５１２が付された乗場案内、タクシーの図形５１３が付された看板、人物５１４、花５１５、雑草５１６、犬５１７等が存在する。

ユーザ２０１が視線により探索指示ボタン７１１を選択したことを受け付けると、指示受付表示部２２１は、撮影処理部２２２に、画像を取得させる。外向カメラ２１４ａの撮像視野は、ＨＭＤ２００のディスプレイ２１５を介したユーザの実視野を含むよう予め設定される。この時取得された画像６１０を、図６（ｂ）に示す。

画像解析部２２３は、この画像６１０から、オブジェクトを抽出する。抽出されたオブジェクトの例を、図６（ｃ）に示す。このような環境を撮影した画像６１０からは、電車の図形６１１、バスの図形６１２、タクシーの図形６１３、人物の図形６１４、花の図形６１５、雑草の図形６１６、犬の図形６１７、円６１８、楕円６１９等がオブジェクトとして抽出される。そして、画像解析部２２３は、抽出した各オブジェクトそれぞれについて、アイコンＤＢ２３１を参照して、アイコンであるか否かを判別する。

すなわち、画像解析部２２３は、これらのオブジェクトを、それぞれ、アイコンＤＢ２３１に登録されているアイコン図形２３１ｂと対比し、合致または類似するものがあるか否かを判別する。そして、アイコンＤＢ２３１に登録されているアイコン図形２３１ｂの中に類似するものがあれば、抽出したオブジェクトを、当該アイコン図形２３１ｂと特定する。

上記例では、バスの図形６１１、電車の図形６１２およびタクシーの図形６１３が、アイコンと判別され、それぞれのアイコンＩＤ２３１ａが特定される。

そして、指示受付表示部２２１は、特定された各アイコンのアイコン図形２３１ｂを、アイコンＤＢ２３１から抽出し、表示アイコン７１２として生成する。生成した表示アイコン７１２のディスプレイ２１５への表示例を図７（ａ）に示す。このとき、表示アイコン７１２の表示領域は、予め定めておく。なお、表示領域は、ユーザ２０１からの指示により変更可能としてもよい。

そして、ユーザ２０１から、選択指示を受け付けると、当該アイコンに対応づけられているアプリケーションを起動させる。ここでは、タクシーの図形のアイコンが選択され、それに対応付けられた、タクシー配車アプリケーションが起動される。

このとき、指示受付表示部２２１は、選択指示を受け付けた表示アイコン７１２を、他の表示アイコン７１２とは異なる態様で表示させる。例えば、図７（ｂ）に示すように、他の表示アイコン７１２より大きく表示させる。

その後、指示受付表示部２２１は、アプリ起動部２２４からの指示に従って、図７（ｃ）に示すように、起動させたアプリケーションの初期画面データ７１３を、ディスプレイ２１５に表示させる。

以上説明したように、本実施形態のＨＭＤ２００は、ユーザ２０１の指示に従って外向カメラ２１４ａで撮影した画像２３３を解析し、外界に存在する実オブジェクトを抽出し、それぞれ、関連するアイコンを特定する。そして、特定されたアイコンに対応付けられたアプリケーションを起動する。すなわち、本実施形態では、アイコン図形に類似した、実オブジェクトを撮影するだけでアプリケーションが起動する。

このように、本実施形態によれば、外界に配される各種のオブジェクトを、あたかもアイコンのように用い、対応するアプリケーションを起動させる。従って、本実施形態によれば、ユーザ２０１の置かれた環境で、最も使用される可能性の高いアプリケーションを、ユーザ２０１の手を煩わすことなく起動させることができる。多数のアイコン表示から選択を受け付ける処理がないため、ユーザ２０１の視野を阻害することなく、利便性および操作性の高いＨＭＤ２００を提供できる。

また、本実施形態によれば、ユーザ２０１が置かれた環境で、使用される可能性の高いアプリケーションのアイコンが複数特定された場合であっても、それらのみが表示される。すなわち、使用される可能性の高いアイコンのみが選択的に表示される。

一般に、スマートフォン、タブレット端末、パソコンなどを基に構築される端末では、その端末で使用可能なアプリケーションそれぞれのアイコンが全て表示され、その中からユーザ２０１は選択する必要がある。このため、多数のアイコンがディスプレイ２１５に表示される。

しかしながら、本実施形態によれば、必要最小限のアイコンしか表示されない。このため、ＨＭＤ２００のような、表示領域の小さい表示端末であっても、ユーザ２０１の視野を阻害することが少ない。また、多数のアイコンの中から所望のアイコンを探索する手間も省くことができ、使い勝手もよい。従って、視認性、利便性および操作性の高いＨＭＤ２００を提供できる。

また、本実施形態では、ユーザ２０１が実行したいアプリケーションがＨＭＤ２００に登録されていない場合、アプリ取得部２２５が、サーバ３００から取得し、登録する。このため、所望のアプリケーションの実行確率が向上する。

＜変形例１＞
また、上記実施形態では、指示受付表示部２２１は、ユーザ２０１からの指示を、ユーザ２０１の視線を解析することにより、受け付けている。しかし、指示の受け付け手法は、これに限定されない。例えば、タッチセンサ２１８ｅによるセンシングを用いてもよい。ディスプレイ２１５の表示領域内で、カーソル表示に対する操作によるカーソル移動と選択動作、例えばタッチセンサ２１８ｅへの２度タップ動作等によって、当該領域が選択されたことを認識し、受け付ける。

また、図８（ａ）に示すように、指示受付表示部２２１は、ユーザ２０１の手指の動きを外向カメラ２１４ａで検出する。手指の動きとして、ジェスチャ操作が検出された場合、指示受付表示部２２１は、当該表示アイコン７１２が選択されたものと判断してもよい。なお、ジェスチャ操作とは、例えば、表示アイコン７１２が表示されている領域をタッチするような動作、クリックするような動作、あるいはつまむような動作等である。また、タッチするような動作は、手指と表示アイコン７１２とが視線上で重なる他、オブジェクトの実物へのタッチ動作等でもよい。

＜変形例２＞
なお、上記実施形態では、図７（ａ）に示すように、表示アイコン７１２を、ディスプレイ２１５の、予め定めた領域に表示しているが、これに限定されない。例えば、指示受付表示部２２１は、図８（ｂ）に示すように、ディスプレイ２１５上の、ユーザ２０１の実視野の、元となる実オブジェクトの位置に、表示アイコン７１２を仮想オブジェクトのように表示させてもよい。

このとき、対応するアプリケーションが記憶装置２３０に格納されているアイコンと、そうでないアイコンとの表示アイコン７１２の表示態様を変更してもよい。

さらに、表示アイコン７１２として表示させるのは、アイコン図形２３１ｂでなくてもよい。ディスプレイ２１５上の、アイコンであると判別されたオブジェクトの領域に、当該オブジェクトがアイコンと判別されたことがわかる表示を行ってもよい。例えば、点線の枠を当該オブジェクトの位置に表示させるなどである。

＜変形例３＞
また、この表示アイコン７１２の表示は、ユーザ２０１の指示により表示と非表示との切り替え可能に構成してもよい。表示アイコン７１２を表示しない場合は、ユーザ２０１は、実オブジェクトに対応する領域自体をアイコンとして選択操作を行い、対応アプリの起動を行うようにしてもよい。この場合、指示受付表示部２２１は、視野範囲を撮影した画像を解析することにより、ユーザ２０１が選択操作した画像領域のオブジェクトからアイコンを特定し、指示を受け付ける。また、表示により、外界の認識が阻害されると判別された場合、指示受付表示部２２１は、表示アイコン７１２の表示を禁止してもよい。この場合、指示受付表示部２２１は、表示前に、実視野に対応する領域の画像を取得し、画像解析部２２３に解析させ、表示アイコン７１２の表示により、外界の実オブジェクト群の認識が阻害されるか否かを判別する。また、画像解析部２２３の解析結果に従って、指示受付表示部２２１は、外界の実オブジェクト群の認識が、できるだけ阻害されないような領域に表示アイコン７１２を表示させるよう調整してもよい。

＜変形例４＞
また、上記実施形態では、画像解析部２２３は、取得された画像２３３から、ユーザ２０１の実視野内の図形をオブジェクトとして抽出している。しかし、抽出するオブジェクトは、図形に限定されない。例えば、看板等に表示された文字列でもよい。オブジェクトとして抽出する文字列６２１、６２２、６２３の例を図９（ａ）から図９（ｃ）に示す。

文字列の抽出は、既存の技術、例えば、ＯＣＲ等の処理により行う。そして、画像解析部２２３は、抽出した文字列の意味を解析する。意味解析は、既存の技術、例えば、形態素解析等の処理により行う。そして、解析した意味と、アイコンＤＢ２３１の内容２３１ｄとを比較し、対応するアイコンの有無を判別する。すなわち、画像解析部２２３は、解析により得られた意味と、内容２３１ｄとが所定の精度で合致した場合、当該内容２３１ｄを有するアイコンを、関連するアイコンと判別する。

なお、画像解析部２２３は、抽出した文字列に関連するアイコンが特定された場合、当該アイコンのアイコン図形２３１ｂを抽出し、指示受付表示部２２１に、表示アイコン７１２として、ディスプレイ２１５に表示させてもよい。表示位置は、実視野の当該文字列の近傍とする。ディスプレイ２１５への表示例を図９（ｄ）から図９（ｆ）に示す。ここで、図９（ｆ）は、関連するアイコンとして、複数のアイコンが特定された場合の例である。この場合は、特定された全てのアイコンのアイコン図形２３１ｂを表示させる。

抽出するオブジェクトを図形に限定しないことにより、より幅広くユーザ２０１の実視野内からアイコンに相当する領域を抽出することができる。これに伴い、所望のアプリケーションが起動される確率が高まる。よって、ユーザ２０１にとっての利便性が向上する。

＜変形例５＞
なお、上記実施形態では、アイコン数が１つの場合、対応するアプリケーションを自動起動させている。しかし、これに限定されない。例えば、起動前にユーザ２０１から、実行の指示（実行指示）を受け付けるよう構成してもよい。すなわち、上記ステップＳ１１０９の前に、実行指示を受け付け、アプリ起動部２２４は、アプリケーションを起動する。

このとき、図８（ｃ）に示すように、指示受付表示部２２１は、例えば、ディスプレイ２１５の所定の領域に、実行指示を受け付ける指示ボタン７１５を表示する。そして、当該指示ボタン７１５に対する視線による選択を、実行指示として受け付ける。

起動前にユーザ２０１から実行指示を受け付けることにより、不要なアプリケーションの起動を低減できる。

なお、自動起動させる場合、自動起動後、ユーザ２０１から、アプリケーションの起動あるいは動作を途中で中止させる指示（中止指示）を受付可能なように構成してもよい。中止指示には、例えば、図８（ａ）を用いて説明した、ユーザ２０１によるジェスチャ操作等を用いることができる。ジェスチャ操作は、手を振る、頭を振る等の操作であってもよい。

さらに、このジェスチャ操作により、意図しない表示を解除するよう構成してもよい。例えば、ユーザ２０１の視線により、意図せず探索指示ボタン７１１を選択してしまうことがある。このとき、その後表示される表示アイコン７１２、初期画面データ７１３等は、意図しないものである。このような場合、指示受付表示部２２１は、中止指示を受け付けると、アプリケーション制御処理を中止し、元の画面に戻す。

また、実行指示を受け付けることなく自動で起動させる場合、アプリケーションによっては、予め起動禁止を設定しておいてもよい。具体的には、アプリＤＢ２３２の該当するアプリケーションのレコードに起動禁止を意味するフラグを設定しておく。アプリ起動部２２４は、起動禁止が設定されている場合、上記ステップＳ１１０９において、アプリケーションを起動せず、例えば、ユーザ２０１に起動禁止が設定されていることを通知する。

＜変形例６＞
なお、上記実施形態では、アプリＤＢ２３２において、１つのアイコンＩＤ２３２ａに対し、１つのアプリケーションが対応づけられているが、これに限定されない。例えば、１つのアイコンＩＤ２３２ａに対し、複数のアプリケーションが対応づけられていてもよい。

例えば、タクシーの図形のアイコン（アイコンＩＤ２３２ａは、タクシー０１）に、複数のタクシー会社の配車アプリケーションがそれぞれ関連づけられている場合のアプリＤＢ２３２の一例を図１０（ａ）に示す。

この場合、アプリ起動部２２４は、選択指示を受け付けたアイコンのアイコンＩＤ２３２ａに対応付けられた全てのアプリケーションの情報を指示受付表示部２２１に出力する。例えば、アプリ名称２３２ｂを出力する。これを受け、指示受付表示部２２１は、図１０（ｂ）に示すように、対応付けられたアプリケーションを特定可能な画像データ（アプリアイコン）７１４を生成し、ディスプレイ２１５に表示する。

指示受付表示部２２１は、アプリアイコン７１４に対するユーザ２０１による選択の指示を受け付ける。そして、アプリ起動部２２４は、当該アプリケーションを起動する。

なお、１つのアイコンＩＤ２３２ａに対し、複数のアプリケーションが対応づけられている場合、アプリケーションに、優先順位を設定し、アプリアイコン７１４を、優先度の高い順に並べて表示するよう構成してもよい。この場合、優先度は、予めアプリＤＢ２３２に登録しておく。

なお、優先順位が設定されている場合は、指示受付表示部２２１は、ユーザ２０１からの選択を待たず、優先順位の一番高いものが選択されたものと判定してもよい。

また、対応アプリケーションがアプリＤＢ２３２に登録されていない場合、アプリ取得部２２５が上述のようにサーバ３００から取得する。このとき、サーバ３００上でも、１つのアイコンに対し、複数のアプリケーションが用意されていることがある。この場合、ダウンロードする前に、指示受付表示部２２１は、各アプリケーションを特定する情報をディスプレイ２１５に表示し、ユーザ２０１からの選択の指示を受け付けるよう構成してもよい。

なお、アプリ取得部２２５が、サーバ３００からアプリケーションを取得する場合、送信するアイコンＩＤ２３２ａに対応付けられたアプリケーションが存在しない場合がある。このような場合は、サーバ３００上のＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）機能によって、関連性（適合性）の高いアプリケーションを、関連度（適合度）の高い順に所定数選出させてもよい。

その結果選出されたアプリケーションのアプリアイコン７１４を適合度の高い順に表示してもよい。なお、表示は、人気順であってもよい。そして、ユーザ２０１からの選択指示を受け付けると、アプリ取得部２２５は、選択されたアプリケーションを、サーバ３００からダウンロードする。

＜変形例７＞
また、ＨＭＤ２００が備える他の機能と連携し、さらに、表示アイコン７１２またはアプリアイコン７１４の表示数を低減させてもよい。また、照合対象のアイコン数を低減させて、画像解析部２２３の処理負担を低減させてもよい。これにより、処理速度を速めるとともに、アイコンとして特定される確率および所望のアイコンが特定される確率を高めることができる。

例えば、ユーザ２０１の状況により、アイコンＤＢ２３１内の照合対象とするアイコンを制限する。この場合、画像解析部２２３は、まず、上記手法で画像からオブジェクトを抽出する。そして、アイコンであるか否かを判別する際、状況に合致した種別２３１ｃまたは内容２３１ｄを有するアイコンのアイコン図形２３１ｂとのみ照合する。

例えば、ＨＭＤ２００が、スケジュール管理機能を備える場合、その情報を利用してもよい。例えば、スケジュール管理機能により、これから電車に乗る予定が明らかな場合、画像解析部２２３は、内容２３１ｄあるいは種別２３１ｃを参照し、電車関連のアイコンのアイコン図形２３１ｂのみを抽出して照合を行う。電車関連のアイコンは、例えば、内容２３１ｄに電車関連であることが登録されているアイコン、あるいは、種別２３１ｃが交通であるアイコンである。なお、画像解析部２２３は、スケジュール管理機能から、スケジュール情報を取得し、意味解析により照合範囲を特定する。

また、例えば、ＨＭＤ２００が、処理履歴を蓄積する機能を備える場合、その情報を利用してもよい。また、ＨＭＤ２００が、処理履歴を、処理時の位置情報に対応づけて蓄積する機能を備える場合、その情報を利用してもよい。これらは、さらに、スケジュール情報と組み合わせて用いてもよい。

例えば、ユーザ２０１が、特定の店舗では、電子マネーで支払いをしていることが履歴として記録されている場合、画像解析部２２３は、この情報を用いて、照合範囲を制限する。店舗を特定する情報には、店舗の位置情報を用いる。店舗の位置情報は、位置情報取得装置であるＧＰＳ受信機２１８ａにより取得する。

すなわち、ＨＭＤ２００の現在位置が当該店舗である場合、画像解析部２２３は、抽出したオブジェクトを、アイコンＤＢ２３１の、電子マネーに関連するアイコン図形２３１ｂのみと照合する。例えば、内容２３１ｄに電子マネーであることを意味する情報が登録されているアイコンや、種別２３１ｃに決済であることが登録されているアイコン等である。

なお、さらに、特定の店舗では、特定の電子マネーで支払いをしていると記録されている場合、アプリ起動部２２４は、ユーザ２０１が当該店舗内で探索モードをＯＮにした場合、当該特定の電子マネーに関連するアプリケーションを直接起動するよう構成しもてよい。なお、アプリ起動部２２４は、指示受付表示部２２１を介して、位置情報、探索指示を受信する。

また、現在位置情報に加え、現在位置がどのような場所であるかの情報が得られる場合、当該情報に応じて、抽出するアイコンの範囲を限定してもよい。

例えば、現在位置が、行政関連施設等であれば、行政サービス系のアイコンに、交通機関であれば、交通系のアイコンのみを画像解析部２２３の検索範囲とする。

これにより、アイコンに類似の実オブジェクトを不用意に撮影したとしても、アイコンとして抽出されない。なお、現在位置がどのような場所であるかの情報は、ＧＰＳ受信機２１８ａによる現在位置情報、通信Ｉ／Ｆ２１７が有するモバイル通信機能等で得られる現在位置情報および地図情報等を用いて判断される。

また、他のデータベースと連携してもよい。例えば、図１１に示すように、予め店舗毎に利用可能なアプリケーションをデータベース（店舗ＤＢ２３５）として保持し、それを用いて、照合対象のアイコン図形２３１ｂ数を低減してもよい。

店舗ＤＢ２３５には、店舗毎に、その位置情報と、利用可能なアプリケーションのアプリＩＤ２３２ｃまたはアイコンＩＤ２３２ａが登録される。図１１の例では、アイコンＩＤ２３２ａが登録される場合を例示する。画像解析部２２３は、ＨＭＤ２００のＧＰＳ受信機２１８ａで取得した現在位置情報と、店舗の位置情報とが合致した場合、当該店舗にいると判別する。そして、店舗ＤＢ２３５に登録される利用可能なアイコンＩＤ２３２ａにより照合範囲を限定する。

なお、店舗ＤＢ２３５を有する場合、ユーザ２０１が店舗にいると判別された状態で、探索モードがＯＮになった場合、指示受付表示部２２１は、画像解析部２２３に画像を解析させる代わりに、店舗ＤＢ２３５に登録されるアイコンＩＤ２３２ａのアイコン図形２３１ｂを、アイコンＤＢ２３１から抽出し、全てディスプレイ２１５に表示させてもよい。

また、店舗ＤＢ２３５に、さらに、店舗毎に、利用可能なアプリケーションの優先順位が設定されていてもよい。この場合、指示受付表示部２２１は、当該店舗内で探索モードがＯＮになった場合、ＨＭＤ２００に登録されているアプリケーションの中で、最も優先度の高いアプリケーションを、アプリ起動部２２４に起動させてもよい。

特に、決済時等のアプリケーション制御処理にこのような変形例を適用すると、例えば、ＨＭＤ２００が、実視野に存在する実オブジェクトそれぞれに対応するアイコンのアプリケーションを保持している場合であっても、決済に非関連のアイコンは表示されない。これにより、選択候補がより関連性の高いもののみになるため、ユーザにとって、さらに使い勝手が向上する。

なお、本変形例は、同種別のアイコンが複数表示され、所定の規則に従って選択する場合に適用可能である。所定の規則は、例えば、過去の利用頻度や、予め定めた優先順位等である。

＜変形例８＞
また、アイコンに相当するオブジェクトの近傍にＱＲコード（登録商標）等の補助コードが配置されている場合、アプリ制御部２２０の処理負担を軽減するため、当該補助コードにより提供される補助情報を用いてもよい。例えば、アプリケーションを、当該補助コードの情報に従って取得してもよい。なお、以下、補助コードがＱＲコードである場合を例にあげて説明する。

本実施形態では、画像解析部２２３により抽出されたオブジェクトがアイコンと判別された場合、画像解析部２２３は、さらに、画像２３３内の当該オブジェクトの近傍のＱＲコードの補助情報を参照する。

なお、画像解析部２２３は、画像内にＱＲコードが無い場合は、本処理は行わなくてもよい。画像内にＱＲコードが複数ある場合は、各オブジェクトについて、画像内で、最も距離の近い（最寄の）ＱＲコードを、当該オブジェクトのＱＲコードと判断する。

そして、画像解析部２２３は、特定したＱＲコードから情報（ＱＲ情報と呼ぶ。）を取得し、そのＱＲ情報に従って処理を行い、その結果を表示する。

画像解析部２２３は、例えば、ＱＲ情報に、関連するアプリケーションの保存場所としてＵＲＬが登録されている場合、それを、アプリ起動部２２４を介してアプリ取得部２２５に通知する。アプリ取得部２２５は、通信Ｉ／Ｆ２１７を介して当該ＵＲＬにアクセスし、当該ＵＲＬを有するサーバ３００からアプリケーションを取得し、起動する。また、ＱＲ情報そのものをテキスト化してディスプレイ２１５に表示してもよい。

例えば、図１２（ａ）に示すように、タクシーの図形５１３が付された看板５０１上に、ＱＲコード５３１が付されているとする。画像解析部２２３は、この視野を撮影した画像２３３からタクシーの図形５１３に対応する領域をアイコンと特定する。その後、画像２３３の中から最寄のＱＲコードを特定し、その情報を取得し、上述のように利用する。

なお、図１２（ａ）に示すように、タクシー乗場の看板５０１に配置されるＱＲコードには、例えば、タクシー配車サービスを提供する会社のＵＲＬ情報、タクシー配車アプリケーションのＵＲＬ情報、配車指定場所を示す位置情報、配車センターの電話番号情報、等が記録される。

また、種別２３１ｃがショッピングであるアイコンの近傍に配置されるＱＲコードには、例えば、オンラインショップのアプリケーションのＵＲＬ情報、店舗情報等の掲載されるＵＲＬ情報、店舗の商品情報、会計時の決済情報、等が記録される。

また、路線バスの図形の近傍に配置されるＱＲコードには、バス路線情報、乗場情報、運賃情報等を掲載するサイトのＵＲＬ情報、実時間での運行情報を提供するサイトのＵＲＬ情報、乗り換え案内を提供するサイトのＵＲＬ情報等が記録される。

また、トイレを示す図形の近傍に配置されるＱＲコードには、公衆トイレの位置や、現在位置から最寄りの公衆トイレまでの誘導情報を提供するサイトのＵＲＬ情報等が記録される。このようなＱＲコードは、例えば、大型店舗やショッピングモール等に設けられる。

ＱＲコードにより得られる補助情報とは別に、上記実施形態同様、アプリ起動部２２４が、アプリＤＢ２３２を参照し、アイコンに対応づけて登録されているアプリケーションを起動させてもよい。

また、補助情報は、起動されたアプリケーションの処理に用いてもよい。

この場合、起動したアプリケーションは、読み取った補助情報と共に、あるいは補助情報に基づいて所定の処理を行う。これにより、ＱＲコードから得た補助情報を、アプリケーション実行時のパラメータとして用いたりするなど、より複合的な処理を自動化できる。従って、アプリケーションソフトによる処理動作に加えて補助コードを用いることによりＨＭＤ２００のユーザ２０１にとって、さらに望ましい処理を得ることが可能となる。

例えば、図１２（ｂ）に示すように、衣服に添付されるタグ等にマーク５１８とＱＲコード５３１とが付されているものとする。このマーク５１８には、衣服を扱うオンラインストアのアプリケーションが対応づけられているものとする。また、ＱＲコード５３１には、当該衣服のメーカコード、商品番号、色、サイズ等当該衣服を特定する情報が補助情報として登録されているものとする。

当該アプリが起動された際、補助情報を取り込むことで、自動的に当該衣服と同一商品をオンラインストアで注文できる。また、当該衣類に関し、色やサイズの異なる商品を検索することができる。

また、例えば、図１３（ａ）に示すように、店舗の会計用レジスタ（レジ）５４２近傍には、通常、使用可能なクレジットカードのマークや、使用可能な電子マネーのマーク、その他使用可能な決済手段のマーク等が貼付される。このようなエリアでは、レシート５４１等に記載されたＱＲコード５３１を用いてもよい。この場合のＱＲコード５３１には、購入金額の合計、店舗情報、購入品情報、決済機関、等の決済に必要な情報が補助情報として記録されている。アイコンの選択により起動された決済系のアプリケーションがこのＱＲコード５３１に記録されている補助情報を用いて決済処理を進めることが出来る。なお、レシート５４１の代わりにタブレット等の表示端末にＱＲコードを表示してもよい。さらに、使用可能なクレジットカードのマークや、使用可能な電子マネーのマーク、その他使用可能な決済手段のマーク等を表示端末に表示してもよい。

なお、視野範囲の撮影とレシート５４１の撮影とは、別個に行ってもよい。この場合、アプリ制御部２２０は、先に撮影したユーザ２０１の視野範囲の画像から抽出、特定されたアイコンに対応するアプリケーションを起動後、レシート５４１を撮影し、ＱＲコード５３１の補助情報を取得し、アプリケーションの処理に反映させる。

なお、上記説明では、画像解析部２２３が、ＱＲコードのリーダとしても機能する場合を例に挙げて説明した。しかし、ＱＲコードのリーダ機能を、画像解析部２２３とは別に備えていてもよい。この場合、画像解析部２２３は、ＱＲコードを特定した後、当該リーダ機能に対し、読み取を指示する。

また、上記説明では、ＱＲコードの読み取りは、自動的に行われる。しかし、ＱＲコードの読み取りは、ユーザ２０１からの指示を受け付けた場合のみ行うよう構成してもよい。この場合、指示受付表示部２２１が、ユーザ２０１による指示を受け付け、画像解析部２２３またはリーダ機能に読み取りを指示する。例えば、ユーザ２０１の視線方向が、ディスプレイ２１５に表示される画像上のＱＲコードの方向である場合、選択されたと判断する。

なお、上記例では、オブジェクトとＱＲコードとは独立したものである。しかし、アイコン図形と補助コード（ＱＲコード）とを組み合わせたアイコン付ＱＲコードがある。

このようなアイコン付ＱＲコードの場合、画像解析部２２３は、抽出されたオブジェクトに対し、アイコンであるか否かの判定を行わず、アイコンと判定し、ＱＲコードに記録されている補助情報を取得する。そして、補助情報に従って、その後の処理を行う。

図１３（ｂ）に、決済系のアイコン付ＱＲコード５３２の一例を示す。本図では、ＱＲコードの部分に、アイコン図形の種別が決済系であること、利用可能な決済手段などが記録される。

画像解析部２２３は、画像を解析することにより、これらの情報を取得する。そして、アイコンＤＢ２３１にアクセスし、種別２３１ｃが決済系であるアイコン図形を全て抽出し、図１３（ｃ）に示すように、ディスプレイ２１５に表示させる。以下の処理は、上記実施形態と同様である。

なお、ここでは、決済系のアイコン図形を例にあげて説明しているが、これに限定されない。交通系、コマース系、行政サービス系等、様々なサービスや処理に適用することができる。

＜変形例９＞
なお、上記実施形態および変形例では、ＨＭＤ２００自体が、アイコンＤＢ２３１を備え、画像解析部２２３がアイコンＤＢ２３１を参照し、抽出したオブジェクトがアイコンであるか否かを判別している。また、アプリケーションについても、同様に、ＨＭＤ２００自体がアプリＤＢ２３２を備え、アプリＤＢ２３２のアプリ格納場所２３２ｄに従って、アプリケーションを起動させている。

しかしながら、アイコンＤＢ２３１およびアプリＤＢ２３２を、ＨＭＤ２００自体が備えなくてもよい。アイコンＤＢ２３１の代わりに、サーバ３００が様々なアイコン図形が登録されるアイコンバンク３１１を備えていてもよい。また、アプリＤＢ２３２無しで、常に、サーバ３００からアプリケーションを取得するよう構成してもよい。

この場合、図１４に示すように、アイコンバンク３１１に登録される各アイコンは、アイコンＩＤ３１１ａと、アイコン図形３１１ｂと、種別３１１ｃと、内容３１１ｄとを備える。さらに、アイコンは、当該アイコンに対応するアプリケーションのＵＲＬ情報（対応アプリＵＲＬ３１１ｅ）と、関連情報３１１ｆとが登録される。

種別３１１ｃは、上記アイコンＤＢ２３１同様、アイコンの種類で分類した情報であり、例えば、交通系、決済系、等である。アイコンＩＤ３１１ａは、各アイコンを一意に識別する情報である。対応アプリＵＲＬ３１１ｅは、アイコンに対応付けられたアプリケーションへのアクセス情報である。関連情報は、例えば、当該アイコンの登録元の情報、権利元の情報等である。

なお、アイコンバンク３１１が登録されるサーバ３００は、アプリケーションが登録されるサーバ３００とは異なる装置であってよい。

この場合、画像解析部２２３は、上記ステップＳ１１０３のアイコンの特定処理時に、通信Ｉ／Ｆ２１７を介してサーバ３００のアイコンバンク３１１にアクセスし、照会を行い、特定する。そして、画像解析部２２３は、特定したアイコンのアイコンＩＤ３１１ａおよびアイコン図形３１１ｂをＨＭＤ２００にダウンロードし、アイコン図形３１１ｂをディスプレイ２１５に表示し、選択を受け付ける。なお、ダウンロードする際は、アイコンに対応付けられた、他の情報（種別３１１ｃ、内容３１１ｄ、対応アプリＵＲＬ３１１ｅ等）も、併せてダウンロードする。

指示受付表示部２２１は、選択されたアイコンの情報を、アプリ取得部２２５に通知する。そして、アプリ取得部２２５は、選択されたアイコンに対応付けられた対応アプリＵＲＬ３１１ｅに従って、当該ＵＲＬにアクセスし、対応アプリケーションをダウンロードし、起動する。

抽出したオブジェクトがアイコンであるか否かを判別する際、アイコンＤＢ２３１のみを照合範囲とすると、処理速度は速い。一方、アイコンバンク３１１を用いることにより、ネットワーク１０１を介してサーバ３００にアクセスすることになり、全体としての処理速度は遅くなるが、その分、アイコンとして特定される可能性が高まる。

この様に、アイコンバンク３１１に各種のアイコンとその関連情報とを登録しておくことで、初めて使用するアイコンに対して、それを認識して関連するアプリケーションを利用することが出来る。このため、利便性がさらに向上する。

なお、アプリケーション自体もアイコンバンク３１１に登録されていてもよい。

また、上記実施形態と、本変形例とを組み合わせてもよい。すなわち、画像解析部２２３は、オブジェクト抽出後、まず、アイコンＤＢ２３１にアクセスする。そして、アイコンＤＢ２３１に、抽出したオブジェクトに相当するアイコンが登録されていない場合、サーバ３００のアイコンバンク３１１を照会する。そして、画像解析部２２３は、アイコンバンク３１１からアイコン図形等のデータをダウンロードした場合、アイコンＤＢ２３１に追加登録する。

これにより、アイコンＤＢ２３１が充実していない場合であっても、画像２３３から、世の中にあるアイコンに類似するオブジェクトを抽出さえできれば、当該アイコンに対応付けられたアプリケーションを起動できる。すなわち、一般に広く普及していないアイコンについては、事前の登録が不要となり、さらに利便性が向上する。

なお、アイコンバンク３１１にも合致するアイコン図形３１１ｂが登録されていない場合は、画像２３３から抽出したオブジェクトは、類似のアイコンが存在しないものと判別し、その旨をディスプレイ２１５に表示して処理を中断してもよい。また、ユーザ２０１にその旨通知してもよい。

アイコンバンク３１１を用いることにより、実世界上に存在する各種のオブジェクトをアイコンとして登録して意味づけや種別分けすることで利用可能となる。あるいは、意味づけ等が行われていないオブジェクトであっても、当該オブジェクトの形状、配置場所等から類推して意味づけを行うことも可能である。

＜＜第二の実施形態＞＞
次に本発明の第二の実施形態を説明する。第一の実施形態では、表示をＨＭＤ２００のディスプレイ２１５に行っているが、本実施形態では、携帯端末とさらに連携し、表示は、携帯端末のディスプレイに行う。

本実施形態では、ＨＭＤ２００は、ユーザ２０１の手元の携帯端末との間で、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）の様な無線通信を行い、ＨＭＤ２００で特定したアイコン図形や、起動させたアプリケーションの初期画面のデータ等を携帯端末に送信する。携帯端末では、受信したアイコン図形や初期画面を携帯端末のディスプレイに表示させる。

まず、本実施形態のアプリケーション制御システム１００ａのシステム構成について説明する。図１５（ａ）は、本実施形態のアプリケーション制御システム１００ａのシステム構成図である。本実施形態のアプリケーション制御システム１００ａは、ＨＭＤ２００と、サーバ３００と、携帯端末４００とを備える。

第一の実施形態同様、ＨＭＤ２００およびサーバ３００は、ネットワーク１０１を介して接続される。また、これらの構成、機能は、第一の実施形態と同様である。

ただし、上述のように、本実施形態では、ＨＭＤ２００と携帯端末４００とは、近距離無線通信でデータの送受信を行う。このため、本実施形態の通信Ｉ／Ｆ２１７は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信Ｉ／Ｆと、近距離無線通信Ｉ／Ｆと、を備える。

ＬＡＮ通信Ｉ／Ｆは、Ｗｉ－Ｆｉ（登録商標）等による無線接続によりアクセスポイント（ＡＰ）装置を介してネットワークに接続され、ネットワーク上の他の装置とデータの送受信を行うインタフェースである。

近距離無線通信Ｉ／Ｆは、無線通信器を備える他の装置と無線通信によりデータの送受信を行う。例えば、Ｂｌｕｅｔｏｏｔｈ等により、数ｍから数十ｍ程度の距離の情報機器間で、電波を使い、簡易な情報のやりとりを実現するＩ／Ｆである。また、近接無線通信Ｉ／Ｆは、例えば、近距離無線通信（ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ））のＩ／Ｆであり、数センチからおよそ１メートル程度の極短距離で、ＮＦＣチップを搭載した機器間の双方向通信を実現してもよい。例えば、携帯端末の本体に搭載される電子マネーなどの非接触ＩＣチップを利用したサービスに対応する。

さらに、指示受付表示部２２１は、通信Ｉ／Ｆ２１７を介して、携帯端末４００からの指示を受け付ける。

携帯端末４００は、例えば、スマートフォン、タブレット端末等、通信機能と表示装置とを備える情報処理装置である。携帯端末４００はウォッチ等のウェアラブル機器でもよい。ウェアラブル機器を用いると、ＨＭＤ２００と合わせてウェアラブル機器のみでシステムが構築できるため、使用者の手を塞がない利点を保てる。本実施形態では、ＨＭＤ２００とは、近距離無線通信で接続される。近距離無線通信は、例えば、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ等である。なお、携帯端末４００は、さらに、ネットワーク１０１に接続される。

図１５（ｂ）に、本実施形態の携帯端末４００のハードウェア構成図を示す。携帯端末４００は、基本的に図２に示すＨＭＤ２００と同様の構成を有する。すなわち、ＣＰＵ４１１と、ＲＡＭ４１２と、ＲＯＭ４１３と、カメラ４１４（外向カメラ４１４ａおよび視線検出カメラ４１４ｂ）と、ディスプレイ４１５と、音声インタフェース（Ｉ／Ｆ）４１６と、通信Ｉ／Ｆ４１７と、センサ４１８（ＧＰＳ受信機４１８ａ、ジャイロセンサ４１８ｂ、加速度センサ４１８ｃ、地磁気センサ４１８ｄ、タッチセンサ４１８ｅ）と、各部を接続するバス４１９と、を備える。図２に示すＨＭＤ２００と同名の構成は、同様の機能を備える。

すなわち、通信Ｉ／Ｆ４１７も、通信Ｉ／Ｆ２１７同様、ＬＡＮ通信Ｉ／Ｆと、近距離無線通信Ｉ／Ｆと、を備える。なお、通信Ｉ／Ｆ４１７は、さらに、移動体電話通信網の基地局との無線通信により、通話及びデータの送受信を行う電話網通信Ｉ／Ｆと、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の有線接続手段により、ＨＭＤ２００近傍の他の装置とデータの送受信を行う優先通信Ｉ／Ｆと、近接無線通信器を備える他の装置と無線通信によりデータの送受信を行う近接無線通信Ｉ／Ｆと、赤外線通信を実現する赤外線通信Ｉ／Ｆと、を備えてもよい。

本実施形態では、第一の実施形態において、ＨＭＤ２００のディスプレイ２１５に表示されるデータが、ディスプレイ２１５の代わりに、ディスプレイ４１５に表示される。

また、ディスプレイ４１５を介して受け付けたユーザからの指示は、通信Ｉ／Ｆ４１７を介して、ＨＭＤ２００に送信され、通信Ｉ／Ｆ２１７を介して、指示受付表示部２２１に送信される。

以下、本実施形態のディスプレイ４１５における表示例を、図１６（ａ）～図１６（ｃ）を用いて、具体例で説明する。例えば、ユーザ２０１がタクシー乗場の近傍に来た場合、第一の実施形態では、ディスプレイ２１５に表示される探索指示ボタン７１１を選択する。本実施形態では、図１６（ａ）に示すように、ディスプレイ４１５に探索指示ボタン４２１を表示させる。表示は、携帯端末４００のＣＰＵ４１１によりなされる。

そして、ユーザ２０１が、探索指示ボタン４２１を選択すると、ＣＰＵ４１１は、選択を受け付ける。そして、ＣＰＵ４１１は、選択を受け付けたことを意味する信号を生成し、通信Ｉ／Ｆ４１７を介してＨＭＤ２００に出力する。ＨＭＤ２００では、通信Ｉ／Ｆ２１７を介してこの信号を受信し、指示受付表示部２２１に受け渡される。

指示受付表示部２２１は、画像解析部２２３に指示し、第一の実施形態同様、撮影処理部２２２に画像を取得させる。そして、画像解析部２２３に、オブジェクトを抽出させ、アイコンを特定させる。そして、画像解析部２２３がアイコンを特定すると、特定されたアイコンの数が複数の場合、当該アイコン図形を通信Ｉ／Ｆ２１７を介して携帯端末４００へ送信する。

携帯端末４００側では、図１６（ｂ）に示すように、ＣＰＵ４１１が、受信したアイコン図形４２２を、ディスプレイ４１５に表示させる。そして、ＣＰＵ４１１がユーザからの選択を受け付けると、受け付けた選択内容を通信Ｉ／Ｆ４１７を介してＨＭＤ２００へ送信する。

ＨＭＤ２００側では、通信Ｉ／Ｆ２１７を介して指示受付表示部２２１が選択内容を受信すると、選択内容をアプリ起動部２２４へ送信する。それを受け、アプリ起動部２２４は、第一の実施形態同様の手法で、アプリＤＢ２３２にアクセスし、アプリケーションの登録の有無を判別する。そして、アプリ起動部２２４は、アプリケーションが登録されていれば、当該アプリケーションを起動させる。そして、指示受付表示部２２１は、初期画面データを、通信Ｉ／Ｆ２１７を介して携帯端末４００へ送信する。

携帯端末４００側では、図１６（ｃ）に示すように、ＣＰＵ４１１が、受信した初期画面４２３を、ディスプレイ４１５に表示させる。

一方、アプリケーションが登録されていない場合は、アプリ取得部２２５に、サーバ３００からアプリを取得させ、第一の実施形態同様の処理を行った後、取得したアプリケーションを起動させ、その起動画面データを送信する。

本実施形態によれば、ユーザ２０１が手元に保持する携帯端末４００と連携する。従って、ユーザ２０１は、自身が手元に保有する携帯端末４００で操作指示を行うことができ、使い勝手がよい。

なお、ディスプレイ２１５での表示態様の各種の変形例は、本実施形態の表示においても適用できる。

例えば、選択されたアイコン図形の表示を、他の非選択のアイコン図形とは異なる態様とする、取得した画像上に、アイコン図形を重畳表示する、等である。取得した画像上にアイコン図形を重畳表示する場合は、取得した画像も、併せて携帯端末４００へ送信する。

また、第一の実施形態の、表示態様以外の各種の変形例も、本実施形態に適用できる。

＜＜第三の実施形態＞＞
次に、本発明の第三の実施形態を説明する。本実施形態では、第一の実施形態または第二の実施形態のシステム構成に、さらに、ビーコンが加わる。以下、第一の実施形態にビーコンが加わる場合を例に、本実施形態を説明する。

図１７（ａ）は、本実施形態のアプリケーション制御システム１００ｂのシステム構成図である。本実施形態のアプリケーション制御システム１００ｂは、ＨＭＤ２００と、サーバ３００と、ビーコン８００とを備える。

ビーコン８００は、予め設定された固有のＩＤ情報を出力する。例えば、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）仕様の信号（以下、ビーコン信号と呼ぶ。）を常時発信する。このビーコン信号は、ビーコン信号を受信するアプリケーションが起動されている端末においてのみ受信される。

本実施形態のビーコン８００は、ビーコン信号を発信する発信器である。ビーコン８００は、数秒ごとに１回、ビーコン信号を出力する。このビーコン信号は、例えば、半径数十メートルの範囲に到達する程度の出力とする。

第一の実施形態同様、ＨＭＤ２００およびサーバ３００は、ネットワーク１０１を介して接続される。また、これらの構成、機能は、基本的に、第一の実施形態と同様である。

ただし、本実施形態のＨＤＭ２００の通信Ｉ／Ｆ２１７は、ビーコン８００からのビーコン信号を受信する信号受信部としても機能する。すなわち、ＢＬＥ仕様の信号を受信可能とする。

また、ＨＭＤ２００は、ビーコン８００からの信号を受信した場合、探索モードとする。これを実現するため、本実施形態のＨＭＤ２００は、図１７（ｂ）に示すように、第一の実施形態の機能に加え、ビーコン信号の受信処理を行うビーコン受信部２２８をさらに備える。

ビーコン受信部２２８は、ビーコン８００からのビーコン信号を受信すると、指示受付表示部２２１に探索指示を送信する。

上述のように、ビーコン信号は、このビーコン信号に応じた処理を行うアプリケーション（以下、ビーコン受信アプリと呼ぶ。）を搭載した端末においてのみ受信される。本実施形態では、記憶装置２３０にこのビーコン受信アプリのプログラムを登録しておく。そして、ＨＭＤ２００の起動とともに、あるいは、ユーザ２０１からの指示に従って、ＣＰＵ２１１が、ビーコン受信アプリをＲＡＭ２１２にロードして実行することにより、ビーコン信号を受信する通信Ｉ／Ｆ２１７およびビーコン受信部２２８を実現する。なお、ビーコン受信アプリは、起動後、常時、バックグラウンドで実行される。

このように、本実施形態では、ＨＭＤ２００が、ビーコン信号を受信可能なエリア内に入ると、ＨＭＤ２００は、通信Ｉ／Ｆ２１７を介してビーコン信号を受信する。そして、受信したビーコン信号は、ビーコン受信部２２８に送信され、探索指示とされ、指示受付表示部２２１に送信される。

探索指示を受け取った指示受付表示部２２１は、第一の実施形態同様、撮影処理部２２２に撮影、すなわち、画像２３３の取得を開始させる。そして、画像解析部２２３は、画像２３３が取得される毎に、画像２３３を解析してオブジェクトを抽出し、アイコンを特定する。そして、アプリ起動部２２４が、指定されたアイコンのアプリケーションを起動する。

以下、一例として、ビーコン８００が、図１８（ａ）に示すように、商店や飲食店等の会計エリアに配置される場合を例にあげて説明する。この場合、ビーコン８００は、会計用レジスタ（レジ）の近傍に配置される。レジの近傍には、通常、使用可能なクレジットカードのマークや、使用可能なＩＣカードのマーク等が貼付される。

ユーザ２０１が、レジに近づくと、ＨＭＤ２００は、ビーコン８００からのビーコン信号を受信する。通信Ｉ／Ｆ２１７を介して指示受付表示部２２１は、ビーコン信号を受信すると、撮影処理部２２２に、視野範囲内の画像を取得させる。そして、画像解析部２２３は、オブジェクトを抽出し、アイコンを特定する。

会計エリアでは、ユーザ２０１は、透過型のディスプレイ２１５を通して、例えば、図１８（ｂ）に示すような光景（実像）５５０を見る。具体的には、レジ近傍に、当該店舗で使用可能な各種のクレジットカードや電子マネーのステッカーが貼付されている光景である。ここで、ビーコン信号を受信することにより、撮影処理部２２２は、図１８（ｃ）に示すような画像６５０を取得する。

画像解析部２２３は、この画像６５０から、オブジェクト群を抽出する。抽出されたオブジェクト群６２０の例を図１９（ａ）に示す。そして、画像解析部２２３は、アイコンＤＢ２３１を参照し、アイコンであるオブジェクトを特定する。

そして、指示受付表示部２２１は、アイコンと特定されたオブジェクトのアイコン図形２３１ｂを、アイコンＤＢ２３１から抽出し、ディスプレイ２１５に表示する。表示例を図１９（ｂ）に示す。なお、ここでは、透過型のディスプレイ２１５を通してユーザ２０１の視界に入る、外界の光景は、省略する。以下同様とする。

指示受付表示部２２１は、ユーザ２０１からの選択の指示を受け付ける。指示受付表示部２２１は、例えば、選択されたアイコン図形２３１ｂを、他のアイコン図形とは異なる態様で表示させてもよい。例えば、図１９（ｃ）に示すように、選択されたアイコン図形を、他のアイコン図形より大きく表示する。

アプリ起動部２２４は、選択されたアイコンに対応づけてアプリＤＢ２３２に登録されているアプリケーションを起動する。ここでは、例えば、図１９（ｄ）に示すように、アイコン図形で示されたカードによる決済を行う画面を、ディスプレイ２１５に表示する。

なお、選択されたアイコンに対応づけてアプリケーションが登録されていない場合、第一の実施形態同様、アプリ取得部２２５が、サーバ３００からアプリを取得する。

このように、本実施形態では、外界のアイコンに相当するオブジェクトが配される近傍に、ビーコンを配置する。そして、探索モードをＯＮにする代わりに、ビーコン８００からの信号を受信した場合、ＨＭＤ２００が、アプリケーション制御処理を開始する。

このため、本実施形態によれば、第一の実施形態と同様の効果を奏する。さらに、本実施形態によれば、探索モードをＯＮにするといった操作が不要となり、ユーザ２０１の手間が減り、利便性が高まる。

＜変形例１０＞
なお、ビーコン８００から出力されるビーコン信号は、本実施形態では、基本的に、アイコンに相当するオブジェクトが近傍にあることを意味する信号である。しかしながら、ビーコン８００が発信するビーコン信号には、位置情報以外の情報を追加してもよい。例えば、近傍で行われる処理を限定する情報等である。

これにより、画像解析部２２３が照合するアイコンの種別２３１ｃを限定することができる。その結果、外界のマークに対する反応が頻繁に起こる煩わしさを低減できる。

例えば、決済を伴う場所近傍では、決済に関連した、アイコンのみを特定する。この場合、指示受付表示部２２１は、ビーコン信号を受信すると、探索指示を出力するだけでなく、ビーコン信号を、画像解析部２２３にも出力する。

画像解析部２２３は、ビーコン信号を解析し、必要とするアイコンの種別２３１ｃを特定する。そして、抽出したオブジェクトに対応するアイコンを特定する際、特定した種別２３１ｃに合致したアイコンのみと照合する。

例えば、種別２３１ｃが決済であるアイコンのみを抽出するようビーコン信号に登録されている場合、図１９（ｂ）の例では、左から、それぞれ、アイコンＤＢに登録されるアイコン種別が、決済、決済、決済、決済、ポイント付与、とする。この場合、一番右のアイコンは、ディスプレイ２１５に表示されない。

なお、本実施形態においても、第二の実施形態のように、表示先は、携帯端末４００であってもよい。

＜変形例１１＞
上記各実施形態および変形例のＨＭＤ２００は、さらに、使用者認証機能を備えていてもよい。

使用者認証機能は、ＨＭＤ２００のユーザ２０１が、予め登録されたユーザ２０１であることを認証し、認証が成功した場合のみ、上記アプリケーション制御処理を行うよう指示するセキュリティ機能である。

本変形例のＨＭＤ２００の機能ブロック図を図２０に示す。本変形例のアプリ制御部２２０は、第一の実施形態の機能に、さらに、ＨＭＤ２００のユーザ２０１を認証する使用者認証を行う認証部２２９を備える。

使用者認証には、例えば、虹彩認証等を用いることができる。この場合、使用者認証機能は、例えば、認証部２２９と視線検出カメラ２１４ｂとにより実現される。

虹彩認証では、予めユーザ２０１の虹彩を撮影し、ＲＯＭ２１３に照合データ２３６として記憶しておく。ユーザ２０１がＨＭＤ２００を装着した際、認証部２２９は、視線検出カメラ２１４ｂでユーザ２０１の虹彩の画像を取得し、予め記憶した虹彩の画像と照合する。そして、認証部２２９は、照合に成功した場合、正当なユーザ２０１であることを、指示受付表示部２２１に通知する。指示受付表示部２２１は、照合成功の通知を受けた場合、探索指示ボタンをディスプレイ２１５に表示する。

なお、使用者認証は、上記手法に限定されない。例えば、認証パターンの視線追跡によるロック解除、所定時間でのまばたき回数や所定時間間隔でのまばたき動作、あるいは指紋認証機能等であってもよい。また、これらの組み合わせであってもよい。また、これ以外の認証手法であってもよい。なお、認証パターンは、例えば、指示受付表示部２２１により作成する。

以上により、例えば決済処理などに於いて他者のなりすましによる処理を防ぐことが可能となる。従って、利便性と高い操作性を備えながら、安全性も高いＨＭＤ２００を実現できる。

＜変形例１２＞
なお、第一の実施形態、第三の実施形態および各変形例では、表示端末として、ＨＭＤ２００を用いる場合を例にあげて説明したが、表示端末は、これに限定されない。これらの例では、カメラや通信機能を備えたスマートフォンやタブレット型端末等の携帯端末であってもよい。

いずれであっても、アイコン図形に類似した、実オブジェクトを撮影するだけでアプリケーションを立ち上げることができる。このため、利用したいアプリケーションのアイコンを表示画面上から探し出して起動するといった手間を省くことができ、使い勝手が向上する。

なお、上記第一の実施形態および第二の実施形態では、探索モードがＯＮになった際、外界の画像２３３を取得し、画像解析を開始しているが、これに限定されない。例えば、常時、所定の時間間隔で外界の画像２３３を取得し、画像を取得する毎に、画像解析部２２３がアイコンを特定するよう構成してもよい。

この場合、常に、ディスプレイ２１５にそのタイミングで選択可能な表示アイコン７１２が表示される。ユーザ２０１は、アプリケーションを実行したいタイミングで、表示アイコン７１２の中から選択指示を行えばよい。

なお、本発明は上記した実施形態および変形例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態および変形例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態または変形例の構成の一部を他の実施形態や変形例の構成に置き換えることが可能である。また、ある実施形態または変形例の構成に他の実施形態または変形例の構成を加えることも可能である。さらに、各実施形態または変形例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ部や、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００：アプリケーション制御システム、１００ａ：アプリケーション制御システム、１００ｂ：アプリケーション制御システム、１０１：ネットワーク、
２００：ＨＭＤ、２０１：ユーザ、２１１：ＣＰＵ、２１２：ＲＡＭ、２１３：ＲＯＭ、２１４：カメラ、２１４ａ：外向カメラ、２１４ｂ：視線検出カメラ、２１５：ディスプレイ、２１６：音声Ｉ／Ｆ、２１７：通信Ｉ／Ｆ、２１８：センサ、２１８ａ：ＧＰＳ受信機、２１８ｂ：ジャイロセンサ、２１８ｃ：加速度センサ、２１８ｄ：地磁気センサ、２１８ｅ：タッチセンサ、２１９：バス、２２０：アプリ制御部、２２１：指示受付表示部、２２２：撮影処理部、２２３：画像解析部、２２４：アプリ起動部、２２５：アプリ取得部、２２８：ビーコン受信部、２２９：認証部、２３０：記憶装置、
２３１：アイコンＤＢ、２３１ａ：アイコンＩＤ、２３１ｂ：アイコン図形、２３１ｃ：種別、２３１ｄ：内容、２３２：アプリＤＢ、２３２ａ：アイコンＩＤ、２３２ｂ：アプリ名称、２３２ｃ：アプリＩＤ、２３２ｄ：アプリ格納場所、
２３３：画像、２３４：表示データ、２３５：店舗ＤＢ、２３６：照合データ、２４１：表示制御部、２４２：表示画像生成部、２４３：視線検出部、２４４：解析制御部、
３００：サーバ、３１１：アイコンバンク、３１１ａ：アイコンＩＤ、３１１ｂ：アイコン図形、３１１ｃ：種別、３１１ｄ：内容、３１１ｅ：対応アプリＵＲＬ、３１１ｆ：関連情報、
４００：携帯端末、４１１：ＣＰＵ、４１２：ＲＡＭ、４１３：ＲＯＭ、４１４：カメラ、４１４ａ：外向カメラ、４１４ｂ：視線検出カメラ、４１５：ディスプレイ、４１７：通信Ｉ／Ｆ、４１８：センサ、４１８ａ：ＧＰＳ受信機、４１８ｂ：ジャイロセンサ、４１８ｃ：加速度センサ、４１８ｄ：地磁気センサ、４１８ｅ：タッチセンサ、４１９：バス、４２１：探索指示ボタン、４２２：アイコン図形、４２３：初期画面、
５０１：看板、５１０：実像、５１１：バスの図形、５１２：電車の図形、５１３：タクシーの図形、５１４：人物、５１５：花、５１６：雑草、５１７：犬、５１８：マーク、５３１：ＱＲコード、５３２：アイコン付ＱＲコード、５４１：レシート、５５０：実像、
６０１：画像、６０２：オブジェクト、６０３：タクシー配車アプリ、６１０：画像、６１１：図形、６１２：図形、６１３：図形、６１４：図形、６１５：図形、６１６：図形、６１７：図形、６１８：円、６１９：楕円、６２０：オブジェクト群、６２１：文字列、６２２：文字列、６２３：文字列、６５０：画像、
７１１：探索指示ボタン、７１２：表示アイコン、７１３：初期画面データ、７１４：アプリアイコン、７１５：指示ボタン、８００：ビーコン

Claims (17)

1. 撮影装置を備える表示端末であって、
   前記撮影装置で撮影した画像を解析し、前記画像上の、外界に存在する実オブジェクトを抽出し、当該実オブジェクトに対応する画像領域の情報である領域情報を用いて当該実オブジェクトと合致するアイコン図形を探索し、合致するアイコン図形が存在した場合に当該アイコン図形を当該実オブジェクトに関連するアイコンとして特定する画像解析部と、
   特定された前記アイコンのユーザによる選択指示に応じて、前記アイコンに対応付けられたアプリケーションを起動する起動部と、を備えること
   を特徴とする表示端末。
2. 請求項１記載の表示端末であって、
   特定された前記アイコンを当該表示端末の表示装置に表示するとともに、表示された前記アイコンに対する実行指示を受け付ける指示受付表示部をさらに備え、
   前記起動部は、前記実行指示を受け付けた場合、当該アイコンに対応付けられた前記アプリケーションを起動させること
   を特徴とする表示端末。
3. 請求項１記載の表示端末であって、
   特定された前記アイコンが複数の場合、各前記アイコンを当該表示端末の表示装置に表示するとともに、表示された複数の前記アイコンの中から１つのアイコンの選択指示を受け付ける指示受付表示部をさらに備え、
   前記起動部は、前記選択指示を受け付けた前記アイコンに対応付けられた前記アプリケーションを起動させること
   を特徴とする表示端末。
4. 請求項１記載の表示端末であって、
   特定された前記アイコンに対応付けられたアプリケーションが複数の場合、各前記アプリケーションを識別するデータであるアプリアイコンを当該表示端末の表示装置に表示するとともに、表示された複数の前記アプリアイコンの中から１つのアプリアイコンの選択指示を受け付ける指示受付表示部をさらに備え、
   前記起動部は、前記選択指示を受け付けた前記アプリアイコンで識別される前記アプリケーションを起動させること
   を特徴とする表示端末。
5. 請求項１記載の表示端末であって、
   予め前記アイコン毎に、当該アイコンの形状情報および対応付けられた前記アプリケーションの処理内容を登録するアイコンデータベースをさらに備え、
   前記画像解析部は、前記領域情報と前記アイコンデータベースに登録されている内容を照合し、合致する前記アイコンを、前記関連するアイコンと特定すること
   を特徴とする表示端末。
6. 請求項５記載の表示端末であって、
   前記画像解析部は、予め定めた補助情報を用い、前記アイコンデータベースの照合対象のアイコン数を低減させること
   を特徴とする表示端末。
7. 請求項６記載の表示端末であって、
   前記補助情報は、前記実オブジェクトに最寄りの２次元コードから取得すること
   を特徴とする表示端末。
8. 請求項６記載の表示端末であって、
   前記補助情報は、当該表示端末が備える位置情報取得装置により取得した、当該表示端末の現在位置情報であること
   を特徴とする表示端末。
9. 請求項１記載の表示端末であって、
   前記実オブジェクトは、図形および文字列の少なくとも一方であること
   を特徴とする表示端末。
10. 請求項１記載の表示端末であって、
    外部装置とデータ通信を行う通信インタフェースと、
    前記画像解析部が特定した前記アイコンに対応付けられた前記アプリケーションが当該表示端末の記憶装置に登録されていない場合、前記通信インタフェースを介してダウンロードする取得部と、をさらに備えること
    を特徴とする表示端末。
11. 請求項１記載の表示端末であって、
    当該表示端末のユーザを認証する認証部をさらに備え、
    前記起動部は、前記認証部により正当なユーザであると認証された場合、前記アプリケーションを起動すること
    を特徴とする表示端末。
12. 請求項１記載の表示端末であって、
    前記画像解析部による解析を行う指示を受け付ける指示受付表示部をさらに備え、
    前記画像解析部は、前記指示受付表示部を介して指示を受け付けた場合、前記画像の解析を行うこと
    を特徴とする表示端末。
13. 請求項１記載の表示端末であって、
    外部からの信号を受信する信号受信部をさらに備え、
    前記画像解析部は、前記信号受信部を介して予め定めた種類の信号を受信した場合、前記画像の解析を行うこと
    を特徴とする表示端末。
14. 請求項１から１１いずれか１項記載の表示端末であって、
    当該表示端末は、ヘッドマウントディスプレイであること
    を特徴とする表示端末。
15. 表示端末と、前記表示端末にネットワークを介して接続されるサーバとを備えたアプリケーション制御システムであって、
    撮影装置と、
    記憶装置と、
    前記撮影装置で撮影した画像を解析し、前記画像上の、外界に存在する実オブジェクトを抽出し、当該実オブジェクトに対応する画像領域の情報を用いて当該実オブジェクトと合致するアイコン図形を探索し、合致するアイコン図形が存在した場合に当該アイコン図形を当該実オブジェクトに関連するアイコンとして特定する画像解析部と、
    特定された前記アイコンに対応付けられたアプリケーションが、前記記憶装置に格納されているか判別し、格納されていると判別した場合、前記アイコンのユーザによる選択指示に応じて当該アプリケーションを起動する起動部と、
    前記起動部が、前記アプリケーションが前記記憶装置に格納されていないと判別した場合、当該アプリケーションを前記サーバから取得する取得部と、を備えること
    を特徴とするアプリケーション制御システム。
16. 請求項１５記載のアプリケーション制御システムであって、
    前記表示端末と近距離無線通信でデータを送受信する携帯端末をさらに備え、
    前記表示端末は、ヘッドマウントディスプレイであり、
    前記携帯端末とデータを送受信する通信インタフェースと、
    特定された前記アイコンが複数の場合、各前記アイコンを、前記通信インタフェースを介して前記携帯端末に送信するとともに、当該携帯端末から前記通信インタフェースを介して受信した複数の前記アイコンの中から１つのアイコンの選択指示を受け付ける指示受付表示部と、をさらに備え、
    前記起動部は、前記選択指示を受け付けた前記アイコンに対応付けられた前記アプリケーションを起動させること
    を特徴とするアプリケーション制御システム。
17. 撮影装置を備える表示端末におけるアプリケーション制御方法であって、
    前記撮影装置で撮影することにより画像を取得し、
    取得した前記画像から、外界に存在する実オブジェクトに対応する画像領域を抽出し、
    抽出した前記画像領域の情報に基づき、当該領域内の図形と合致するアイコン図形が予め登録されているか否かを判別し、
    前記アイコン図形が登録されている場合、ユーザによる前記アイコン図形の選択指示に応じて当該アイコン図形に対応付けられたアプリケーションを起動すること
    を特徴とするアプリケーション制御方法。

Images