JP7419003B2 - 情報表示装置、情報表示方法及び情報表示システム - Google Patents

Description

本発明は、情報表示装置、情報表示方法、及び情報表示システムに関する。

近年、現実空間に、付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）と呼ばれる画像重畳技術が開発されている。重畳される付加的な情報は、テキスト、アイコン、又はアニメーション等の様々な種類の表示オブジェクトがユーザの眼前に表示されることで可視化され得る。

ＡＲ技術はエンターテインメント、マーケティング、観光、工業等の分野において幅広く使用されており、ＡＲ技術を用いた様々な商品やサービスが提案されている。例えば、ＡＲ技術を用いたものの一例として、特開２０１４－１２７１４８号公報（特許文献１）には「撮像画像を取得し、該撮像画像に含まれている所定のトリガ情報を認識するトリガ認識部と、前記撮像画像が撮像された時点の状況又は過去のコンテンツの取得状況、及び前記トリガ認識部が認識した前記所定のトリガ情報に対応した、拡張現実情報が含まれるコンテンツを取得するコンテンツ取得部と、を備える、情報処理装置」が記載されている。

特開２０１４－１２７１４８号公報

上記の特許文献１においては、複数の異なるＡＲマーカを順番に検知して、当該ＡＲマーカが検知された順番によって異なるＡＲコンテンツを表示する技術が記載されている。特許文献１に係る発明によれば、複数のＡＲマーカで位置的又は時間的連動性を持たせ、過去に検知されたＡＲコンテンツと異なる、新しいＡＲコンテンツを提供することができる。

しかしながら、特許文献１の発明では、同時に検知された複数の異なるＡＲマーカの組み合わせによって仮想オブジェクトの表示位置や表示形式を決定することが検討されておらず、特定の仮想オブジェクトに対するユーザの注目点に基づいてＡＲコンテンツを更に追加することも検討されていない。

そこで、本発明は、同時に検知された複数の異なるＡＲマーカの種類、数、位置等に基づいて、現実空間に表示する仮想オブジェクトの表示位置及び表示形式を決定し、特定の仮想オブジェクトに対するユーザの注目点に基づいて他の仮想オブジェクトを追加する情報表示装置を提供することを目的とする。

上記の課題を解決するために、代表的な本発明の１つは、情報表示装置であって、複数のＡＲマーカーを含む現実映像をカメラから取得するデータ送受信部と、現実映像におけるＡＲマーカーのタグ情報、種類及び数を判定し、ＡＲマーカーの種類及び数に基づいて第１の仮想オブジェクトのための第１の表示パターンを決定するデータ分析部と、ＡＲマーカーのタグ情報に基づいて、第１の仮想オブジェクトとなる第１の付加情報を仮想オブジェクト情報管理データベースから取得し、第１の付加情報に基づいて第１の仮想オブジェクトを作成するオブジェクト作成部と、決定した第１の表示パターンに従って、作成した第１の仮想オブジェクトを現実映像に重ね合わせた第１の拡張現実映像を作成し、出力する拡張現実管理部とを含む。

本発明によれば、同時に検知された複数の異なるＡＲマーカの種類、数、位置等に基づいて、現実空間に表示する仮想オブジェクトの表示位置及び表示形式を決定し、特定の仮想オブジェクトに対するユーザの注目点に基づいて他の仮想オブジェクトを追加する情報表示装置を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施形態を実施するためのコンピュータシステムのブロック図である。 本発明の実施形態に係るシステム構成を示す図である 本発明の実施形態に係る端末装置の一例を示す図である。 本発明の実施形態に係るＡＲマーカを認識した場合に表示される仮想オブジェクトの一例を示す図である。 本発明の実施形態に係るＡＲマーカを認識した場合に表示される仮想オブジェクトの別の一例を示す図である。 本発明の実施形態に係るＡＲマーカを認識した場合に表示される仮想オブジェクトの別の一例を示す図である。 本発明の実施形態に係るＡＲマーカを認識した場合に表示される仮想オブジェクトの別の一例を示す図である。 本発明の実施形態に係るＡＲマーカ・仮想オブジェクト管理テーブルの一例を示す図である。 本発明の実施形態に係る第１の付加情報管理テーブルの一例を示す図である。 本発明の実施形態に係る非表示情報管理テーブルの一例を示す図である。 本発明の実施形態に係る第２の付加情報管理テーブルの一例を示す図である。 本発明の実施形態に係る情報表示処理のフローを示すフローチャートである。 本発明の実施形態に係る注目点分析処理のフローを示すフローチャートである。 本発明の実施形態に係る仮想オブジェクトの表示パターンを決定する処理のフローを示すフローチャートである。 本発明の実施形態に係るＡＲマーカの４隅の座標の一例を示す図である。 本発明の実施形態に係る仮想オブジェクトのベース座標の一例を示す図である。 本発明の実施形態に係る仮想オブジェクトの表示パターンの一例を示す図である。 本発明の実施形態に係る仮想オブジェクトの表示パターンの別の一例を示す図である。 本発明の実施形態に係る情報表示手段をサーバの保守作業に適用した具体例の１つの態様を示す図である。 本発明の実施形態に係る情報表示手段をサーバの保守作業に適用した具体例のもう１つの態様を示す図である。 本発明の実施形態に係る情報表示手段をサーバの保守作業に適用した具体例のもう１つの態様を示す図である。 本発明の実施形態に係る情報表示手段をサーバの保守作業に適用した場合に、必要なデータをデータベースから取得する一例を示す図である。 本発明の実施形態に係る情報表示手段をサーバの保守作業に適用した場合に、必要なデータをデータベースから取得する別の一例を示す図である。 本発明の実施形態に係る情報表示手段をサーバの保守作業に適用した場合に、必要なデータをデータベースから取得する別の一例を示す図である。 本発明の実施形態に係る仮想オブジェクトを固定する動作の一例を示す図である。

以下、図面を参照して、本発明の実施形態について説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
（ハードウエア構成）

まず、図１を参照して、本開示の実施形態を実施するためのコンピュータシステム３００について説明する。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム３００の主要コンポーネントは、１つ以上のプロセッサ３０２、メモリ３０４、端末インターフェース３１２、ストレージインタフェース３１４、Ｉ／Ｏ（入出力）デバイスインタフェース３１６、及びネットワークインターフェース３１８を含む。これらのコンポーネントは、メモリバス３０６、Ｉ／Ｏバス３０８、バスインターフェースユニット３０９、及びＩ／Ｏバスインターフェースユニット３１０を介して、相互的に接続されてもよい。

コンピュータシステム３００は、プロセッサ３０２と総称される１つ又は複数の汎用プログラマブル中央処理装置（ＣＰＵ）３０２Ａ及び３０２Ｂを含んでもよい。ある実施形態では、コンピュータシステム３００は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム３００は単一のＣＰＵシステムであってもよい。各プロセッサ３０２は、メモリ３０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。

ある実施形態では、メモリ３０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。メモリ３０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ３０４は、情報表示アプリケーション３５０を格納していてもよい。ある実施形態では、情報表示アプリケーション３５０は、後述する機能をプロセッサ３０２上で実行する命令又は記述を含んでもよい。

ある実施形態では、情報表示アプリケーション３５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施形態では、情報表示アプリケーション３５０は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット３０９、プロセッサ３０２、またはコンピュータシステム３００の他のハードウェアと直接通信するように提供されてもよい。

コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、表示システム３２４、及びＩ／Ｏバスインターフェースユニット３１０間の通信を行うバスインターフェースユニット３０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット３１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス３０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット３１０は、Ｉ／Ｏバス３０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット３１２，３１４，３１６、及び３１８と通信してもよい。

表示システム３２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置３２６に提供することができる。また、コンピュータシステム３００は、データを収集し、プロセッサ３０２に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。

例えば、コンピュータシステム３００は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム３２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置３２６に接続されてもよい。

Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット３１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス３２０の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス３２０及びコンピュータシステム３００に対して入力データや指示を入力し、コンピュータシステム３００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス３２０を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。

ストレージインタフェース３１４は、１つ又は複数のディスクドライブや直接アクセスストレージ装置３２２（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施形態では、ストレージ装置３２２は、任意の二次記憶装置として実装されてもよい。メモリ３０４の内容は、ストレージ装置３２２に記憶され、必要に応じてストレージ装置３２２から読み出されてもよい。Ｉ／Ｏデバイスインタフェース３１６は、プリンタ、ファックスマシン等の他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース３１８は、コンピュータシステム３００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク３３０であってもよい。

ある実施形態では、コンピュータシステム３００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施形態では、コンピュータシステム３００は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。

次に、図２を参照して、本発明の実施形態に係る情報表示システムの構成について説明する。

図２は、本発明の実施形態に係る情報表示システム２００の構成を示す図である。図２に示すように、情報表示システム２００は、主にデータ取得装置２１０Ａ，２１０Ｂ，制御装置２２０、及び端末装置２４０からなる。データ取得装置２１０Ａ，２１０Ｂ，制御装置２２０、及び端末装置２４０は、例えばインターネット等の通信ネットワーク（図示せず）を介して互いに接続されてもよい。

データ取得装置２１０Ａ，２１０Ｂは、周囲の環境に関する情報を収集し、収集した情報を制御装置２２０に送信するための機能部である。データ取得装置２１０Ａ，２１０Ｂは、対象のデータが取得しやすい場所に設置されてもよい。例えば、サーバの温度のデータを取得した場合には、データ取得装置２１０Ａ，２１０Ｂのそれぞれは、サーバの内部に設置されてもよい。
なお、図２では、データ取得装置２１０Ａ及び２１０Ｂの２つのデータ取得装置を含む構成を一例として示しているが、本発明はこれに限定されず、データ取得装置は１つであってもよく、３つ以上であってもよい。

図２に示すように、データ取得装置２１０Ａ，２１０Ｂはそれぞれ、センサー部２１２Ａ,２１２Ｂ及びデータ送受信部２１４Ａを含む。センサー部２１２Ａ,２１２Ｂは、自然現象や人工物の機械的・電磁気的・熱的・音響的・化学的性質あるいはそれらで示される空間情報・時間情報を、何らかの科学的原理を応用して、人間や機械が扱い易い別媒体の信号に置き換える装置である。
センサー部２１２Ａ,２１２Ｂは、例えばＣＰＵやメモリ使用率データを収集するデジタルセンサ、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、水圧データ、気圧データ、照度データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよいが、本発明に係るセンサー部はこれに限定されない。

データ送受信部２１４Ａ,２１４Ｂは、センサー部２１２Ａ,２１２Ｂから取得した情報を制御装置２２０に送信するための機能部である。データ送受信部２１４Ａ,２１４Ｂは、センサー部２１２Ａ,２１２Ｂが取得した情報をインターネット等の通信ネットワーク（図示せず）を介して制御装置２２０に送信してもよい。なお、データ送受信部２１４Ａ,２１４Ｂは、データの送信に限定されず、制御装置２２０からの命令を受信し、センサー部２１２Ａ,２１２Ｂを受信した指示に基づいて制御してもよい。

制御装置２２０は、データ取得装置２１０Ａ，２１０Ｂから受信した情報を管理し、端末装置に出力されるＡＲコンテンツ（仮想オブジェクト等）の生成及び提供を行うための装置である。この制御装置２２０は、例えばデータ取得装置及び端末装置から離れた場所に設置され、インターネット等の通信ネットワーク（図示せず）を介してデータ取得装置及び端末装置に接続される遠隔サーバ装置として構成されてもよい。

図２に示すように、制御装置２２０は、データ送受信部２２２，データ分析部２２４、ストレージ部２２６，オブジェクト作成部２２８，拡張現実管理部２３０、及び視線分析部２３２を含む。

データ送受信部２２２は、上述したデータ取得装置及び後述する端末装置２４０との情報通信を行うための機能部である。データ送受信部２２２は、例えば、データの取得頻度を指定する命令をデータ取得装置に送信したり、作成したＡＲコンテンツを端末装置に配信したりすることができる。

データ分析部２２４は、データ取得装置及び端末装置から受信する各種データを分析するための機能部である。データ分析部２２４は、例えば、後述する端末装置から受信する現実空間の映像に写るＡＲマーカを特定したり、データ取得装置から受信するセンサーデータを解析したりしてもよい。
なお、ここでのＡＲマーカとは、ＡＲコンテンツを表示するトリガとして機能する標識となる、決まったパターンの画像を意味する。ＡＲマーカは、例えばＱＲコード（登録商標）や他の所定の画像であってもよい。また、一般的には、各ＡＲマーカは、そのＡＲマーカを一意に識別し、どのような付加情報をＡＲコンテンツとして表示すべきかを定義するタグに紐づけられる。その後、ＡＲマーカが検知されると、当該ＡＲマーカのタグに指定されているＡＲコンテンツとなる付加情報が所定の記憶媒体（例えば、後述するストレージ部２２６）から読み出され、表示される。

ストレージ部２２６は、情報表示システム２００の各機能部機能部が用いる各種データを格納するためのストレージ装置である。ストレージ部２２６は、例えばフラッシュメモリ、ハードディスクドライブ等、任意の記憶媒体であってもよい。ストレージ部２２６は、例えば後述するＡＲマーカ・仮想オブジェクト管理テーブル、第１の付加情報管理テーブル、非表示情報管理テーブル、及び第２の付加情報管理テーブルを格納してもよい。

オブジェクト作成部２２８は、現実空間の映像に重畳する仮想オブジェクトを生成するための機能部である。オブジェクト作成部２２８は、データ分析部によって特定されたＡＲマーカのタグに対応する付加情報をストレージ部２２６から取得し、当該情報に応じた仮想オブジェクトを生成してもよい。例えば、ＡＲマーカのタグに紐づいたＡＲコンテンツが「サーバＡの温度表示」である場合には、オブジェクト作成部２２８は、上述したストレージ部２２６から、サーバＡの温度情報を取得し、当該情報を表示するための仮想オブジェクト（温度値を示す吹き出し、グラフ、アニメーション等）を生成してもよい。
上述したように、仮想オブジェクトを作成する際に、オブジェクト作成部２２８は、仮想オブジェクトの表示位置及び配置形式を指定する表示パターンを、検知されたＡＲマーカの数、種類、及び位置に基づいて決定してもよい。なお、仮想オブジェクトの表示パターンを決定する処理については後述する。

拡張現実管理部２３０は、オブジェクト作成部２２８によって生成される仮想オブジェクトを実空間の映像に重畳させた拡張現実映像を作成し、この拡張現実映像を端末装置に提供する機能部である。拡張現実管理部２３０は、検知されたＡＲマーカの数、種類、及び位置に基づいて決定された仮想オブジェクトの表示パターンに従って拡張現実映像を作成してもよい。

視線分析部２３２は、後述する端末装置２４０の映像表示部２４４に表示される映像において、ユーザの視点の場所（ユーザがどこを見ているか）や頭部に対する眼球の動きを計測し、追跡するための機能部である。視線分析部２３２は、ユーザの視点の場所や眼球の動きを計測することで、ユーザが映像において注目している箇所（以下、注目点）の座標を特定することができる。後述するように、本発明では、現実空間に重畳する仮想オブジェクトの内容、表地位置、及び表示形式は、注目点の座標の情報に基づいて表示されてもよい。
なお、ここでの視線分析部２３２は、例えば眼に特殊なコンタクトレンズを取り付け、その動きを測定する手段、光学的な技術を用いて測定する手段、あるいは眼の周りに電極を配置し、眼球を動かすための筋肉などから発生する電位を測定する手段等、任意の手段を用いてもよい。

端末装置２４０は、仮想オブジェクトを現実空間の映像に重畳した拡張現実映像をユーザに提供するための装置である。この端末装置２４０は、例えばヘッドマウントディスプレイ、スマートフォン、タブレット等のコンピューティングデバイスであってもよく、拡張現実映像を表示することが可能なデバイスであれば特に限定されない。
図２に示すように、端末装置２４０は、データ送受信部２４１、カメラ部２４２及び映像表示部２４４を含んでもよい。

データ送受信部２４１は、上述した制御装置２２２との情報通信を行うための機能部である。データ送受信部２４１は、例えば後述するカメラ部２４２によって撮像された現実空間の映像を制御装置２２２に送信したり、制御装置２２２によって生成された拡張現実映像を受信したりしてもよい。

カメラ部２４２は、現実空間の映像を撮影するための機能部である。このカメラ部２４２は、現実空間の映像を継続的に撮影し、撮影した映像をリアルタイムで動的に制御装置２２２に送信してもよい。

映像表示部２４４は、仮想オブジェクトを現実空間の映像に重畳した拡張現実映像をユーザに表示するためのディスプレイである。

次に、図３を参照して、本発明の実施形態に係る端末装置の一例について説明する。

図３は、本発明の実施形態に係る端末装置２４０の一例を示す図である。

上述したように、本発明の実施形態に係る、仮想オブジェクトを現実空間の映像に重畳した拡張現実映像をユーザに提供する端末装置２４０は、例えば携帯端末２４０Ａ又はヘッドマウントディスプレイ２４０Ｂとして実装されてもよい。

携帯端末２４０は、ユーザが手で持つコンピューティングデバイスである。この携帯端末２４０は、例えばスマートフォンやタブレット等であってもよい。端末装置２４０を携帯端末２４０Ａとして構成することにより、ユーザは小型かつ軽量のデバイスで拡張現実映像を見ることができる。

ヘッドマウントディスプレイ２４０Ｂは、ユーザの頭部に装着するディスプレイ装置である。このヘッドマウントディスプレイ２４０Ｂは、例えば片目のみを覆う単眼型、又は両目を覆う両目型であってもよく、形状やディスプレイ方式は適宜に選択されてもよい。端末装置２４０をヘッドマウントディスプレイ２４０Ｂとして構成することにより、ユーザの手が空くこととなるため、作業をより自由に行うことができる。

上述した端末装置２４０の形態は、使用される目的及び環境に基づいて適宜に選択されてもよい。例えば、本発明の実施形態に係る情報表示手段は、観光地で食事やイベントの案内情報を表示するために使用されている場合には、端末装置２４０を小型かつ軽量な携帯端末２４０Ａとして実装することがユーザの利便性の観点から好ましいことがある。一方、本発明の実施形態に係る情報表示手段は、配管の保守作業を行う際に使用されている場合には、端末装置２４０をヘッドマウントディスプレイ２４０Ｂとして実装することが作業者の作業効率の観点から好ましいことがある。

次に、図４～図７を参照して、本発明の実施形態に係る情報表示手段を用いてＡＲマーカを認識する場合に表示される拡張現実映像の例について説明する。

図４～図７は、本発明の実施形態に係る情報表示手段を用いてＡＲマーカを認識する場合に表示される拡張現実映像の例を示す図である。上述したように、本発明の実施形態に係る情報表示手段は、同時に検知した複数の異なるＡＲマーカの種類、数、位置等に基づいて、現実空間に表示する仮想オブジェクトの表示パターンを決定する。ここでいう表示パターンとは、仮想オブジェクトの形式（例えば、テキスト、グラフ、アニメーション等）や、ベースとなる現実映像において仮想オブジェクトを表示する位置（例えば平面座標）を指定する情報である。
以下、端末装置によって撮影された映像と、当該映像に写っているＡＲマーカに応じて表示される仮想オブジェクトの例について説明する。

図４は、１つのＡＲマーカ４２５を含む入力映像４２０と、このＡＲマーカ４２５に応じて作成される仮想オブジェクト４４５を含む拡張現実映像４４０とを示す図である。図４に示す入力映像４２０が撮影され、ＡＲマーカ４２５が上述したデータ分析部によって認識されると、仮想オブジェクト４４５を含む拡張現実映像４４０がオブジェクト作成部及び拡張現実管理部によって作成され、端末装置の映像表示部に表示される。

上述したように、本発明の実施形態に係る情報表示手段は、同時に検知した複数の異なるＡＲマーカの種類、数、位置等に基づいて、現実空間に表示する仮想オブジェクトの表示パターン（すなわち、表示位置及び表示形式）を決定する。例えば、図４のように１つだけのＡＲマーカが認識される場合には、当該ＡＲマーカに紐づいた情報を詳細に示す仮想オブジェクトを表示することができる。従って、本発明の実施形態に係る情報表示手段では、例えば認識されるＡＲマーカの数が１つのみの場合には、そのＡＲマーカに紐づいた情報を詳細に示す仮想オブジェクト（例えば仮想オブジェクト４４５）を表示してもよい。
これにより、ユーザは、認識されたＡＲマーカに対応するＡＲコンテンツの詳細情報を見ることができる。

図５は、３つのＡＲマーカを含む入力映像５２０と、この３つのＡＲマーカに応じて作成される拡張現実映像５４０とを示す図である。図５に示す入力映像５２０が撮影され、この３つのＡＲマーカが上述したデータ分析部によって認識されると、３つの仮想オブジェクトを含む拡張現実映像５４０がオブジェクト作成部及び拡張現実管理部によって作成され、端末装置の映像表示部に表示される。

図５に示すように、例えば３つのＡＲマーカが認識される場合には、認識したそれぞれのＡＲマーカに紐づいた情報から作成した仮想オブジェクトを表示してもよい。この場合、端末装置の映像表示部の画面の面積や解像度によっては、仮想オブジェクトの情報量は調整されてもよい。例えば、３つのＡＲマーカに紐づいた情報を詳細に示すと画面が混んで見にくくなる場合には、ＡＲマーカに紐づいた情報をより簡潔に示す仮想オブジェクトを作成して表示することができる。

図６は、６つのＡＲマーカを含む入力映像６２０と、この６つのＡＲマーカに応じて作成される拡張現実映像６４０とを示す図である。図６に示す入力映像６２０が撮影され、この６つのＡＲマーカが上述したデータ分析部によって認識されると、６つのＡＲマーカに対応する付加情報をまとめて表示する仮想オブジェクトを含む拡張現実映像６４０がオブジェクト作成部及び拡張現実管理部によって作成され、端末装置の映像表示部に表示される。

多数のＡＲマーカが同時に認識される場合には、それぞれのＡＲマーカに紐づいた情報を個別の仮想オブジェクトとして作成して表示すると、映像表示部のディスプレイが仮想オブジェクトで混んでしまい、画面が見にくくなることがある。従って、本発明の実施形態に係る情報表示手段では、例えば認識されるＡＲマーカの数が所定の数（例えば４つ以上）を超えると、それぞれのＡＲマーカに紐づいた情報を個別の仮想オブジェクトとして表示する代わりに、それぞれのＡＲマーカに紐づいた情報を１つのまとめた仮想オブジェクトとして表示してもよい（拡張現実映像６４０参照）。
これにより、表示されるＡＲコンテンツが見やすくなり、端末装置の映像表示部の画面面積をより効率的に使用することができる。

図７は、ユーザの注目点によって表示される仮想オブジェクトを変更する一例を示す図である。上述したように、本発明の実施形態に係る情報表示手段は、ユーザの注目点に基づいて仮想オブジェクトを作成して表示することができる。例えば、図７に示すように、端末装置の視線分析部（例えば図２に示す視線分析部２３２）は、ユーザの注目点が仮想オブジェクト７１０に向けられていると判定する場合には、この仮想オブジェクト７１０に埋め込まれている（後述する）非表示情報から作成した仮想オブジェクト７２０が表示されてもよい。そして、視線分析部は、ユーザの注目点が仮想オブジェクト７１０から仮想オブジェクト７３０に移ったと判定する場合には、この仮想オブジェクト７３０に埋め込まれている非表示情報から作成した仮想オブジェクト７４０が表示されてもよい。
これにより、ユーザは手等を使うことなく、目の動きだけで興味のあるＡＲコンテンツを表示させることができる。

次に、図８～図１１を参照して、本発明の実施形態に係る情報表示処理において用いられる情報管理テーブルについて説明する。

図８は、本発明の実施形態に係るＡＲマーカ・仮想オブジェクト管理テーブル８００の一例を示す図である。図８に示すＡＲマーカ・仮想オブジェクト管理テーブル８００は、仮想オブジェクトとなる付加情報８１０毎に、当該付加情報に該当するＡＲマーカのタグ８２０、視線注目状態８３０、及び仮想オブジェクト形式８４０を示すテーブルである。撮影された現実映像において特定のＡＲマーカのタグ８２０が検知されると、上述したオブジェクト作成部は、検知したＡＲマーカのタグ８２０に対応する仮想オブジェクトの付加情報８１０及び形式８４０をＡＲマーカ・仮想オブジェクト管理テーブル８００に基づいて特定することができる。
なお、図８に示す仮想オブジェクト形式８４０は、仮想オブジェクトをどの形式で表示すべきかを指定するものであり、「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」のそれぞれは、例えばテキスト、グラフ、画像、動画等、任意の形式形態を指定するラベルである。

図９は、本発明の実施形態に係る第１の付加情報管理テーブル９００の一例を示す図である。図９に示す第１の付加情報管理テーブル９００は、仮想オブジェクト（例えば、ＡＲマーカに基づいて作成される第１の仮想オブジェクト）となる付加情報を格納するテーブルである。撮影された現実映像において特定のＡＲマーカのタグが検知され、当該ＡＲマーカのタグに対応する付加情報が（例えば図８に示すＡＲマーカ・仮想オブジェクト管理テーブル８００に基づいて）特定されると、次に、上述したオブジェクト作成部は、特定した付加情報を第１の付加情報管理テーブル９００から取得する。その後、オブジェクト作成部は、第１の付加情報管理テーブル９００から取得した付加情報に応じた仮想オブジェクトを作成してもよい。
なお、図９に示す第１の付加情報管理テーブル９００では、サーバのＣＰＵ温度、気温、湿度、イベント等の情報が仮想オブジェクトの付加情報として例示されているが、本発明はそれに限定されず、仮想オブジェクトの付加情報は、本発明に係る情報表示手段の使用される目的及び環境に応じて適宜に構成されてもよい。

図１０は、本発明の実施形態に係る非表示情報管理テーブル１０００の一例を示す図である。後述するように、拡張現実映像に重畳される仮想オブジェクトは、複数のエリアに分割されており、それぞれのエリアにおいて、異なる非表示情報が埋め込まれている。この非表示情報は、映像に表示されず、視線分析部によって検知される情報である。視線分析部は、ユーザの注目点が仮想オブジェクトのエリアに向けられていると検知すると、そのエリアに埋め込まれている非表示情報によって指定されている付加情報を指定されているテーブル（例えば、後述する第２付加情報管理テーブル１１００）から取得し、当該付加情報に応じて新たな仮想オブジェクト（例えば、第２の仮想オブジェクト）を、非表示情報によって指定されている表示パターンに従って作成し、拡張現実映像に追加する。
例えば、視線分析部は、ユーザの注目点が「ＣＰＵ温度」のエリアに向けられていると判定すると、当該エリアの条件に従って、プロセッサ毎のＣＰＵ使用率を、例えば、後述する第２の付加情報管理テーブル１１００から取得し、取得した情報を表形式で示す仮想オブジェクトを作成し、拡張現実映像に追加してもよい。

図１１は、本発明の実施形態に係る第２の付加情報管理テーブル１１００の一例を示す図である。図１１は、ユーザの注目点が検知される際に、ユーザの注目点のエリアに埋め込まれている非表示情報によって指定される付加情報を格納するテーブルである。図１１に示す第２の付加情報は、表示中の第１の仮想オブジェクトがユーザの注目点の対象となった場合に、新たな仮想オブジェクト（例えば、第２、第３、第４等の仮想オブジェクト）を作成するための情報である。また、図１１に示すように、この第２の付加情報は、サーバのプロセッサ毎のＣＰＵ使用率やイベントの情報等を含んでもよい。
なお、図１１に示す第２の付加情報管理テーブル１１００では、サーバのＣＰＵ使用率やイベント等の情報が付加情報として例示されているが、本発明はそれに限定されず、付加情報は、本発明に係る情報表示手段の使用される目的及び環境に応じて適宜に構成されてもよい。

次に、図１２を参照して、本発明の実施形態に係る情報表示の処理フローについて説明する。

図１２は、本発明の実施形態に係る情報表示の処理１２００のフローを示すフローチャートである。

まず、ステップＳ１２０１では、制御装置のデータ送受信部（例えば、図２に示す制御装置２２０のデータ送受信部２２２）は、端末装置（例えば、図２に示す端末装置２４０）から、現実映像を受信する。この現実映像は、例えば端末装置のカメラ部（例えば、図２に示す２４２）によって撮影された映像であってもよい。
なお、この映像は、リアルタイムで継続的に撮影された生配信であってもよい。

次に、ステップＳ１２０２では、制御装置のデータ分析部（例えば、図２に示す制御装置２２０のデータ分析部２２４）は、映像におけるＡＲマーカの種類と数を分析する。ここで、データ分析部は、例えば既存の画像処理手段を用いて、受信する映像に埋め込まれているＡＲマーカを検知し、検知したＡＲマーカの種類を判定し、種類毎の数を計算してもよい。

次に、ステップＳ１２０３では、オブジェクト作成部は、検知したＡＲマーカの種類及び数に基づいて、当該ＡＲマーカに該当する仮想オブジェクトの表示情報をストレージ部から取得する。ここで、オブジェクト作成部は、上述したＡＲマーカ・仮想オブジェクト管理テーブル（例えば、図８に示すＡＲマーカ・仮想オブジェクト管理テーブル８００）を用いることで、検知したＡＲマーカに該当する付加情報を特定し、当該付加情報を、第１の付加情報管理テーブル（例えば、図９に示す第１の付加情報管理テーブル９００）から取得してもよい。

次に、ステップＳ１２０４では、オブジェクト作成部は、検知したＡＲマーカの種類及び数に基づいて、仮想オブジェクトの表示パターンを決定する。ここで、オブジェクト作成部は、上述したＡＲマーカ・仮想オブジェクト管理テーブルを用いることで、検知したＡＲマーカに該当する仮想オブジェクト形式を決定してもよい。例えば、図８を参照して一例を説明すると、後述する図１４の処理の結果、付加情報「１」が決定される場合には、オブジェクト作成部は、「Ｃ」の仮想オブジェクト形式を決定する。
なお、ステップＳ１２０３～Ｓ１２０４の詳細については、図１４を参照して後述する。

次に、ステップＳ１２０５では、オブジェクト作成部は、ステップＳ１２０３でストレージ部から取得した仮想オブジェクトの付加情報と、ステップＳ１２０４で決定した表示パターンとに基づいて仮想オブジェクトを作成する。例えば、ストレージ部から取得した付加情報は、「サーバ１ＣＰＵ温度：６０度」と示し、仮想オブジェクトの表示パターンは「テキスト形式」と示す場合には、オブジェクト作成部は、「サーバ１ＣＰＵ温度：６０度」を表形式で示す仮想オブジェクトを作成してもよい。

次に、ステップＳ１２０６では、オブジェクト作成部は、ステップＳ１２０５で作成した仮想オブジェクトと、ステップＳ１２０１で受信した現実映像とを合成し、仮想オブジェクトが現実映像に重畳されている拡張現実映像を生成する。

次に、ステップＳ１２０７では、ステップＳ１２０６で生成される拡張現実映像が端末装置に送信される。拡張現実映像を受信した端末装置は、当該拡張現実映像を映像表示部に表示する。

次に、ステップＳ１２０８では、ユーザの注目点の有無が判定される。ユーザ注目点が仮想オブジェクトに向けられている場合には、本処理はステップＳ１２０８に進む。ユーザ注目点が仮想オブジェクトに向けられていない場合には、本処理は終了する。
これにより、同時に検知された複数の異なるＡＲマーカの種類、数、位置等に基づいて決定した表示パターンに従って、所望の仮想オブジェクトを作成することができる。

次に、図１３を参照して、本発明の実施形態に係る注目点分析の処理フローについて説明する。

図１３は、本発明の実施形態に係る注目点分析の処理１３００のフローを示すフローチャートである。

まず、ステップＳ１３０１では、制御装置の視線分析部（例えば、図２に示す制御装置２２０の視線分析部２３２）は、端末装置（例えば、図２に示す端末装置２４０）から、ユーザの視線の座標を示す情報を受信し、当該情報を分析することで、拡張現実映像における注目点の座標を算出する。ここでの座標は、例えば一般的な平面座標であってもよい。

次に、ステップＳ１３０２では、視線分析部は、ステップＳ１３０１で算出した注目点の座標が、拡張現実映像に重畳されている仮想オブジェクトのエリアに含まれているか否かを判定する。ユーザの注目点の座標が仮想オブジェクトのエリアに含まれている場合には、本処理はステップＳ１３０３に進む。ユーザの注目点の座標が仮想オブジェクトのエリアに含まれていない場合には、本処理は終了する。

次に、ステップＳ１３０３では、視線分析部は、注目点を含むエリアに埋め込まれている非表示情報を取得する。上述したように、この非表示情報は、追加の仮想オブジェクト（例えば、第２、第３、第４等の仮想オブジェクト）となる付加情報や、当該仮想オブジェクトの表示パターンを指定する条件を示すものである。

次に、ステップＳ１３０４では、視線分析部は、取得した非表示情報に基づいて、追加の仮想オブジェクトの表示パターンを決定する。この表示パターンは、取得した非表示情報によって指定されている条件に応じて決定されてもよい。例えば、非表示情報は、付加情報を「グラフ形式」で表示することを指定する場合には、視線分析部は、追加の仮想オブジェクトの表示パターンを「グラフ形式」として決定してもよい。

次に、ステップＳ１３０５では、オブジェクト作成部は、追加の仮想オブジェクトとなる付加情報をストレージ部から取得する。具体的には、オブジェクト作成部は、非表示情報によって指定されている情報を付加情報管理テーブル（例えば、図１１に示す第２の付加情報管理テーブル１１００）から取得してもよい。

次に、ステップＳ１３０６では、オブジェクト作成部は、付加情報管理テーブルから取得した付加情報に応じた追加の仮想オブジェクト（例えば、第２の仮想オブジェクト）を作成する。上述したように、この追加の仮想オブジェクトは、ユーザの注目点が含まれているエリアに関する詳細情報を示すものであってもよい。例えば、ユーザの注目点がサーバのＣＰＵの使用率を示すエリアに含まれる場合には、そのサーバのＣＰＵの使用率の時系列を示すグラフが追加の仮想オブジェクトとして作成されてもよい。

次に、ステップＳ１３０７では、オブジェクト作成部は、追加の仮想オブジェクトと、拡張現実映像と（すなわち、第１の仮想オブジェクトが既に重畳されている拡張現実映像）を合成する。具体的には、オブジェクト作成部は、ステップＳ１３０６で作成した追加の仮想オブジェクトを、ユーザの注目点の座標に一致する場所に重畳してもよい。

次に、図１４を参照して、本発明の実施形態に係る仮想オブジェクトの表示パターンを決定する処理について説明する。

図１４は、本発明の実施形態に係る仮想オブジェクトの表示パターンを決定する処理１４００のフローを示すフローチャートである。図１４に示す処理１４００は、図１２に示す処理１２００におけるステップＳ１２０３～Ｓ１２０４に対応し、仮想オブジェクトの表示パターンを決定する処理の詳細を示すものである。

まず、ステップＳ１４０１では、オブジェクト作成部は、現実映像において特定された全てのＡＲマーカに対して、未分析のフラグを設定する。この未分析のフラグとは、当該ＡＲマーカに対応する付加情報を含む仮想オブジェクトが未作成であることを示すラベルである。例えば、ＡＲマーカ１、ＡＲマーカ２、ＡＲマーカ３、及びＡＲマーカ４が特定された場合には、オブジェクト作成部は、ＡＲマーカ１、ＡＲマーカ２、ＡＲマーカ３、及びＡＲマーカ４のそれぞれに対して未分析のフラグを設定する。
なお、この未分析のフラグは、例えば上述したＡＲマーカ・仮想オブジェクト管理テーブルにおいて格納されてもよい（例示せず）。

次に、ステップＳ１４０２では、オブジェクト作成部は、未分析のフラグが設定されているＡＲマーカの内、１つのＡＲマーカを選択する。ここで選択されるＡＲマーカは、任意のＡＲマーカであってもよい。例えば、未分析のフラグがＡＲマーカ１、ＡＲマーカ２、ＡＲマーカ３、及びＡＲマーカ４に対して設定されている場合、オブジェクト作成部は、ＡＲマーカ１を選択してもよい。

次に、ステップＳ１４０３では、オブジェクト作成部は、上述したＡＲマーカ・仮想オブジェクト管理テーブルを参照して、選択したＡＲマーカに対応する付加情報を取得する。例えば、ＡＲマーカ１が選択された場合には、オブジェクト作成部は、付加情報１、７、及び９を取得する。

次に、ステップＳ１４０４では、オブジェクト作成部は、取得したそれぞれの付加情報に対して、未分析のフラグを設定する。上述したように、この未分析のフラグは、当該付加情報を含む仮想オブジェクトが未作成であることを示すラベルであり、ＡＲマーカ・仮想オブジェクト管理テーブルにおいて格納されてもよい（例示せず）。

次に、ステップＳ１４０５では、オブジェクト作成部は、未分析のフラグが設定されている付加情報の内、１つを選択する。ここで選択される付加情報は、任意のものであってもよい。例えば、未分析のフラグが付加情報１、７、及び９に対して設定されている場合には、オブジェクト作成部は、付加情報１を選択してもよい。

次に、ステップＳ１４０６では、オブジェクト作成部は、ＡＲマーカ・仮想オブジェクト管理テーブルを参照し、選択した付加情報に該当するＡＲマーカと、未分析のＡＲマーカを比較した結果、選択した付加情報に該当するＡＲマーカが未分析のＡＲマーカに含まれているかを判定する（つまり、当該ＡＲマーカが未分析か否かを確認する）。選択した付加情報に該当するＡＲマーカが未分析のＡＲマーカに含まれている場合には、本処理はステップＳ１４０７に進み、そうでない場合には、ステップＳ１４０８に進む。
例えば、選択した付加情報が付加情報１で、未分析のＡＲマーカがＡＲマーカ１、２、３、４の場合には、付加情報１に該当するＡＲマーカ１が未分析のＡＲマーカに含まれているため、本処理はステップＳ１４０８に進む。

次に、ステップＳ１４０７では、未分析のＡＲマーカに含まれていないと判定された付加情報は、条件を満たさないと判定され、その旨を示すラベルが（例えば、ＡＲマーカ・仮想オブジェクト管理テーブルにおいて）設定される。

次に、ステップＳ１４０８では、未分析のＡＲマーカに含まれていると判定された付加情報は、条件を満たすと判定され、その旨を示すラベルが、（例えば、ＡＲマーカ・仮想オブジェクト管理テーブルにおいて）設定される。

次に、ステップＳ１４０９では、オブジェクト作成部は、未分析のフラグが設定されている付加情報が残っているか否かを判定する。未分析の付加情報が残っている場合には、本処理はステップＳ１４０５に戻り、ステップＳ１４０５～ステップＳ１４０８までの処理が未分析の付加情報に対して行われる。未分析の付加情報が残っていない場合には、本処理はステップＳ１４１０に進む。この処理は、未分析のフラグが設定されている付加情報が全て処理されるまで繰り返されてもよい。
一例として、ステップＳ１４０３で付加情報１、７、及び９が取得され、付加情報１しかステップＳ１４０６の判定を受けていない場合には、付加情報７及び付加情報９はまだ未分析データとして残っているため、本処理はステップＳ１４０５に戻り、ステップＳ１４０５～ステップＳ１４０８までの処理が付加情報７、そして付加情報９のそれぞれに対して行われる。その結果、付加情報１及び付加情報７は、条件を満たすものであると分類され、付加情報９は、条件を満たさないものであると分類される。

次に、ステップＳ１４１０では、オブジェクト作成部は、条件を満たすと分類された情報が複数あるか否かを判定する。条件を満たすと分類された情報が複数ある場合には、本処理はステップＳ１４１２に進み、そうでない場合には、本処理はステップＳ１４１１に進む。
例えば、付加情報１及び付加情報７は条件を満たすものであると分類された場合には、ステップＳ１４１０の判定の結果が「Ｙｅｓ」となるため、本処理はステップＳ１４１２に進む。

次に、ステップＳ１４１１では、オブジェクト作成部は、条件を満たすと分類された情報が複数ではないため、条件を満たすと分類された１つの付加情報が「利用する情報」として設定する。

次に、ステップＳ１４１２では、オブジェクト作成部は、ＡＲマーカ・仮想オブジェクト管理テーブルを参照し、最も多くのＡＲマーカに該当する付加情報を「利用する情報」として設定する。例えば、図８のＡＲマーカ・仮想オブジェクト管理テーブルに示されるように、付加情報１は、ＡＲマーカ１の１つのＡＲマーカに該当するが、付加情報７は、ＡＲマーカ１、ＡＲマーカ２、及びＡＲマーカ３の３つのＡＲマーカに該当するため、より多くのＡＲマーカに該当する付加情報７が「利用する情報」として設定される。

次に、ステップＳ１４１３では、オブジェクト作成部は、「利用する情報」として設定された付加情報に該当するＡＲマーカのフラグを「未分析」から「分析済み」に変更する。例えば、付加情報７が「利用する情報」として設定された場合には、付加情報７に該当するＡＲマーカ１、ＡＲマーカ２、及びＡＲマーカ３の３つのＡＲマーカのフラグが「未分析」から「分析済み」に変更される。

次に、ステップＳ１４１４では、データ分析部は、「利用する情報」として設定された付加情報に該当するＡＲマーカについて、現実映像を分析し、それぞれのＡＲマーカの４隅の座標を特定する。例えば、付加情報７が「利用する情報」として設定された場合には、付加情報７に該当するＡＲマーカ１、ＡＲマーカ２、及びＡＲマーカ３の３つのＡＲマーカの座標が特定される。

次に、ステップＳ１４１５では、オブジェクト作成部は、特定したＡＲマーカの座標に基づいて、仮想オブジェクトを表示する位置を定義するベース座標を計算する。このベース座標は、仮想オブジェクトを表示する領域の４隅の座標を指定する座標である。仮想オブジェクトのベース座標を計算するためには、オブジェクト作成部は、「利用する情報」として設定された付加情報に該当する全てのＡＲマーカの座標の内、ベース座標となる座標を以下の通りに特定してもよい。
ＯＢＪＸ１：全てのＡＲマーカーのＸ座標の最小値, ＯＢＪＹ１:全てのＡＲマーカーのＹ座標の最大値
ＯＢＪＸ２: 全てのＡＲマーカーのＸ座標の最大値, ＯＢＪＹ２:全てのＡＲマーカーのＹ座標の最大値
ＯＢＪＸ３:全てのＡＲマーカーのＸ座標の最小値, ＯＢＪＹ３:全てのＡＲマーカーのＹ座標の最小値
ＯＢＪＸ４:全てのＡＲマーカーのＸ座標の最大値, ＯＢＪＹ４:全てのＡＲマーカーのＹ座標の最小値
なお、本ステップの処理の一例については後述する。

次に、ステップＳ１４１６では、オブジェクト作成部は、未分析のＡＲマーカが残っているか否かを判定する。未分析のＡＲマーカが残っている場合には、本処理はステップＳ１４０２へ戻り、ステップＳ１４０２～Ｓ１４１５の処理を繰り返す。未分析のＡＲマーカが残っていない場合には、本処理は終了する。その後、図１２に示す処理１２００のステップＳ１２０５で上述したように、仮想オブジェクトが作成され、本処理のステップＳ１４１５で特定されたベース座標に重畳される。
一例として、ステップＳ１４０１でＡＲマーカ１、ＡＲマーカ２、ＡＲマーカ３、及びＡＲマーカ４が特定された場合には、上述した処理の結果ＡＲマーカ１～３が分析され、ＡＲマーカ１～３の付加情報を含む仮想オブジェクトが作成されるが、ＡＲマーカ４はまだ未分析のフラグが設定されている。そのため、ＡＲマーカ１～３の処理が終了した後、ステップＳ１４１６の判定の結果が「ＮＯ」となり、本処理はステップＳ１４０２に戻る。続いて、ステップＳ１４０２～Ｓ１４１５がＡＲマーカ４に対して行われる。これにより、現実映像において特定された全てのＡＲマーカに該当する付加情報を含む仮想オブジェクトが作成され、拡張現実映像に重畳されることとなる。

次に、図１５を参照して、ＡＲマーカの４隅の座標を特定する一例について説明する。

図１５は、本発明の実施形態に係るＡＲマーカの４隅の座標を特定する一例を示す図である。上述したように、仮想オブジェクトを表示するベース座標は、現実映像において検知されるそれぞれのＡＲマーカの４隅の座標に基づいて特定される。ＡＲマーカの４隅の座標を特定するためには、上述したデータ分析部は、例えばキャニー法、その他の１次の手法、閾値処理と連続処理、２次の手法、微分エッジ検出等のエッジ検出手段や他の既存の画像処理手段を用いることで、検知したＡＲマーカの４隅の座標を特定してもよい。
例えば、図１５に示すように、データ分析部は、ＡＲマーカ１５１０、ＡＲマーカ１５２０、及びＡＲマーカ１５３０のそれぞれの４隅の平面座標を特定する。

次に、図１６を参照して、本発明の実施形態に係る仮想オブジェクトのベース座標の一例について説明する。

図１６は、本発明の実施形態に係る仮想オブジェクトのベース座標の一例を示す図である。このベース座標は、仮想オブジェクトを表示する領域の４隅の座標を指定する座標であり、現実映像において検知されるＡＲマーカの４隅の座標に基づいて、図１４のステップＳ１４１５で示す計算法によって計算される。
例えば、図１６に示す仮想オブジェクトのベース座標は、（ＯＢＪＸ１,ＯＢＪＹ１）、（ＯＢＪＸ２,ＯＢＪＹ２）、（ＯＢＪＸ３,ＯＢＪＹ３）、（ＯＢＪＸ４,ＯＢＪＹ４）である。

本発明の実施形態に係る仮想オブジェクトの形式及び位置を示す表示パターンは、同時に検知した複数の異なるＡＲマーカの種類、数、位置等に基づいて決定される。また、上述したように、仮想オブジェクトを表示する領域の４隅の座標は、検知した全てのＡＲマーカの４隅の座標に基づいて計算される。以下では、図１７～図１８を参照して、本発明の実施形態に係る仮想オブジェクトの表示パターンの例について説明する。

図１７は、ＡＲマーカが横に並んでいる場合の、仮想オブジェクトの表示パターンの一例を示す図である。図１７に示すように、ＡＲマーカ１７１０、ＡＲマーカ１７２０、及びＡＲマーカ１７３０が横に並んでいる場合には、オブジェクト作成部がそれぞれのＡＲマーカ１７１０、１７２０、１７３０の４隅の座標を特定し、これらの座標から仮想オブジェクト１７５０のベース座標を計算すると、作成される仮想オブジェクト１７５０のベース座標がＡＲマーカ１７１０の左下の隅、ＡＲマーカ１７１０の左上の隅、ＡＲマーカ１７３０の右下の隅、及びＡＲマーカ１７３０の右上の隅に該当する座標となる。その結果、ＡＲマーカ１７１０、１７２０、１７３０に応じて作成される仮想オブジェクト１７５０は、ＡＲマーカ１７１０、１７２０、１７３０が占領していた領域に表示されることとなる。

図１８は、ＡＲマーカが無秩序に並んでいる場合の、仮想オブジェクトの表示パターンの一例を示す図である。図１７に示すように、ＡＲマーカ１８１０、ＡＲマーカ１８２０、及びＡＲマーカ１８３０が無秩序に並んでいる場合には、オブジェクト作成部がそれぞれのＡＲマーカ１８１０、１８２０、１８３０の４隅の座標を特定し、これらの座標から仮想オブジェクト１８５０のベース座標を計算すると、作成される仮想オブジェクト１８５０のベース座標がＡＲマーカ１８１０の左の隅、ＡＲマーカ１８２０の下の隅、ＡＲマーカ１８３０の上の隅、及びＡＲマーカ１８３０の右に住みに該当する座標となる。その結果、ＡＲマーカ１８１０、１８２０、１８３０に応じて作成される仮想オブジェクト１８５０は、ＡＲマーカ１８１０、１８２０、及び１８３０を囲む四角い領域に表示されることとなる。

次に、図１９～図２１を参照して、本発明の実施形態に係る情報表示手段をサーバの保守作業に適用した具体例について説明する。

図１９は、サーバラックに配置されているサーバに付いている１つのＡＲマーカ１９２５を含む現実映像１９２０と、このＡＲマーカ１９２５に応じて作成される仮想オブジェクト１９４５を含む拡張現実映像１９４０とを示す図である。図１９に示す現実映像１９２０が撮影され、ＡＲマーカ１９２５が上述したデータ分析部によって認識されると、仮想オブジェクト１９４５を含む拡張現実映像１９４０がオブジェクト作成部及び拡張現実管理部によって作成され、端末装置の映像表示部に表示される。

上述したように、データ分析部は、ＡＲマーカ１９２５を認識すると、ＡＲマーカの数、種類、及び位置に基づいて、仮想オブジェクトの表示パターンを決定する。次、オブジェクト作成部は、ＡＲマーカ１９２５に該当する情報をストレージ部から取得して、この情報を示す仮想オブジェクト１９４５を作成する。その後、拡張現実管理部は、仮想オブジェクト１９４５を、データ分析部が決定した表示パターンに従って、現実映像１９２０に重畳した拡張現実映像１９４０を端末装置の映像表示部に表示する。

例えば、図１９に示すように、ＡＲマーカに応じて作成される仮想オブジェクト１９４５は、ＣＰＵ温度、気温、及び湿度に関する情報を示してもよい。このように、サーバの保守作業を行う作業者は、サーバの診断を手動で行うことなく、サーバの状態を示す情報を簡単に確認することができる。

図２０は、サーバラックに配置されている６台のサーバに付いている６つのＡＲマーカを含む現実映像２０２０と、この６つのＡＲマーカに応じて作成される拡張現実映像２０４０とを示す図である。図２０に示す現実映像２０２０が撮影され、この６つのＡＲマーカが上述したデータ分析部によって認識されると、仮想オブジェクト２０４５を含む拡張現実映像２０４０がオブジェクト作成部及び拡張現実管理部によって作成され、端末装置の映像表示部に表示される。

上述したように、認識されるＡＲマーカの数が所定の数（例えば４つ以上）を超える場合には、それぞれのＡＲマーカに紐づいた情報を１つのまとめた仮想オブジェクトとして表示することが好ましいことがある。従って、図２０に示すように、認識されるＡＲマーカの数が所定の数を超える場合には、オブジェクト作成部は、認識したＡＲマーカに該当し、ストレージ部に格納されている情報に基づいて、サーバラック全体の状態（正常か異常か）を示す仮想オブジェクト２０４５を作成してもよい。
このように、サーバの保守作業を行う作業者は、サーバ一つ一つを診断することなく、サーバラック全体の状態を簡単に確認することができる。

図２１は、本発明の実施形態に係る注目点分析をサーバラックの保守作業に適用した具体例を示す図である。

この具体例では、ＡＲマーカに対応する仮想オブジェクトを含む拡張現実映像が既に作成され、表示されていることを前提とする。例えば、図２１に示すように、サーバラックに配置されている複数のサーバ毎に、そのサーバの状態（正常又は異常）を示す仮想オブジェクト２１２０Ａ，２１２０Ｂ，２１２０Ｃが表示されているとする。視線分析部（例えば図２に示す視線分析部２３２）は、ユーザの注目点が１台のサーバに対応する仮想オブジェクト２１２０Ａに向けられていると判定すると、このサーバ（すなわち、仮想オブジェクト２１２０Ａ）のＣＰＵに関する付加情報であるＣＰＵ温度、気温、湿度等を示す仮想オブジェクト２１４０を拡張現実映像２１１０に追加してもよい。

次に、視線分析部は、ユーザの注目点がサーバのＣＰＵを示す仮想オブジェクト２１４０に移ったと判定すると、このＣＰＵのそれぞれのコアの使用率を示す情報を仮想オブジェクト２１４２として表示してもよい。また、次に、視線分析部は、ユーザの注目点がコアの使用率を示す仮想オブジェクト２１４２に移ったと判定すると、このコアの使用率の推移を示すグラフを仮想オブジェクト２１４４として表示してもよい。更に、視線分析部は、ユーザの注目点がコアの使用率の推移を示すを仮想オブジェクト２１４４に移ったと判定すると、この推移に対応する作業日誌を示す仮想オブジェクト２１４６を表示してもよい。

このように、ユーザの視線によって計算される注目点を用いることで、ユーザは拡張現実映像に表示される仮想オブジェクトを目線だけで操作できるため、両手が自由に使え、サーバラック保守等の作業をより容易に行うことができる。

次に、図２２～図２４を参照して、本発明の実施形態に係る情報表示手段をサーバの保守作業に適用した場合に、必要なデータをデータベースから取得する例について説明する。

図２２は、サーバラックに配置されているサーバに付いているＡＲマーカ２２２５を含む現実映像２２２０と、このＡＲマーカ２２２５にユーザの注目点２２３５が向けられた場合に作成される仮想オブジェクト２２５５を含む拡張現実映像２２５０とを示す図である。

上述したように、ＡＲマーカ及び拡張現実映像に重畳される仮想オブジェクトは、複数のエリアに分割されており、それぞれのエリアにおいて、異なる非表示情報が埋め込まれている。この非表示情報は、仮想オブジェクトとなる付加情報、当該付加情報の保存先、及び仮想オブジェクトの表示パターンを指定する。
視線分析部は、ユーザの注目点２２３５がＡＲマーカ２２２５の特定のエリアに向けられていると判定した場合、そのエリアに埋め込まれている非表示情報に指定されている情報を指定されているテーブル（例えば、後述する付加情報管理テーブル１１００）から取得し、当該情報（ＣＰＵ温度,気温,湿度等)に応じた仮想オブジェクト２２５５を、非表示情報によって指定されている表示パターン（例えば、表形式）に従って作成し、拡張現実映像２２５０に追加する。

図２３は、仮想オブジェクト２３２０に含まれるエリアの一例を示す図である。図２３に示すように、仮想オブジェクト２３２０は、三つのエリア２３２２、２３２４、２３２６に分割されている。それぞれのエリアには、異なる仮想オブジェクトを作成するために用いる付加情報と、その付加情報の形式とを指定する非表示情報が埋め込まれている。
例えば、視線分析部は、ユーザの注目点がＣＰＵ温度の情報が表示されているエリア２３２２に向けられていると判定した場合、エリア２３２２に埋め込まれている非表示情報に従って、上述した付加情報管理テーブル１１００から、過去１時間までの、ＣＰＵプロセス名毎のＣＰＵ使用率を取得し、その平均値を表の形式で表示する仮想オブジェクト２３３０を作成してもよい。

また、仮想オブジェクト２３２０と同様に、新たに作成される仮想オブジェクト２３３０は、複数のエリア２３３２、２３３４、２３３６に分割されており、それぞれのエリアに非表示情報が埋め込まれている。そのため、図２４に示すように、視線分析部は、ユーザの注目点が仮想オブジェクト２３３０の特定のエリアに向けられていると判定した場合には、そのエリアの非表示情報に従って、新たな仮想オブジェクト２３４０を作成してもよい。
例えば、図２４に示すように、視線分析部は、ユーザの注目点が特定のプロセスｘｘ１の情報が表示されているエリア２３３２に向けられていると判定した場合、エリア２３３２に埋め込まれている非表示情報に従って、上述した付加情報管理テーブル１１００から、プロセスｘｘ１のＣＰＵ使用率の時間変化の様子をグラフ形式で表示する仮想オブジェクト２３４０を追加で作成してもよい。

次に、図２５を参照して、仮想オブジェクトを固定する動作の一例について説明する。

図２５は、本発明の実施形態に係る仮想オブジェクトを固定する動作の一例を示す図である。本発明の実施形態に係る情報表示手段を利用する際には、複数の異なるＡＲマーカの仮想オブジェクトを同時に表示することが望ましい場合がある。例えば、本発明に係る情報表示手段をサーバの保守作業に適用した場合には、ユーザは複数のサーバの情報（ＣＰＵ温度、近、温度等）を比較したいケースが考えられる。そのため、本発明に係る態様の１つでは、ユーザは、表示中の仮想オブジェクトを特定の動作で固定した状態で、別のＡＲマーカに関する仮想オブジェクトを表示させることができる。
ここで、仮想オブジェクトを固定するための動作は、例えばウインク（片目の瞬き）であってもよい。

一例として、例えば図２５に示すように、１つのサーバの情報を示す仮想オブジェクト２５２０が表示されている状態で、ユーザがウインク等の特定の動作を行うことにより、仮想オブジェクトが固定される。その後、ユーザは、注目点を別のＡＲマーカに移すことで、注目の対象となっているサーバに関する新たな仮想オブジェクト２５３０が表示される。このように、ユーザは複数のサーバの状態に関する状態を同時に見ることができるため、サーバ保守の作業効率を向上させることができる。

以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

２１０Ａ、２１０Ｂ データ取得装置
２１２Ａ、２１２Ｂ センサー部
２１４Ａ、２１４Ｂ データ送受信部
２２０ 制御装置
２２２ データ送受信部
２２４ データ分析部
２２６ ストレージ部
２２８ オブジェクト作成部
２３０ 拡張現実管理部
２３２ 視線分析部
２４０ 端末装置
２４１ データ送受信部
２４２ カメラ部
２４４ 映像表示部

Claims (6)

1. 情報表示装置であって、
   複数のＡＲマーカーを含む現実映像をカメラから取得するデータ送受信部と、
   前記現実映像におけるＡＲマーカーのタグ情報、種類及び数を判定し、前記ＡＲマーカーの種類及び数に基づいて第１の仮想オブジェクトのための第１の表示パターンを決定するデータ分析部と、
   前記ＡＲマーカーのタグ情報に基づいて、前記第１の仮想オブジェクトとなる第１の付加情報を仮想オブジェクト情報管理データベースから取得し、前記第１の付加情報に基づいて前記第１の仮想オブジェクトを作成するオブジェクト作成部と、
   決定した前記第１の表示パターンに従って、作成した前記第１の仮想オブジェクトを前記現実映像に重ね合わせた第１の拡張現実映像を作成し、出力する拡張現実管理部と、
   前記第１の拡張現実映像における利用者の視線位置を判定する視線分析部とを含み、
   前記視線分析部は、
   前記第１の仮想オブジェクトに対して、前記利用者による目の瞬きを検知した場合、
   前記第１の仮想オブジェクトの表示位置及び表示形式を固定する、
   ことを特徴とする情報表示装置。
2. 前記情報表示装置は、
   前記視線位置が前記第１の仮想オブジェクトに向けられていると判定する場合には、
   前記データ分析部は、
   前記第１の仮想オブジェクトに基づいて、第２の仮想オブジェクトのための第２の表示パターンを決定し、
   前記オブジェクト作成部は、
   前記第１の仮想オブジェクトに基づいて、前記第２の仮想オブジェクトとなる第２の付加情報を前記仮想オブジェクト情報管理データベースから取得し、前記第２の付加情報に基づいて前記第２の仮想オブジェクトを作成し、
   前記拡張現実管理部は、
   前記第２の表示パターンに従って、作成した前記第２の仮想オブジェクトを前記第１の拡張現実映像に重ね合わせた第２の拡張現実映像を作成し、出力する、
   ことを特徴とする請求項１に記載の情報表示装置。
3. 前記第１の仮想オブジェクトは、
   複数のエリアに分割されており、
   それぞれのエリアにおいて、前記第２の仮想オブジェクトとなる第２の付加情報と、前記第２の仮想オブジェクトの表示パターンとを指定する非表示情報が埋め込まれており、
   前記データ分析部は、
   前記利用者の視線位置が向けられているエリアに埋め込まれている非表示情報を用いて、前記第２の仮想オブジェクトのための前記第２の表示パターンを決定する、
   ことを特徴とする請求項２に記載の情報表示装置。
4. 前記第１の表示パターンは、前記第１の仮想オブジェクトの表示座標及び表示形式を指定するものである、
   ことを特徴とする請求項１に記載の情報表示装置。
5. 情報表示装置によって実行される情報表示方法であって、
   前記情報表示方法は、
   複数のＡＲマーカーを含む現実映像をカメラから取得する工程と、
   前記現実映像におけるＡＲマーカーのタグ情報、種類及び数を判定し、前記ＡＲマーカーの種類及び数に基づいて第１の仮想オブジェクトのための第１の表示パターンを決定する工程と、
   前記ＡＲマーカーのタグ情報に基づいて、前記第１の仮想オブジェクトとなる第１の付加情報を仮想オブジェクト情報管理データベースから取得し、前記第１の付加情報に基づいて前記第１の仮想オブジェクトを作成する工程と、
   決定した前記第１の表示パターンに従って、作成した前記第１の仮想オブジェクトを前記現実映像に重ね合わせた第１の拡張現実映像を作成し、出力する工程と、
   前記第１の拡張現実映像における利用者の視線位置を判定する工程と、
   前記第１の仮想オブジェクトに対して、前記利用者による目の瞬きを検知した場合、前記第１の仮想オブジェクトの表示位置及び表示形式を固定する工程と、
   を含む情報表示方法。
6. データ取得端末と、制御装置と、端末装置とが通信ネットワークを介して接続されている情報表示システムであって、
   前記データ取得端末は、
   周囲に環境に関するセンサーデータを取得するセンサー部と、
   前記センサーデータを前記制御装置に送信する第１のデータ送受信部とを含み、
   前記端末装置は、
   複数のＡＲマーカーを含む現実映像を取得するカメラ部と、
   前記複数のＡＲマーカーを含む前記現実映像を前記制御装置に送信する第２のデータ送受信部と、
   前記制御装置から受信する拡張現実映像を表示する映像表示部とを含み、
   前記制御装置は、
   前記複数のＡＲマーカーを含む前記現実映像を前記端末装置から受信し、前記センサーデータを前記データ取得端末から受信する第３のデータ送受信部と、
   前記データ取得端末から受信する前記センサーデータを、仮想オブジェクトを生成するための付加情報として格納する仮想オブジェクト情報管理データベースと、
   前記複数のＡＲマーカーを含む前記現実映像におけるＡＲマーカーのタグ情報、種類及び数を判定し、前記ＡＲマーカーの種類及び数に基づいて第１の仮想オブジェクトのための第１の表示パターンを決定するデータ分析部と、
   前記ＡＲマーカーのタグ情報に基づいて、前記第１の仮想オブジェクトとなる第１の付加情報を前記仮想オブジェクト情報管理データベースから取得し、前記第１の付加情報に基づいて前記第１の仮想オブジェクトを作成するオブジェクト作成部と、
   決定した前記第１の表示パターンに従って、作成した前記第１の仮想オブジェクトを前記現実映像に重ね合わせた第１の拡張現実映像を作成し、前記端末装置に出力する拡張現実管理部と、
   前記第１の拡張現実映像における利用者の視線位置を判定する視線分析部とを含み、
   前記視線分析部は、
   前記第１の仮想オブジェクトに対して、前記利用者による目の瞬きを検知した場合、
   前記第１の仮想オブジェクトの表示位置及び表示形式を固定する、
   を特徴とする情報表示システム。

Images