JP7296007B2 - ヘッドマウントディスプレイおよび画像表示システム - Google Patents

Description

本発明は、ユーザの頭部に装着され拡張現実空間の画像を表示するヘッドマウントディスプレイおよび画像表示システムに関する。

ユーザの頭部に装着して用いるヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）によれば、拡張現実画像（Augmented Reality、以下ＡＲ画像）をディスプレイに表示しつつ、ディスプレイを透過して眼前の現実空間の物体を視認することができる。このＨＭＤには、前方の物体を撮影するカメラ、物体までの距離を測るセンサ、ＨＭＤの位置を測定するセンサなどの複数のセンサ群が搭載されており、これらのカメラやセンサ群で取得したデータは、ＡＲ画像を作成するために用いられる。

ＨＭＤの節電対策として、例えば特許文献１には、特定物体が存在しないときはカメラの測定頻度を下げ、消費電力を節約することが記載されている。

特開２０１８－６７３００号公報

ＨＭＤによるＡＲ画像表示は、現実の物体の位置に合わせて、現実にはない仮想の物体の画像を表示するもので、例えば、前方のテーブルの上に仮想の花瓶が置かれているようにディスプレイ上に重畳して表示する。この場合、仮想の花瓶がＡＲ画像であり、これを前方のテーブルの上に重畳表示するためには、ＨＭＤに搭載したカメラやセンサ群により、前方画像からテーブルを認識し、テーブルの大きさ、形状、位置などを精度良く検出し、検出データを用いて表示すべき花瓶の形状や位置を演算する必要がある。

このような演算を行うには、カメラやセンサ群が正常に動作して正しい検出データを取得できていることが前提となる。もしも、カメラやセンサ群の中で１つでも異常状態のものが存在すると、正常なＡＲ画像の生成が困難になり、画像表示を停止せざるを得なくなる。

しかしながら、ＨＭＤを設備の保守点検作業などに使用し、ＡＲ画像により作業手順や調整値などを表示するような場合、カメラ等の異常によりＡＲ画像の表示が急遽停止されると保守点検作業に大きな支障を及ぼすことになり、これを回避する方策が求められる。

前記特許文献１を始め従来技術では、ＨＭＤの節電対策として様々な提案がされているが、ＨＭＤの本来の機能であるＡＲ画像の表示を継続させる方策については、何ら考慮されていない。

上記課題を鑑み、本発明の目的は、ＨＭＤに搭載するカメラやセンサ等に異常が発生しても、本来の機能であるＡＲ画像の表示を継続させることのできるＨＭＤを提供することにある。

本発明は、上記課題を解決するため、以下の方法を採用する。ユーザが頭部に装着し画像を表示するヘッドマウントディスプレイにおいて、外景を撮影するカメラと、前記カメラの動作異常を検出するカメラ異常検出部と、外景内の物体の位置、距離、大きさを検出するセンサ群と、前記センサ群の動作異常を検出するセンサ異常検出部と、電力を供給するバッテリーと、画像を生成する画像生成部と、生成された画像を表示するディスプレイと、前記画像生成部の処理モードを切り替えるモード切替部と、を備える。

前記画像生成部は、前記カメラが撮影した画像データと前記センサ群が検出した検出データを使用して高精度の拡張現実の画像（以下、ＡＲ高度画像）を生成するＡＲ高度処理モードと、前記ＡＲ高度画像よりも簡易な画像情報（以下、ＡＲ簡易画像）を生成するＡＲ簡易処理モードと、を有し、前記モード切替部は、前記カメラ異常検出部または前記センサ異常検出部の検出結果に応じて、前記ＡＲ高度処理モードと前記ＡＲ簡易処理モードとを切り替えることを特徴とする。

例えば、前記モード切替部は、前記カメラ異常検出部または前記センサ異常検出部の検出結果に基づき、前記カメラまたは前記センサ群の動作に異常があると判定した場合、前記ＡＲ簡易処理モードに切り替える。

本発明によれば、ＨＭＤに搭載するカメラやセンサ等に異常が発生しても、本来の機能であるＡＲ画像の表示を継続し、ユーザへの支障を最小限に留めることができる。

実施例１に係るＨＭＤの構成を示す図。 ユーザがＨＭＤを装着した状態を示す外観図。 モード切替動作を示すフローチャート。 ユーザ認証動作を示すフローチャート。 点検対象物の例としてプラントシステムの画像を示す図。 ＡＲ高度画像の例を示す図。 点検対象物にＡＲ高度画像を重畳して表示した状態を示す図。 ＡＲ簡易画像の例を示す図。 点検対象物にＡＲ簡易画像を重畳して表示した状態を示す図。 実施例２に係る画像表示システムの構成を示す図。 ＨＭＤと携帯情報端末との間で送受信するデータの一例を示す図 ユーザがＨＭＤを装着し携帯情報端末と接続した状態を示す外観図。 モード切替動作を示すフローチャート（ＨＭＤ側）。 モード切替動作を示すフローチャート（携帯情報端末側）。 ユーザ認証動作を示すフローチャート（携帯情報端末側）。 ユーザ認証動作を示すフローチャート（ＨＭＤ側）。

以下、本発明のヘッドマウントディスプレイ（ＨＭＤ）の実施形態を図面を用いて説明する。以下の説明で用いるＡＲ画像とは、拡張現実（Augmented Reality）画像のことである。

実施例１では、ＨＭＤ１００は外部サーバ２００と接続してＡＲ画像の表示を行う構成となっている。具体的にはプラントシステムの保守点検作業への適用を例に取り上げる。点検者（ユーザ）は、プラントシステムの各種点検個所を実際に確認し、その点検結果に応じて保守作業（例えば、バルブの開閉の調整など）を行う。ユーザがある設備を点検する際、ユーザが装着したＨＭＤ１００に点検作業を補助するためのＡＲ画像を表示する。表示するＡＲ画像は、ＨＭＤ１００内部で生成するだけでなく、プラントシステムの管理会社の外部サーバ２００から情報を入手して表示する場合も想定する。ＨＭＤ１００に点検すべき具体的な手順や調整数値などを重畳して表示することで、ユーザは正確で効率的な保守点検作業を行うことができる。

図１は、実施例１に係るＨＭＤ１００の構成を示す図であり、ＨＭＤ１００は外部サーバ２００と接続されている。

ＨＭＤ１００の構成は、ＣＰＵ等で構成されＨＭＤ１００の動作を制御する制御部１１０、ＡＲ画像データなどを表示するディスプレイ１１１、ディスプレイ１１１に画像を投影する画像投影部１１２、前方の外景等を撮影するカメラ１１３、カメラ１１３の動作異常を検出するカメラ異常検出部１１４、カメラ１１３で撮影される物体の位置、距離、大きさ、及びＨＭＤ１００の位置、動き、角速度を検出する距離センサ、位置（ＧＰＳ）センサ、加速度センサ、ジャイロセンサなどの各種のセンサ群１１５、センサ群１１５の動作異常を検出するセンサ異常検出部１１６、ＨＭＤ１００を動作させるために電力を供給するバッテリー１１７、バッテリー１１７の残容量を検出するバッテリー容量検出部１１８、を有する。

またＨＭＤ１００は、ディスプレイ１１１に表示する画像生成部として、高精度で高精細なＡＲ画像データを生成するＡＲ高度処理部１２１、ディスプレイ１１１に表示するテキスト文字や簡単なサインやマークなど簡易なＡＲ画像データを生成するＡＲ簡易処理部１２２を有し、また、ＡＲ高度処理部１２１とＡＲ簡易処理部１２２の動作を切替えるモード切替部１２０を有する。以下、ＡＲ高度処理部１２１の行う動作モードを「ＡＲ高度処理モード」、これにより生成される画像データを「ＡＲ高度画像データ」、ＡＲ簡易処理部１２２の行う動作モードを「ＡＲ簡易処理モード」、これにより生成される画像データを「ＡＲ簡易画像データ」と呼ぶ。

さらにＨＭＤ１００は、ＨＭＤ１００の使用者を特定するユーザ認証部１２３、制御部１１０がプログラムを実行するときのワークエリアとなるＲＡＭ１２４、フラッシュメモリなどで構成されるストレージ部１２５、及びネットワーク１５０を介して外部サーバ２００との間でデータ送受信を行う通信部１３０を備える。

ストレージ部１２５には、ＨＭＤ１００の基本動作や以下に述べる各種機能を実行するためのプログラム１２６、ＨＭＤ１００で取り扱われる画像データ、検出信号などの情報データ１２７、ＨＭＤ１００を特定するための機器ＩＤと許可されたユーザを特定するためのユーザＩＤ１２８、などが格納されている。

一方外部サーバ２００は、外部サーバ２００の動作を制御する制御部２１０、ＨＭＤ１００からの要求に応じて、ＡＲ画像データを生成する情報生成部２１１、保守点検用の情報を格納するデータベース２１２、ＨＭＤ１００との間でデータ送受信を行う通信部２１３を備える。

図２は、ユーザがＨＭＤ１００を装着した状態を示す外観図である。ＨＭＤ１００はユーザの頭部に装着され、透過型のディスプレイ１１１を介して眼前の外景が見える状態である。そして画像投影部１１２によりディスプレイ１１１にＡＲ画像を投影表示することで、ユーザは、眼前の外景にＡＲ画像が重畳された状態で視認することができる。また、ＨＭＤ１００の左右に設けたカメラ１１３により、眼前の外景を撮影し、ＡＲ画像の生成や表示位置決め等に利用する。

ここで、ＡＲ画像を生成するための処理について説明する。カメラ１１３で得られた眼前の撮影画像データ、及びセンサ群１１５で取得した各種のデータを使用して、眼前の画像内の対象物の位置、大きさ、形状などを複雑な演算処理により算出する。算出された対象物の配置（３次元座標）に基づいて、所定のＡＲ画像データを生成し、位置決めして重畳表示する。つまり、ＡＲ画像を表示するためには、カメラ１１３やセンサ群１１５のデータが正しく得られることが前提となる。

加えて、ＨＭＤ１００を装着したユーザの頭部は向きを変えることが可能であり、カメラ１１３で撮影されたカメラ画像は刻々と変化する動画像であるため、その動画像に対応するようＡＲ画像データを生成しなければならない。そのためには、センサ群１１５によりＨＭＤ１００を装着したユーザの頭部がどのように動いたかを随時検出して、その時刻におけるＨＭＤ１００と対象物の位置関係を把握し、それに応じてＡＲ画像データを生成する必要がある。つまり、ＡＲ画像処理には複雑で高速な演算処理が必要とされる。

次に、本実施例におけるＡＲ画像表示のモード切替動作について説明する。上記の通り、高精度なＡＲ画像データ（ＡＲ高度画像データ）を生成する高度処理モードでは、カメラ１１３やセンサ群１１５により取得した情報を利用する。よって、カメラ１１３やセンサ群１１５の動作に異常が発生すると、眼前の対象物の位置や距離、ユーザの頭部の動き（加速度、回転など）を正確に算出することができず、正常なＡＲ高度画像データを生成することが困難になる。このような場合には、テキストデータのような簡易なＡＲ画像データ（ＡＲ簡易画像データ）を生成する簡易処理モードに切り替える。簡易処理モードでは、対象物の位置や距離を求めることができないので、生成したＡＲ簡易画像はディスプレイ内の所定の位置に表示する。

さらに、カメラ１１３やセンサ群１１５の動作が正常であっても、ＡＲ高度画像データを生成するには複雑で高速な演算処理が必要であり、制御部（ＣＰＵ）１１０やＡＲ高度処理部１２１で消費する電力が大きいことから、容量の大きなバッテリー１１７を備えることが望まれる。しかしながらＨＭＤ１００は、ユーザの頭部に装着されるという性格上、バッテリー１１７はできるだけ小型、軽量化したいという要求がある。このことから、ＨＭＤ１００の動作中にバッテリー１１７のパワーがＡＲ高度画像データの生成のために不足する状況が起こり得る。このような場合、ＡＲ高度処理モードを継続して途中で画像表示が中断するよりも、消費電力が小さいＡＲ簡易処理モードに切り替えてＡＲ簡易画像データを中断せずに生成する方が、ユーザメリットの観点から得策である。以上の方針に基づき、ＡＲ画像表示におけるモード切替動作を次のように行う。

図３は、モード切替動作を示すフローチャートである。以下、ステップ順に説明する。
Ｓ１０：カメラ１１３とセンサ群１１５の動作が正常かどうかを、カメラ異常検出部１１４とセンサ異常検出部１１６により判定する。カメラ１１３とセンサ群１１５の動作異常は、それらの検出値（出力値）が異常値を示す、あるいは出力値がなし（ゼロ）、などで判定されるが、センサ毎のセルフチェック機能を用いることで可能である。正常である場合（Ｙｅｓ）はＳ１１へ進み、異常がある場合（Ｎｏ）はＳ１４へ進む。

Ｓ１１：バッテリー１１７の残容量をバッテリー容量検出部１１８により判定する。残容量が十分であれば（Ｙｅｓ）Ｓ１２へ進み、残容量が不足していれば（Ｎｏ）Ｓ１４へ進む。

Ｓ１２：モード切替部１２０は、ＡＲ高度処理部１２１による高度処理モードに切り替える。すると、ＡＲ高度画像データの生成に必要となるカメラ１１３からの撮影画像データやセンサ群１１５からの各種のセンサデータがＡＲ高度処理部１２１に入力する。

Ｓ１３：ＡＲ高度処理部１２１は、撮影画像データから対象物の位置や距離、センサデータからＨＭＤ１００の動きを算出する。この算出結果をもとに、ストレージ部１２５内に格納されているプログラム１２６（アプリケーション）や情報データ１２７に基づき、ＡＲ高度画像データを生成する。高度処理モードでは、ユーザ視点の代わりに、カメラが撮影した所定の対象物に対してＡＲ画像が重畳されるように位置決めを行う。また高度処理モードでは、カメラ１１３が撮影する動画像に対して、これに対応するようＡＲ高度画像データを刻々と生成する。

Ｓ１４：一方、Ｓ１０で異常が検出された場合、あるいはＳ１１でバッテリー残容量が不足している場合は、モード切替部１２０は、ＡＲ簡易処理部１２２による簡易処理モードに切り替える。この場合、カメラ１１３からの撮影画像データやセンサ群１１５からの各種のセンサデータは使用しない。

Ｓ１５：ディスプレイ１１１に、「ＡＲ簡易処理」である旨を表示し、ユーザに通知する。これによりユーザは、ＡＲ高度画像からＡＲ簡易画像の表示に切り替わったことを知る。
Ｓ１６：ＡＲ簡易処理部１２２では、ストレージ部１２５内に格納されているプログラム１２６（アプリケーション）や情報データ１２７に基づき、テキストデータなどのＡＲ簡易画像データを生成する。ＡＲ簡易処理では、対象物の位置や距離の情報を用いないので、生成したＡＲ簡易画像はディスプレイ１１１内の所定の位置に表示するだけになる。

Ｓ１７：Ｓ１３でＡＲ高度処理部１２１にて生成されたＡＲ高度画像データ、またはＳ１６でＡＲ簡易処理部１２２にて生成されたＡＲ簡易画像データは、画像投影部１１２によりディスプレイ１１１に投影表示される。その後Ｓ１０に戻り、上記の処理を繰り返して、モード切替とＡＲ画像の表示を行う。

ここで、Ｓ１０の処理（カメラとセンサ群の異常判定）とＳ１１の処理（バッテリーの残容量の判定）の順序は、入れ替えても構わない。また、Ｓ１０の処理（カメラとセンサ群の異常判定）については、動作開始時のみ実施し、それ以降は省略しても構わない。

なお、ＡＲ高度処理部１２１とＡＲ簡易処理部１２２、及びモード切替部１２０の処理は、制御部（ＣＰＵ）１１０の内部で行っても構わないし、モード切替部１２０を画像投影部１１２で行っても構わない。

本実施例のＨＭＤ１００では、ＡＲ画像データを生成するために、管理会社が管理する外部サーバ２００に保存する情報を利用することも可能である。あるいは外部サーバ２００にて生成されたＡＲ画像データを取得してＨＭＤ１００にて表示することも可能である。なぜなら、外部サーバ２００のデータベース２１２には、例えば保守点検のための基準値などが格納されている。よって、データベース２１２からの情報を利用してＡＲ画像データを生成することで、より情報量が多く高精度なＡＲ画像をユーザに提供することができる。

ただし、管理会社の基準に基づく保守点検作業は、予め許可された特定の点検者（ユーザ）のみに限定すべきである。よって本実施例のＨＭＤ１００には、そのユーザを特定するユーザ認証部１２３を設けている。以下では、ユーザ認証機能に基づきユーザを特定し、許可されたユーザのみが外部サーバ２００を利用してＡＲ画像データを生成できるようにした。

図４は、ユーザ認証動作を示すフローチャートである。ここでは、ユーザ認証部１２３の行う認証方法として、ユーザの虹彩画像を使う場合で説明する。ＨＭＤ１００の使用を許可されたユーザの虹彩画像は、ストレージ部１２５のユーザＩＤ１２８に登録されている。ユーザの認証方法としては、これに限らず、顔画像や指紋を使う方法、静脈パターンを使う方法なども可能である。

Ｓ２０：ＨＭＤ１００に搭載するカメラ１１３で、ユーザの顔画像から虹彩画像を撮影する。
Ｓ２１：ユーザ認証部１２３にて、撮影した虹彩画像が、ストレージ部１２５のユーザＩＤ１２８に登録されているかどうかを判定する。登録されていれば（Ｙｅｓ）Ｓ２２へ進み、登録されていなければ（Ｎｏ）Ｓ２６へ進む。

Ｓ２６：撮影した虹彩画像が登録されていないので、許可されていないユーザと判断され、制御部１１０によりＨＭＤ１００はロックされて、動作不可の状態となる。

Ｓ２２：撮影した虹彩画像が登録されていれば、許可されたユーザと判断され、ＨＭＤ１００の機器ＩＤ１２８と、Ｓ２１で特定されたユーザのＩＤデータを、通信部１３０を介して、ＨＭＤ１００を管理する外部サーバ２００に送信する。

Ｓ２３：外部サーバ２００では、ＨＭＤ１００から受け取った機器ＩＤとユーザＩＤをデータベース２１２に登録されている機器ＩＤとユーザＩＤと照合する。照合できた場合には、データベース２１２に格納している情報（例えば保守点検のための基準値など）、あるいは情報生成部２１１により生成したＡＲ画像データをＨＭＤ１００へ送信する。

Ｓ２４：ＨＭＤ１００は、外部サーバ２００から受信した情報をもとにＡＲ画像データを生成して、ディスプレイに１１１に表示する。外部サーバ２００から取得した情報を合わせてＡＲ画像データを生成することで、より情報量の多いＡＲ画像を表示することができる。

Ｓ２５：一定間隔または常時、ＨＭＤ１００がユーザに装着されているかを判定する。これは、ＨＭＤ１００が許可されたユーザにて継続的に使用されていることを確認するためである。継続して装着されていれば（Ｙｅｓ）Ｓ２３に戻り、外部サーバ２００との通信を継続する。継続して装着されていなければ（Ｎｏ）ユーザが変更された可能性があるので、Ｓ２０に戻りユーザ認証をやり直す。

次に、ディスプレイ１１１に表示されるＡＲ画像（高度画像と簡易画像）の具体例について説明する。ここでは、ＨＭＤ１００をプラントシステムの保守点検作業に使用した場合について説明する。

図５は、点検対象物の例としてプラントシステムの画像を示したものである。すなわち、ユーザがディスプレイ１１１を介して視認できる点検対象物、あるいはカメラ１１３で撮影される点検対象物の画像であり、ＡＲ画像を表示する前の状態である。プラントシステムには、複数のパイプ１０ａ，１０ｂ，１０ｃと、パイプ１０ｃに設置されたメータ１１及びバルブ１２が存在する。メータ１１には、パイプ１０ｃの圧力値が表示されている。なお、点検者（ユーザ）から各パイプ１０ａ，１０ｂ，１０ｃまでの距離は異なっている。

図６Ａは、ＡＲ高度処理部１２１が生成するＡＲ高度画像２０の例である。ＡＲ高度画像２０は、プラントのメータ１１上に重畳して表示する矢印２１と調整パネル２２の画像からなる。これらの画像は、ＨＭＤ１００のストレージ部１２５に格納されている保守点検用アプリケーションに基づき、ＡＲ高度処理部１２１により生成されたものである。

図６Ｂは、図５の点検対象物に図６ＡのＡＲ高度画像２０を重畳して表示した状態を示す図である。点検対象物であるパイプ１０ｃに設置されたメータ１１には、ＡＲ高度画像である保守すべき調整値が太い矢印２１で表示され、調整パネル２２がメータ１１の横に表示される。

なお、ＨＭＤ１００は点検者の頭部に装着され、点検者の頭部の揺れに伴いＨＭＤ１００は常時揺れ動いており、結果として、点検対象物であるメータ１１のディスプレイ１１１内の位置も不規則に変動する。ＡＲ高度画像２１，２２の生成は、この動きに対応し、変動するメータ１１の位置を常に把握しながら、メータ１１の位置に合うように高速に位置決めする。また、表示するＡＲ高度画像２１，２２の奥行き方向の距離は、重畳するメータ１１までの距離に合わせて位置決めするが、視野内の他の物体との前後関係に矛盾が生じないように、物体の陰に隠れる場合にはＡＲ画像を加工（オクルージョンと呼ぶ）する。

図７Ａは、ＡＲ簡易処理部１２２が生成するＡＲ簡易画像３０の例である。ＡＲ簡易画像３０は、ＡＲ簡易処理モードであることや異常検出の状況などのユーザへの通知情報３１と、保守点検の内容を示すテキスト画像３２からなる。この例では、テキスト画像３２にはメータ１１の基準値が示されている。

図７Ｂは、図５の点検対象物に図７ＡのＡＲ簡易画像３０を重畳して表示した状態を示す図である。この例では、生成したＡＲ簡易画像３０をディスプレイ１１１の左上に表示している。点検者はＡＲ簡易画像３０内のテキスト画像３２（メータの設定値）を確認することで、保守点検作業に役立てることができる。

このように実施例１によれば、ＨＭＤ１００に搭載するカメラ１１３やセンサ群１１５に異常が発生しても、本来の機能であるＡＲ画像の表示を継続させることができ、保守点検作業への支障を最小限に留めることができる。すなわち、ＡＲ高度画像とＡＲ簡易画像とを比較すると、保守点検作業を支援するという観点からは、ＡＲ簡易画像の場合は正確性や効率性が劣るものとなるが、ＨＭＤ１００が表示動作を停止する事態に比べれば、はるかにユーザメリットは大きいものとなる。

実施例２では、ＨＭＤ１０１と携帯情報端末３００を接続し、連携してＡＲ画像を生成する画像表示システムについて説明する。すなわち実施例２では、ＨＭＤ１０１はＡＲ簡易画像データについては生成するが、ＡＲ高度画像データについては携帯情報端末３００にて生成されたデータを受け取って表示する。これにより、ＨＭＤ１０１の構成を簡素化し、安価で軽量な装置を提供できる。ここでは、携帯情報端末３００としてスマートフォンを想定して説明するが、以下に述べる機能を有するものであれば適用可能である。また、ネットワークを介してＡＲ高度画像処理を行うサーバと接続することも可能である。

図８は、実施例２に係る画像表示システムの構成を示す図である。なおＨＭＤ１０１と携帯情報端末３００は、実施例１（図１）で述べた外部サーバ２００とも接続されている。なお、図８において、図１と同様の動作をするものについては同じ符号を付し、重複する説明を省略する。

ＨＭＤ１０１の構成については、携帯情報端末３００との間でデータを送受信するための近距離通信部１４０を備える。近距離通信部１４０には、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮを用いることができるが、有線接続でも良い。近距離通信部１４０を介して送受信するデータは、ＨＭＤ１０１のカメラ１１３で撮影した撮影画像データや、センサ群１１５で取得した検出データ、及び携帯情報端末３００で作成したＡＲ高度画像データなどである。なお、実施例１（図１）にて存在したＡＲ高度処理部１２１は、携帯情報端末３００側でその機能を実行するので、省いている。制御部（ＣＰＵ）１１０は、近距離通信部１４０を介して携帯情報端末３００との間のデータの送受信を制御する。

次に、携帯情報端末３００の構成を説明する。携帯情報端末３００は、携帯情報端末３００の動作を制御する制御部（ＣＰＵ）３１０、ＨＭＤ１０１とデータを送受信するための近距離通信部３４０、画像を表示するディスプレイ３１１、ディスプレイ３１１を制御する表示制御部３１２、カメラ３１３、携帯情報端末３００の状態（位置、加速度、回転など）を検出するセンサ群３１５、ユーザの入力を受け付けるタッチパッドなどの操作入力部３１６、携帯情報端末３００に電力を供給するバッテリー３１７、バッテリー３１７の残容量を検出するバッテリー容量検出部３１８、ネットワーク１５０を介して外部機器と通信するための通信部３３０を有する。

さらに携帯情報端末３００は、ＡＲ高度画像データを生成するＡＲ高度処理部３２１、携帯情報端末３００のユーザを特定するユーザ認証部３２３、制御部（ＣＰＵ）３１０のワークエリアとなるＲＡＭ３２４、フラッシュメモリなどで構成されるストレージ部３２５を有する。ストレージ部３２５には、携帯情報端末３００の基本動作や各種機能（アプリケーション）を実行するためのプログラム３２６、携帯情報端末３００で取り扱われる画像データ、検出信号などの情報データ３２７、携帯情報端末３００を特定するための端末ＩＤと許可されたユーザを特定するためのユーザＩＤ３２８、などが格納されている。

図９は、近距離通信部１４０、３４０を介してＨＭＤ１０１と携帯情報端末３００との間で送受信するデータの一例を示す図である。

ＨＭＤ１０１から携帯情報端末３００へ送られるデータとしては、ＨＭＤ１０１を特定するための機器ＩＤとユーザを特定するためのユーザＩＤ１２８、カメラ１１３の撮影画像データ、センサ群１１５やバッテリー容量検出部１１８の検出データ（位置、距離、加速度、バッテリー残容量など）、ＨＭＤ１０１の動作モード（ＨＭＤ１０１が一時停止、電源ＯＮなど）がある。

携帯情報端末３００からＨＭＤ１０１へ送られるデータとしては、携帯情報端末３００を特定するための端末ＩＤやＣＰＵの処理能力に関する情報３２８、ＡＲ高度処理部３２１で生成したＡＲ高度画像データ、携帯情報端末３００の接続情報（ＨＭＤ１０１との接続状況、ネットワーク１５０との接続状況）、バッテリー容量検出部３１８によるバッテリー残容量、ユーザ認証部３２３による認証結果、携帯情報端末３００のアプリケーションからのお知らせ（メール受信、電話受信など）がある。

図１０は、ユーザが図８のＨＭＤ１０１を装着し、携帯情報端末３００と接続した状態を示す外観図である。ＨＭＤ１０１はユーザの頭部に装着され、透過型のディスプレイ１１１を介して眼前の外景を見ることができる。さらにディスプレイ１１１には、ＡＲ画像が重畳して表示される。携帯情報端末３００は、例えばユーザが所持し、ＨＭＤ１０１と近距離通信可能となっている。そして、携帯情報端末３００の作成したＡＲ画像をＨＭＤ１０１が受信してディスプレイ１１１に表示することができる。

次に、本実施例におけるＡＲ画像のモード切替動作について説明する。本実施例では、ＨＭＤ１０１と携帯情報端末３００とが連携してＡＲ画像を生成する構成となっており、モード切替動作も互いの状況を確認して行う。

図１１Ａと図１１Ｂは、本実施例におけるモード切替動作を示すフローチャートである。図１１ＡにはＨＭＤ１０１側の動作を、図１１Ｂには携帯情報端末３００側の動作を示す。

まず、図１１ＡでＨＭＤ１０１側の動作から説明する。
Ｓ３０：ＨＭＤ１０１は、携帯情報端末３００と正常に接続されているかどうかを判定する。例えば、電気的な接続の確認や、機器間のデータ伝送のエラー有無、相互の認証処理等を利用して、接続を確認する。接続が確認できたら（Ｙｅｓ）Ｓ３１へ進み、確認できなかったら（Ｎｏ）Ｓ３７へ進む。

Ｓ３１：カメラ１１３とセンサ群１１５の動作が正常かどうかを判定する。正常である場合（Ｙｅｓ）はＳ３２へ進み、異常がある場合（Ｎｏ）はＳ３７へ進む。
Ｓ３２：近距離通信部１４０，３４０を介して、携帯情報端末３００のバッテリー３１７の残容量（バッテリー容量検出部３１８の検出結果）を判定する。残容量が十分であれば（Ｙｅｓ）Ｓ３３へ進み、残容量が不足していれば（Ｎｏ）Ｓ３７へ進む。なお、これ以外の状況として、携帯情報端末３００が既に他の処理を行っていてＡＲ高度画像処理に対応できない場合なども、Ｎｏと判定してＳ３７へ進む。

Ｓ３３：モード切替部１２０は、携帯情報端末３００を利用してＡＲ高度画像を生成する高度処理モードに切り替える。
Ｓ３４：ＨＭＤ１０１のカメラ１１３からの撮影画像データやセンサ群１１５からの各種センサデータを、近距離通信部１４０を介して携帯情報端末３００へ送信する。

Ｓ３５：携帯情報端末３００は、ＨＭＤ１０１から受信したデータを用いて、ＡＲ高度画像データを生成する。この処理の詳細については図１１Ｂにて説明する。
Ｓ３６：携帯情報端末３００にて生成されたＡＲ高度画像データを、近距離通信部１４０を介して受信する。

Ｓ３７：Ｓ３０～Ｓ３２のいずれかの判定がＮｏの場合は、携帯情報端末３００とのＡＲ高度表示に関する連携動作を中止し、モード切替部１２０は、ＡＲ簡易処理部１２２による簡易処理モードに切り替える。簡易処理モードの処理は、実施例１（図３）のＳ１４～Ｓ１６と同様である。

Ｓ３８：ディスプレイ１１１に、「ＡＲ簡易処理」である旨を表示し、ユーザに通知する。
Ｓ３９：ＡＲ簡易処理部１２２では、ＡＲ簡易画像データ（テキストデータなど）を生成する。

Ｓ４０：Ｓ３６で携帯情報端末３００から受信したＡＲ高度画像データ、またはＳ３９でＡＲ簡易処理部１２２にて生成されたＡＲ簡易画像データを、ディスプレイ１１１に表示する。その後Ｓ３０に戻り、上記の処理を繰り返して、モード切替とＡＲ画像の表示を行う。

次に、図１１Ｂで携帯情報端末３００側の動作について説明する。
Ｓ４１：携帯情報端末３００は、ＨＭＤ１０１と正常に接続されているかどうかを判定する。例えば、図１１Ａ（Ｓ３０）と同様に、機器間のデータ伝送のエラー有無等を確認する。接続が確認できたら（Ｙｅｓ）Ｓ４２へ進み、確認できなかったら（Ｎｏ）Ｓ４６へ進む。
Ｓ４６：正常に接続されていないと判断し、ＨＭＤ１０１との連携動作を中止する。

Ｓ４２：携帯情報端末３００のバッテリー３１７の残容量をバッテリー容量検出部３１８にて検出し、ＡＲ高度処理を実行するのに十分かどうかを判定する。十分であれば（Ｙｅｓ）Ｓ４３へ進み、十分でなければ（Ｎｏ）Ｓ４７へ進む。
Ｓ４７：バッテリー残容量が不足しているという情報を、近距離通信部３４０を介してＨＭＤ１０１に送信する。この情報は、図１１ＡのＳ３２の判定に用いられる。

Ｓ４３：ＨＭＤ１０１からＡＲ高度処理に必要なデータを、近距離通信部３４０を介して受信する。
Ｓ４４：ＡＲ高度処理部３２１は、受信したデータを用いてＡＲ高度画像データを生成する。ＡＲ高度画像データの生成は、実施例１（図３のＳ１３）と同様に行う。そのために、ストレージ部３２５内に格納されているプログラム（アプリケーション）３２６や情報データ３２７を用いる。

Ｓ４５：生成されたＡＲ高度画像データを近距離通信部３４０を介してＨＭＤ１０１に送信する。その後Ｓ４１に戻り、上記の処理を繰り返す。

本実施例におけるＡＲ画像（高度画像、簡易画像）の表示例は、実施例１の図６Ａ～図７Ｂと同様である。

本実施例では、ＨＭＤ１０１と携帯情報端末３００は連携してＡＲ高度画像処理を行う構成としたので、許可されていないユーザや機器からの不正なアクセスを防止する必要がある。そこで、ユーザや機器が許可されているかを相互に認証した上で、カメラ撮影画像やＡＲ画像データなどの重要なデータを送受信できるようにする。以下、ユーザ認証動作について説明する。

図１２Ａと図１２Ｂは、ユーザ認証動作を示すフローチャートであり、図１２Ａは、携帯情報端末３００側での認証動作を、図１２Ｂは、ＨＭＤ１０１側での認証動作を示す。ここでは、ユーザ認証する方法として、顔画像を使った認証で説明するが、その他、指紋を使う方法、静脈パターンを使う方法、虹彩画像を使う方法なども利用できる。

まず、図１２Ａで携帯情報端末３００側の動作から説明する。
Ｓ５０：携帯情報端末３００のカメラ３１３にて、ユーザの顔画像を撮影する。

Ｓ５１：携帯情報端末３００のユーザ認証部３２３にて、ユーザの顔画像が携帯情報端末３００のユーザＩＤ３２８に登録されている顔画像であるかどうかを判定する。登録されていれば（Ｙｅｓ）Ｓ５２へ進み、登録されていない場合は（Ｎｏ）Ｓ５５へ進む。

Ｓ５２：携帯情報端末３００はＨＭＤ１０１と正常に接続されているかどうかを、機器間のデータ伝送のエラー有無等により判定する。接続が確認できたら（Ｙｅｓ）Ｓ５３へ進み、確認できなかったら（Ｎｏ）Ｓ５５へ進む。

Ｓ５３：携帯情報端末３００の端末ＩＤ３２８を、近距離通信部３４０を介してＨＭＤ１０１に送信する。
Ｓ５４：ＨＭＤ１０１側で携帯情報端末３００が登録された端末であることが確認できれば、携帯情報端末３００とＨＭＤ１０１との連携動作を開始する。

Ｓ５５：ユーザは携帯情報端末３００の使用が行えず、ＨＭＤ１０１との連携動作を中止する。

次に、図１２ＢでＨＭＤ１０１側の動作について説明する。
Ｓ６０：ＨＭＤ１０１は、携帯情報端末３００と正常に接続されているかどうかを、機器間のデータ伝送のエラー有無等により判定する。接続が確認できたら（Ｙｅｓ）Ｓ６１へ進み、確認できなかったら（Ｎｏ）Ｓ６７へ進む。

Ｓ６１：ＨＭＤ１０１のカメラ１１３で、ユーザの虹彩画像を撮影する。
Ｓ６２：ユーザ認証部１２３にて、撮影した虹彩画像がストレージ部１２５のユーザＩＤ１２８に登録されているかどうかを判定する。登録されていれば（Ｙｅｓ）Ｓ６３へ進み、登録されていなければ（Ｎｏ）Ｓ６７へ進む。

Ｓ６３：携帯情報端末３００から端末ＩＤ３２８を受信する（Ｓ５３に対応）。
Ｓ６４：受信した端末ＩＤ３２８が、Ｓ６２で特定されたユーザが使用できる端末かどうかを判定する。登録されていれば（Ｙｅｓ）Ｓ６５へ進み、登録されていなければ（Ｎｏ）Ｓ６７へ進む。

Ｓ６５：携帯情報端末３００との連携動作を開始する。すなわち、ＨＭＤ１０１から携帯情報端末３００にＡＲ高度画像データを生成するために必要なデータを送信する。その結果、携帯情報端末３００はＡＲ高度画像データを生成し、生成されたＡＲ高度画像データをＨＭＤ１０１が受信して表示する。

Ｓ６６：ＨＭＤ１０１がユーザに継続して装着されているかを判定する。継続して装着されていれば（Ｙｅｓ）Ｓ６５に戻り、携帯情報端末３００との連携動作を継続する。継続して装着されていなければ（Ｎｏ）、ユーザが変更された可能性があるので、Ｓ６１に戻りユーザ認証をやり直す。

Ｓ６７：ＨＭＤ１０１は連携動作がロックされ、携帯情報端末３００との連携動作を中止する。

このように実施例２では、ＨＭＤ１０１と携帯情報端末３００を接続する場合、ユーザと機器ＩＤ（端末ＩＤ）を相互に確認することで、不正なユーザや機器からのアクセスを防止することができ、登録された安全なユーザ・機器の間で信頼性の高いデータ伝送を行う画像表示システムが構築できる。また、ＨＭＤ１０１と携帯情報端末３００の認証処理の際に、相互の機器（端末）の仕様を交換することも有効である。例えば、ＨＭＤ１０１の表示画像の解像度や表示速度、携帯情報端末３００のＣＰＵの処理速度やバッテリーの残容量の情報などを交換することで、より最適な画像処理が可能となる。

なお、実施例２においても、ＨＭＤ１０１と携帯情報端末３００はネットワーク１５０を介して外部サーバ２００に接続されている。よって、ＨＭＤ１０１と携帯情報端末３００は、実施例１と同様に、管理会社が管理する外部サーバ２００に保存する情報や外部サーバ２００にて生成されたＡＲ画像データを利用して、ＡＲ画像データを生成することも可能である。そのためのユーザ認証も実施例１と同様に行えばよい。

実施例２によれば、ＨＭＤ１０１はＡＲ簡易画像データのみを生成し、ＡＲ高度画像データについては携帯情報端末３００にて生成する構成としたので、ＨＭＤ１０１の構成を簡素化し、安価で軽量な装置を提供できる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

２０：ＡＲ高度画像、３０：ＡＲ簡易画像、１００，１０１：ヘッドマウントディスプレイ（ＨＭＤ）、１１０，３１０：制御部（ＣＰＵ）、１１１，３１１：ディスプレイ、１１２：画像投影部、１１３，３１３：カメラ、１１４：カメラ異常検出部、１１５，３１５：センサ群、１１６：センサ異常検出部、１１７，３１７：バッテリー、１１８，３１８：バッテリー容量検出部、１２０：モード切替部、１２１，３２１：ＡＲ高度処理部、１２２：ＡＲ簡易処理部、１２３，３２３：ユーザ認証部、１２４，３２４：ＲＡＭ、１２５，３２５：ストレージ部、１２６，３２６：プログラム、１２７，３２７：情報データ、１２８，３２８：機器（端末）ＩＤ・ユーザＩＤ、１３０，３３０：通信部、１４０，３４０：近距離通信部、１５０：ネットワーク、２００：外部サーバ、２１１：情報生成部、２１２：データベース、３００：携帯情報端末、３１２：表示制御部。

Claims (5)

1. ユーザが頭部に装着し画像を表示するヘッドマウントディスプレイと、これに携帯情報端末を接続し、連携して表示する画像を生成する画像表示システムにおいて、
   前記ヘッドマウントディスプレイは、
   外景を撮影するカメラと、
   前記カメラの動作異常を検出するカメラ異常検出部と、
   外景内の物体の位置、距離、大きさを検出するセンサ群と、
   前記センサ群の動作異常を検出するセンサ異常検出部と、
   電力を供給する第１のバッテリーと、
   画像情報を生成する第１の画像生成部と、
   前記第１の画像生成部、または前記携帯情報端末の備える第２の画像生成部にて生成された画像を表示するディスプレイと、
   前記ディスプレイに表示する画像の生成処理モードを切り替えるモード切替部と、を備え、
   前記携帯情報端末は、
   画像を生成する前記第２の画像生成部と、
   電力を供給する第２のバッテリーと、を備え、
   前記第２の画像生成部では、前記ヘッドマウントディスプレイに備えた前記カメラが撮影した画像データと前記センサ群が検出した検出データを使用して、高精度の拡張現実の画像（以下、ＡＲ高度画像）を生成するＡＲ高度処理モードを実行し、
   前記第１の画像生成部では、前記ＡＲ高度画像よりも簡易な画像情報（以下、ＡＲ簡易画像）を生成するＡＲ簡易処理モードを実行し、
   前記モード切替部は、前記カメラ異常検出部または前記センサ異常検出部の検出結果に応じて、前記ＡＲ高度処理モードと前記ＡＲ簡易処理モードとを切り替えることを特徴とする画像表示システム。
2. 請求項１に記載の画像表示システムにおいて、
   前記モード切替部は、前記ヘッドマウントディスプレイと前記携帯情報端末とが正常に接続されていない場合、前記携帯情報端末との連携動作を中止し、前記第１の画像生成部による前記ＡＲ簡易処理モードに切り替えることを特徴とする画像表示システム。
3. 請求項１に記載の画像表示システムにおいて、
   前記モード切替部は、前記カメラ異常検出部または前記センサ異常検出部の検出結果に基づき、前記カメラまたは前記センサ群の動作に異常があると判定した場合、前記第１の画像生成部による前記ＡＲ簡易処理モードに切り替えることを特徴とする画像表示システム。
4. 請求項３に記載の画像表示システムにおいて、
   前記携帯情報端末は、さらに、前記第２のバッテリーの残容量を検出する第２のバッテリー容量検出部を備え、
   前記モード切替部は、前記第２のバッテリー容量検出部の検出結果に基づき、前記第２のバッテリーの残容量が不足していると判定した場合、前記ディスプレイに、前記第２のバッテリーの残容量が不足している旨を表示するとともに、前記第１の画像生成部による前記ＡＲ簡易処理モードに切り替えることを特徴とする画像表示システム。
5. 請求項１に記載の画像表示システムにおいて、
   前記ヘッドマウントディスプレイには、接続された前記携帯情報端末を認証するための第１の認証部を、
   前記携帯情報端末には、当該携帯情報端末を使用するユーザを認証するための第２の認証部を、備え、
   前記第１の認証部および前記第２の認証部にて認証確認ができない場合は、前記ヘッドマウントディスプレイと前記携帯情報端末との連携動作を中止することを特徴とする画像表示システム。

Images