JP7427747B2 - 映像表示装置及び映像表示方法 - Google Patents

Description

本発明は、携帯型の映像表示装置及び映像表示方法に関する。

近年、スマートフォンを代表とする携帯型の映像表示装置が世の中に普及している。中でも、ユーザの頭部に装着するヘッドマウントディスプレイ（以下、ＨＭＤ：Head Mounted Display）は、眼鏡型の表示画面上に、現実空間の映像とコンピュータ等により作成した拡張現実（ＡＲ：Augmented Reality）の映像とを重畳させて表示するものである。さらにＨＭＤにセンサを取り付けることで、センサで取得した情報をＡＲ映像として表示画面に表示することができる。例えば特許文献１には、ユーザの行動履歴を描写する携帯端末として、自己の端末の位置情報などを取得する端末情報取得手段と、周囲を撮像したカメラ画像を生成するカメラ手段と、予め取得した行動履歴と、カメラ手段の撮像範囲と、に基づいて表示すべき行動履歴描写情報（アバター）を算出する描写履歴算出手段と、行動履歴描写情報をカメラ画像に描写した合成画像を生成する画像合成手段と、合成画像を表示する表示手段と、を備える構成が開示されている。

国際公開第２０１１／０９３０３１号

ユーザが、複雑な経路を移動しているうちに、途中立ち寄った場所や戻り経路を失念するケースが、高齢者の中に多く見受けられる。このような場合、ナビゲーション装置のように、出発地を設定すればそこに戻る代表的な経路を案内する方法があるが、ユーザが実際に通過した経路と同一に案内するとは限らず、途中の経路を正確に再現することは期待できない。

前記特許文献１では、ユーザが行動履歴の記録を指示すると、行動履歴サーバに登録される。そして、行動履歴サーバから所望のユーザの行動履歴を取得して、ユーザの位置情報に従いアバターをカメラ画像に重ねて表示するものである。しかし前記特許文献１では、任意の他のユーザの行動履歴を取得して表示することを想定しており、ユーザ本人の行動履歴を表示することは特に考慮されていない。また、行動履歴を表示する際、ユーザが移動した地点に移動した順序にアバターが表示されるので、戻り経路を失念したユーザに対し、現在位置から帰路の道順を案内するツールとしては適していない。

本発明の目的は、ユーザが実際に移動した経路に沿って戻り経路を案内する映像表示装置を提供することである。

前記課題を解決するため、本発明の映像表示装置は、当該映像表示装置を携帯したユーザの位置と方向を検出するセンサと、センサの検出結果からユーザの移動軌跡の情報を取得する軌跡情報取得部と、軌跡情報取得部にて取得したユーザの軌跡情報と、ユーザを示す仮想映像であるアバターの情報を保存する記憶部と、ユーザの移動軌跡をアバターで表示する表示部と、軌跡情報取得部と表示部を制御する制御部と、を備える。ここに制御部は、記憶部に保存されたアバターの情報からアバターを生成するとともに、センサにより現在のユーザの視界領域を求め、記憶部に保存されたユーザの軌跡情報をもとに、現在のユーザの視界領域に合わせ、ユーザの移動軌跡にアバターを配置して表示部に表示する構成とする。制御部は、アバターをユーザの移動軌跡に沿って移動させる際に、時間的に新しい軌跡情報から古い軌跡情報に向かって移動させる。

本発明によれば、移動の際に途中立ち寄った場所や戻り経路を失念したユーザに対し、戻り経路を分かりやすく案内することができる。

実施例１に係るＨＭＤの外観図。 ＨＭＤの内部構成を示すブロック図。 通信処理部による外部機器との接続構成例を示す図。 ＨＭＤの機能ブロックの構成を示す図。 ユーザの軌跡収集の例を示す模式図。 軌跡収集処理を示すフローチャート。 位置情報を保存する軌跡情報保存テーブル。 位置情報を差分値で保存する差分軌跡情報保存テーブル。 開始時／終了時の位置情報を保存する始点・終点位置座標テーブル。 静止画を保存する静止画データ格納テーブル。 動画を保存する動画データ格納テーブル。 アバター表示処理の全体を示すフローチャート。 図９Ａにおける救済処理を示すフローチャート。 方向転換ガイド表示の例を示す図。 移動方角ガイド表示の例を示す図。 アバターの表示例を示す図。 アバターが向きを変えた表示例を示す図。 ＨＭＤの操作に使用する音声コマンドの例を示すテーブル。 ユーザの指による操作指示を説明する図。 実施例２の位置情報を保存する２次元軌跡情報保存テーブル。 開始時／終了時の２次元始点・終点位置座標テーブル。 実施例３におけるアバター表示の模式図。 実施例４におけるアバター表示の模式図。 実施例７における軌跡情報保存テーブル。 アバターの表示例を示す図。 実施例８のスマートフォンの外観を示す図。 実施例９の複数のＨＭＤを接続した映像表示システムの構成を示す図。 複数のアバターの表示例を示す模式図。

以下、本発明の実施形態を、頭部装着型の映像表示装置であるヘッドマウントディスプレイ（ＨＭＤ）の例を中心に説明する。

図１は、実施例１に係るＨＭＤの外観図を示す。ＨＭＤ１はメガネ型形状で、前面にはユーザが映像を視認する表示部７２や外景を撮影する撮像部７１が配置され、テンプル部（つる）９１には、後述する各種処理部が格納されている。また、テンプル部９１内の一部の処理部は、ＨＭＤ本体と分離して別の筐体に格納し、ＨＭＤ本体とケーブルで接続する構成でも良い。

図２は、ＨＭＤ１の内部構成を示すブロック図である。ＨＭＤ１は、主制御部１０、システムバス３０、記憶部４０、センサ部５０、通信処理部６０、映像処理部７０、音声処理部８０、操作入力部９０で構成される。

主制御部１０は、所定の動作プログラムに従ってＨＭＤ１全体を制御するマイクロプロセッサユニットである。システムバス３０は、主制御部１０とＨＭＤ１内の各構成ブロックとの間で各種コマンドやデータなどの送受信を行うためのデータ通信路である。

記憶部４０は、ＨＭＤ１の動作を制御するための各種プログラム４１、動作設定値や後述するセンサ部からの検出値やコンテンツを含むオブジェクトなどの各種データ４２を格納し、各種プログラム動作で使用するワークエリア４３を有する。その際記憶部４０は、ネットワーク上からダウンロードした動作プログラムや前記動作プログラムで作成した各種データ、ダウンロードした動画や静止画や音声等のコンテンツを記憶可能である。また、撮像部７１で撮影した動画や静止画等のデータを記憶可能である。記憶部４０は、ＨＭＤ１に外部から電源が供給されていない状態であっても記憶している情報を保持する必要がある。従って、例えば、フラッシュＲＯＭやＳＳＤ（Solid State Drive）などの半導体素子メモリ、ＨＤＤ（Hard Disc Drive）などの磁気ディスクドライブ、等のデバイスが用いられる。なお、記憶部４０に記憶された前記各動作プログラムは、ネットワーク上の各サーバ装置からのダウンロード処理により更新及び機能拡張することが可能である。

センサ部５０は、ＨＭＤ１の各種の状態を検出するため、ＧＰＳ（Global Positioning System）センサ５１、地磁気センサ５２、距離センサ５３、加速度センサ５４、ジャイロセンサ５５、高度センサ５６等で構成される。これらのセンサ群により、ＨＭＤ１の位置、傾き、方角、動き、高度等を検出する。これ以外に、照度センサ、近接センサ等、他のセンサを備えていても良い。

通信処理部６０は、ＬＡＮ（Local Area Network）通信部６１と、電話網通信部６２で構成される。ＬＡＮ通信部６１はアクセスポイント等を介してインターネット等のネットワークと接続され、ネットワーク上の各サーバ装置とデータの送受信を行う。アクセスポイント等との接続はＷｉ－Ｆｉ（登録商標）等の無線接続で行われて良い。

電話網通信部６２は移動体電話通信網の基地局等との無線通信により、電話通信（通話）及びデータの送受信を行う。基地局等との通信はＷ－ＣＤＭＡ（Wideband Code Division Multiple Access）（登録商標）方式やＧＳＭ（登録商標）（Global System for Mobile communications）方式、ＬＴＥ（Long Term Evolution）方式、或いはその他の通信方式によって行われて良い。ＬＡＮ通信部６１と電話網通信部６２は、それぞれ符号化回路や復号回路やアンテナ等を備える。また、通信処理部６０が、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信部や赤外線通信部等、他の通信部をさらに備えていても良い。

映像処理部７０は、撮像部７１と表示部７２で構成される。撮像部７１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の電子デバイスを用いてレンズから入力した光を電気信号に変換することにより、外景の被写体の画像データを入力するカメラユニットである。表示部７２は、例えばレーザープロジェクターとハーフミラー等を使った透過型ディスプレイの表示デバイスであり、画像データをＨＭＤ１のユーザに提供する。

音声処理部８０は、音声入出力部８１と音声認識部８２と音声復号部８３とで構成される。音声入出力部８１の音声入力はマイクであり、ユーザの声などを音声データに変換して入力する。また、音声入出力部８１の音声出力はスピーカであり、ユーザに必要な音声情報等を出力する。音声認識部８２は、入力された音声情報を解析し、指示コマンド等を抽出する。音声復号部８３は、符号化音声信号の復号処理や音声合成処理を行う。

操作入力部９０は、ＨＭＤ１に対する操作指示の入力を行う指示入力部である。操作入力部９０は、ボタンスイッチ等を並べた操作キー等で構成されるが、さらにその他の操作デバイスを備えても良い。例えば、通信処理部６０を利用し、有線通信または無線通信により接続された別体の携帯端末機器を用いてＨＭＤ１の操作を行っても良い。また、音声処理部８０の音声認識部８２を利用して、操作指示の音声コマンドによりＨＭＤ１の操作を行っても良い。

なお、図２に示したＨＭＤ１の構成例は、本実施例に必須ではない構成も多数含んでいるが、これらが備えられていない構成であっても本実施例の効果を損なうことはない。逆に、デジタル放送受信機能や電子マネー決済機能等、図示していない構成をさらに加えても良い。

図３は、上記の通信処理部６０による外部機器との接続構成例を示す図である。ＨＭＤ１のＬＡＮ通信部６１は、アクセスポイントである無線ルータ４を介して、インターネット等のネットワーク５と接続する。ネットワーク５にはサーバ６が接続されており、ＨＭＤ１のＬＡＮ通信部６１を介してデータの送受信を行なう。

図４は、ＨＭＤ１の機能ブロックの構成を示す図である。
ＨＭＤ１全体の制御処理は、主に、主制御部１０が記憶部４０の各種プログラム４１及び各種データ４２を用いて実行する。ＨＭＤ１における処理は、ユーザの移動軌跡の情報を収集し保存する軌跡収集処理（Ｓ１００）と、保存した軌跡情報に基づいてユーザを示す仮想映像であるアバターを表示するアバター表示処理（Ｓ２００）で構成される（それぞれ破線と鎖線で示す）。

軌跡収集処理（Ｓ１００）では、各種センサ情報取得機能１１によりセンサ部５０の各種センサからの情報を取得し、軌跡情報処理機能１２により取得した各種センサからの情報を内部で処理しやすい軌跡情報に変換する。変換処理された軌跡情報は軌跡情報保存機能１３にて保存する。また、軌跡情報取得途上でユーザにより撮影指示があった場合は、映像処理部７０の撮像部７１を用いて撮影が行なわれる。その場合の撮影処理は撮影データ取得機能１４により行われ、取得した撮影データは軌跡情報に関連付けられて撮影データ保存機能１５にて保存する。

アバター表示処理（Ｓ２００）では、アバター情報保存機能１６に予め保存されたユーザのアバター情報を読み出し、アバター生成機能１７により生成されたアバターを、アバター表示機能１８により表示する。アバターの表示位置は、軌跡情報保存機能１３に保存された軌跡情報に基づいて決定する。但し、視界算出機能１９により、アバターの表示位置がＨＭＤ１の視界に存在するかどうかを判断し、存在しない場合はアバターを表示しない。また、撮影データ再生機能２０では、撮影データ保存機能１５に保存された撮影データを経路軌跡に合わせて再生する。

軌跡情報保存機能１３、撮影データ保存機能１５、アバター情報保存機能１６などの保存機能は、図３で示したように、通信処理部６０のＬＡＮ通信部６１を介して外部のサーバ６に保存させることもできる。

図５は、ユーザの軌跡収集の例を示す模式図である。この例では、ＨＭＤ１を装着したユーザ２が、軌跡ポイント５０１、５０２、５０３、５０４、の順番に移動している（●印で示す）。また移動方向が９０度変化した軌跡ポイント５０３（曲がり角）において、撮像部７１により被写体５１０を撮影している。よってこの軌跡ポイント５０３は撮影ポイントとなる。ここで撮影する対象は、立ち寄った場所、曲がり角、経路を間違った場所、その地点で見かけた動植物や建物等、ユーザの意思により決定されるが、後で経路軌跡を再現するときにその撮影映像が再生されるものとなる。

図６は、ＨＭＤ１の軌跡収集処理（Ｓ１００）を示すフローチャートであり、図５の軌跡模式図を例としている。この処理手順は、記憶部４０の各種プログラム４１に格納されている。
Ｓ１１０：ユーザ２の指示で軌跡収集処理（Ｓ１００）を開始する。軌跡収集開始の指示は、本実施例ではユーザ２の音声で行う。例えば、音声コマンド「キセキカイシ」を発声すると、音声認識部８２は軌跡収集処理の開始指示であると判断する。

Ｓ１１１：軌跡ポイントのポイント番号の初期化を行なう。ここでは、ポイント番号ｐの初期値として０を設定し、軌跡収集処理の開始時点のポイント番号ｐ＝０とする。
Ｓ１１２：タイマーを起動する。タイマーは、主制御部１０に内蔵されているクロックを用いて計時する。タイマーを使用するのは、ユーザの軌跡ポイントのデータを一定時間（単位時間）の間隔で収集するためである。

Ｓ１１３：ＨＭＤ１の位置をセンサ部５０からの情報により検出し（各種センサ情報取得機能１１）、保存データの形式に変換して（軌跡情報処理機能１２）、記憶部４０の各種データ４２に保存する（軌跡情報保存機能１３）。ＨＭＤ１の平面上の位置は、センサ部５０のＧＰＳセンサ５１にて検出する。複数のＧＰＳ衛星からの電波を受信することにより、ＨＭＤ１のグローバル位置座標（経度・緯度）を検出することができる。また、高度は、センサ部５０の高さセンサ５６により検出することができる。例えば、気圧を計測して高度を算出する。

ＨＭＤ１の位置情報は、ＧＰＳ衛星からのＧＰＳ情報以外にも、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯基地局から発信される情報などを使ってグローバル位置情報を取得することもできるので、ＧＰＳ情報が取得できない場合は、それらの情報によりＨＭＤ１の位置情報を取得する。勿論、ＧＰＳ情報とともに他の情報を組み合わせてもよい。以下、グローバル位置情報を取得するための情報を「ＧＰＳ情報等」と呼ぶ。

なお、上記グローバル位置情報が常に精度良く取得できる環境下であれば、ユーザの軌跡情報をグローバル位置情報を用いた空間座標系に配置することができる。一方、軌跡取得開始位置を原点とした独自の空間座標系（ローカル座標系）を生成し、センサ部５０の加速度センサ５４やジャイロセンサ５５等で検出したユーザの移動距離や移動方向から位置の変化を算出して、ローカル座標系に配置してもよい。そして、グローバル位置情報を精度良く取得できる地点でグローバル位置情報を取得し、ローカル座標系の位置情報と対応付けることにより、例えば、連続して軌跡を取得しない場合や他人の軌跡情報を見る場合にも適用できる。

Ｓ１１４：ユーザにより撮影指示があるかどうかを判断し、撮影指示がある場合はＳ１１５へ進み、撮影指示がない場合はＳ１１６へ進む。なお、撮像部７１の撮影機能では、静止画撮影と動画撮影の２つの撮影モードを用意している。これらを区別するため、例えば、静止画の撮影指示には音声コマンド「サツエイ」を、動画の撮影指示には音声コマンド「サツエイカイシ」を用いる。また、動画については撮影終了の指示として音声コマンド「サツエイオワリ」を用いる。
Ｓ１１５：ＨＭＤ１の前方にある被写体を映像処理部５の撮像部７１で撮影し（撮影データ取得機能１４）、撮影データを記憶部４０の各種データ４２として保存する（撮影データ保存機能１５）。

Ｓ１１６：ユーザにより軌跡情報取得処理の終了の指示がなされたかどうかを判断する。例えば、音声コマンド「キセキオワリ」により、軌跡収集処理の終了指示であると判断する。終了が指示された場合は、Ｓ１１７に進み軌跡情報取得処理を終了する。軌跡情報取得処理の終了が指示されなかった場合は、Ｓ１１８に進む。
Ｓ１１８：単位時間を経過したかどうかを判断する。具体的にはタイマーが単位時間を越えたかどうかで判断する。単位時間を経過した場合はＳ１１９へ進み、単位時間を経過していない場合はＳ１１４へ戻る。
Ｓ１１９：ポイント番号ｐに１を加算し、Ｓ１１２へ戻りタイマーをリセットして再度起動する。

以上の軌跡収集処理（Ｓ１００）により、ユーザの軌跡ポイント（位置情報）を一定時間の間隔で収集することができる。例えばタイマーの単位時間を１秒に設定することで、ＨＭＤ１の軌跡を１秒毎に保存することができる。また、これに並行してユーザの指示により途中の被写体を撮影し、保存することができる。

ここで、上記の軌跡収集処理（Ｓ１００）により記憶部４０に保存される軌跡情報データ（データテーブル）について、２つの方式を説明する。

図７Ａは、位置情報を測定値のまま保存する軌跡情報保存テーブル７１０を示す。項目として、各軌跡ポイントの順序を示すポイント番号７１１と、その軌跡ポイントに対応する位置座標７１２から構成される。位置座標７１２は、ＧＰＳ情報等からの平面的位置情報（Ｘ，Ｙ）と高度センサ５６による高度（Ｙ）の値を用いる。ポイント番号０は軌跡収集処理が開始（Ｓ１１０）された時点の位置座標（Ｘ_０，Ｙ_０，Ｚ_０）、ポイント番号１は単位時間（ここでは１秒とする）後の位置座標（Ｘ_１，Ｙ_１，Ｚ_１）である。ポイント番号ｋは、ｋ秒後にユーザから撮影指示（Ｓ１１４）があった時点の位置座標（Ｘ_ｋ，Ｙ_ｋ，Ｚ_ｋ）である。ポイント番号ｎは開始からｎ秒後に軌跡収集処理が終了（Ｓ１１７）した時点の位置座標（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）である。

なお、データテーブルでは位置座標７１２は固定長サイズのデータなので、時系列に記録すれば、ポイント番号７１１のデータは省略できる。つまり、目的とするポイント番号ｐの位置座標のデータは、固定長サイズの倍数値ｐにより検索することができる。

ここで、ＧＰＳ情報等から位置情報が取得できない場合は、センサ部５０の加速度センサ５４やジャイロセンサ５５などの相対値情報（差分値情報）で一旦保存する。そして、いずれかの軌跡ポイントで、ＧＰＳ情報等からの位置情報（絶対値情報）が取得できた段階で、一旦保存した相対値を絶対値に補正することで対応する。

図７Ｂは、位置情報を差分値で保存する差分軌跡情報保存テーブル７２０を示す。軌跡ポイント間で測定値の変化が少ない場合には、測定値そのままではなく差分値（変化量）で保存する方が、保存するデータ量を低減することができ実用的である。

項目として、ポイント番号７２１と、その軌跡ポイントに対応する差分位置座標７２２から構成される。差分位置座標７２２では、直前の軌跡ポイントの位置座標と、現時点での軌跡ポイントの位置座標との差分値を記述する。すなわち、平面位置座標の差分値（ΔＸ，ΔＹ）は、２つの軌跡ポイント間の経度方向の距離と緯度方向の距離で記述している。高さ方向の差分値（ΔＺ）についても距離で記述する。

ポイント番号１は、軌跡収集処理が開始された時点から１秒後の差分位置座標（ΔＸ１，ΔＹ１，ΔＺ_１）、ポイント番号ｋはｋ秒後の差分位置座標（ΔＸｋ，ΔＹｋ，ΔＺ_ｋ）、ポイント番号ｎは軌跡収集処理が終了した時点（開始からｎ秒後）の差分位置座標（ΔＸｎ，ΔＹｎ，ΔＺ_ｎ）をそれぞれ示している。前記図７Ａ（軌跡情報保存テーブル７１０）の位置座標７１２の値との関係は、
ΔＸ_ｐ＝Ｘ_ｐ－Ｘ_ｐ－１，ΔＹ_ｐ＝Ｙ_ｐ－Ｙ_ｐ－１，ΔＺ_ｐ＝Ｚ_ｐ－Ｚ_ｐ－１
となる。

図７Ｃは、軌跡収集の開始時／終了時の位置情報を保存する始点・終点位置座標テーブル７３０を示す。このテーブルは、図７Ｂの差分軌跡情報保存テーブル７２０を用いて、アバターの表示位置（絶対位置）を算出するときに必要になる。

項目は、軌跡収集の開始点か終了点かを区別する始点／終点区別７３１と、それぞれの位置情報を絶対値で示す位置座標７３２から構成される。当然ながら、始点は、図７Ａ（軌跡情報保存テーブル７１０）のポイント番号０での位置座標（Ｘ_０，Ｙ_０，Ｚ_０）に等しく、終点は、ポイント番号ｎの位置座標（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）に等しい。

このように、始点と終点の位置情報（絶対値）７３２を保存しておけば、図７Ｂの差分軌跡情報保存テーブル７２０を図７Ａの軌跡情報保存テーブル７１０に変換することができる。特に、終点の位置座標（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）を保存しておくことで、アバターの表示を効率良く実行できるようになる。その理由を説明する。

後述するように、アバターの表示は軌跡の終点（ポイント番号ｎ）から時間を逆行させて行う。その際、表示を開始する終点の位置座標が分からない場合には、これを算出するために、図７Ｃの始点の位置座標（Ｘ_０，Ｙ_０，Ｚ_０）に、図７Ｂの全ての差分位置座標７２２を加算せねばならなくなる。終点の位置座標（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）が分かっていれば、始めにその位置座標にアバターを表示する。次にアバターを表示する位置は、現在の位置座標から図７Ｃのポイント番号ｎにおける差分位置座標（ΔＸｎ，ΔＹｎ，ΔＺ_ｎ）を減算することで容易に算出できる。以後同様に繰り返せばよい。

これらの軌跡情報（軌跡情報保存テーブル７１０、差分軌跡情報保存テーブル７２０、始点・終点位置座標テーブル７３０）は、記憶部４０の各種データ４２に保存するだけでなく、図３で説明したように、ネットワーク５を介して外部のサーバ６に、軌跡ポイント毎もしくは軌跡情報のテーブルが完了した時点で、保存することもできる。サーバ６にデータを保存することにより、ＨＭＤ１に保存するデータ量を削減することができる。

次に、撮影データの保存について説明する。撮影データは静止画と動画の両方に対応している。
図８Ａは、静止画を保存する静止画データ格納テーブル８１０を示す。静止画データ格納テーブル８１０は、撮影指示があった時点の軌跡ポイントを示すポイント番号８１１、撮影方向を示す撮影方向８１２、撮影データサイズ８１３、撮影データ８１４から構成される。この例では、軌跡ポイントｋ（ポイント番号ｋ）の地点で、ＨＭＤ１がΘ_ｋの方向で撮影し、撮影データサイズＭ_ｋの撮影データＤ_ｋを、記憶部４０の各種データ４２に保存（Ｓ１１５）している。

前記した軌跡情報保存テーブル７１０と、本例の静止画データ格納テーブル８１０とを紐付けして保存することにより、単位時間（ここでは１秒）毎のＨＭＤ１の移動位置に同期して撮影した静止画映像を再生することができる。

図８Ｂは、動画を保存する動画データ格納テーブル８２０を示す。動画データ格納テーブル８２０は、図８Ａの静止画の場合と同様に、撮影指示があった時点の軌跡ポイントを示すポイント番号８２１、撮影開始時の撮影方向８２２、撮影データサイズ８２３、撮影データ８２４から構成される。さらに動画の場合、撮影時刻（開始および終了）８２５を記述している。これは、動画撮影が複数の軌跡ポイントにまたがって撮影している場合に対応するためである。動画を単位時間毎（１秒毎）に再生すれば、アバター表示の時刻と同期させることができる。

この例では、軌跡ポイントｋ（ポイント番号ｋ）の地点で、ＨＭＤ１がΘ_ｋの方向で開始時刻Ｔ_ｋｓから撮影を開始し、終了時刻Ｔ_ｋeまで撮影したデータサイズＭ_ｋの撮影データＤ_ｋを、記憶部４０の各種データ４２に保存（Ｓ１１５）している。動画データの再生は、ＨＭＤの表示画面全体でも良いが、本例では、縮小子画面で表示し、動画撮影開始時刻Ｔ_ｋｓから動画撮影終了時刻Ｔ_ｋeまで再生する。

これらの撮影データの情報（静止画データ格納テーブル８１０、動画データ格納テーブル８２０）についても、図３で説明したように、ネットワーク５を介して外部のサーバ６に保存することにより、ＨＭＤ１に保存すべきデータ量を削減することができる。

次に、ＨＭＤ１のアバター表示処理（Ｓ２００）について説明する。この処理手順は、記憶部４０の各種プログラム４１に格納されている。アバターの表示は、アバター情報保存機能１６からアバター情報を抽出して（アバター生成機能１７）、ＨＭＤ１の表示部７２にアバターを表示する（アバター表示機能１８）。アバターの形状は、ユーザと等身大の大きさで、アバターの身長はユーザ自身が設定する。便宜的には、起立した状態で、センサ部５０の距離センサ５３により、地面からの距離（ＨＭＤ１の地面からの高さ）に１０ｃｍを加えた高さを身長とすることもできる。アバターの表示位置は、軌跡情報保存テーブル７１０等に保存されている位置情報に従い、ＨＭＤの表示部７２に背景映像に重畳して表示する。

使用する軌跡情報や撮影データが、ＨＭＤ内の各種データ４２に保存されている場合はその軌跡情報や撮影データを使用するが、通信処理部６０のＬＡＮ通信部６１を介して外部のサーバ６に保存している場合は、サーバ６から入手して使用する。

本実施例では、ユーザの軌跡ポイントに基づいて、時間的に新しい軌跡情報から古い軌跡情報へ逆戻りさせてアバターを表示する。このように時間的に逆行した表示順とすることで、ユーザは終点（現在地点）から始点（出発地点）まで実際に通過した同じ経路で戻ることができる。

図９Ａは、アバター表示処理（Ｓ２００）の全体を示すフローチャートである。
Ｓ２１０：アバター表示処理（Ｓ２００）を開始する。本例では、ユーザがアバター表示開始を意味する音声コマンド「アバターカイシ」を発声することにより、アバター表示開始指示と判断する。

Ｓ２１１：ユーザが装着している現時点のＨＭＤ１の位置と方向を検出する。検出方法は前記軌跡収集処理（Ｓ１００）におけるＳ１１３と同様に、センサ部５０のＧＰＳセンサ５１、地磁気センサ５２、高さセンサ５６等で行う。
Ｓ２１２：軌跡情報保存テーブル７１０（または差分軌跡情報保存テーブル７２０）を参照し、現時点のＨＭＤ１の位置に最も近い位置座標のポイント番号ｓを検索する。すなわち、現在位置が軌跡収集の終点であればｓ＝ｎとなるが、もしユーザがその後終点から移動した場合にはｓ≠ｎとなることもある。
Ｓ２１３：表示するポイント番号ｍの初期値として、現在位置に最も近いポイント番号ｓを設定する。これにより、ユーザの現在位置に近い軌跡ポイントから表示を行うことができる。

Ｓ２１４：タイマーを起動する。タイマーは、主制御部１０に内蔵されているクロックを用いる。タイマーを使用するのは、ユーザの軌跡が一定時間間隔（単位時間）で収集されているので、これに合わせて表示するためである。ただし、アバター表示に使用する単位時間を、軌跡収集処理の単位時間と異ならせ、任意の係数を乗じた時間とすることもできる。例えば、アバター表示に使用する単位時間を、１／２の時間（本例では０.５秒）に設定すれば、表示したアバターを２倍速で移動させることができる。逆に、アバター表示に使用する単位時間を、２倍の時間（本例では２秒）に設定すれば、表示したアバターを１／２速（スロー）で移動させることができる。また、軌跡ポイントと軌跡ポイントとの間にアバターを順次（例えば１／２４秒毎）補間して表示することにより、アバターを動画表示（アニメーション）することもできる。

Ｓ２１５：アバターを表示する位置と方向を算出する。軌跡情報が軌跡情報保存テーブル７１０に保存されている場合は、ポイント番号ｍに対応する位置座標７１２の値（Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍ）を読み出して、アバターを平面的位置（Ｘ_ｍ，Ｙ_ｍ）、高度（Ｚ_ｍ）に配置する。
軌跡情報が差分軌跡情報保存テーブル７２０に保存されている場合は、ポイント番号（ｍ＋１）における差分位置座標７２２の値（差分値）を読み出して、前回の表示位置（ポイント番号＝ｍ＋１）から減算する。すなわち、
Ｘ_ｍ＝Ｘ_ｍ＋１－ΔＸ_ｍ＋１，Ｙ_ｍ＝Ｙ_ｍ＋１－ΔＹ_ｍ＋１，Ｚ_ｍ＝Ｚ_ｍ＋１－ΔＺ_ｍ＋１
となる。ただし、初回（ｍ＝ｓ）については、始点・終点位置座標テーブル７３０に記述された終点の位置座標（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）、およびポイント番号ｓまでの差分位置座標７２２の値を用いて算出する。
アバターの向いている方向は、便宜的に、前回の軌跡ポイント（ｍ＋１）と今回の軌跡ポイント（ｍ）を結ぶ方向とする。

Ｓ２１６：現時点のＨＭＤ１の位置と方向を検出する。これはＳ２１１と同じ処理であり、初回（ｍ＝ｓ）についてはＳ２１１で検出済みなので省略できる。
Ｓ２１７：視界算出機能１９により、現時点のＨＭＤ１の位置と方向から、ＨＭＤ１の表示領域、すなわちユーザの視野領域を求め、Ｓ２１５で算出したアバターの配置位置が表示領域内かどうかを判断する。ＨＭＤ１の表示領域内にアバターを配置できると判断した場合はＳ２１８へ進み、アバターを配置できないと判断した場合はＳ３００の救済処理を行う。Ｓ３００の救済処理では、ユーザに対し視野方向を変えさせるとかユーザをアバターの見える位置まで移動させるなどの誘導処理を行うもので、詳細は図９Ｂで後述する。このＳ２１７の判断処理とＳ３００の救済処理により、ユーザの視界内にアバターを配置させることができ、ユーザはアバターを見失うことなく、あるいはアバターを追い越すことなく移動（追跡）することができる。

Ｓ２１８：ＨＭＤ１の表示領域内にアバターが表示できると判断した場合は、アバター情報保存機能１６からアバター情報を読み出してアバターを生成する。そして、ＨＭＤ１の表示部７２に、Ｓ２１５で算出したアバターの表示位置と方向となるようアバターを表示する。

Ｓ２１９：静止画データ格納テーブル８１０または動画データ格納テーブル８２０を参照し、表示している現在のポイント番号ｍが撮影ポイントｋであるかどうかを判断する。軌跡ポイントが撮影ポイントであると判断した場合は、Ｓ２２０へ進む。撮影ポイントでないと判断した場合は、Ｓ２２２へ進む。
Ｓ２２０：現時点が撮影ポイントであることを報知する。撮影ポイントの報知方法は、表示中のアバターの色を変えたり、アバターをブリンク（点滅）させたりすることでユーザに知らせる。
Ｓ２２１：ユーザの指示により、静止画データ格納テーブル８１０または動画データ格納テーブル８２０から該当する撮影データを読み出して再生する。撮影データの再生は、音声コマンド「サイセイ」により実行する。撮影データの再生は、ＨＭＤの表示画面全体でも良いが、本例では、縮小子画面で表示し、一定の時間表示を継続した後に撮影データの再生を終了する。

Ｓ２２２：ユーザにより、アバター表示処理の終了が指示されたかどうかを判断する。例えば、音声コマンド「アバターオワリ」により、アバター表示処理の終了指示であると判断する。アバター表示処理の終了が指示された場合は、Ｓ２２６へ進み、アバター表示処理を終了する。
Ｓ２２３：単位時間を経過したかどうかを判断する。単位時間を経過したと判断した場合は、Ｓ２２４へ進む。単位時間を経過しないと判断した場合は、Ｓ２２２へ戻る。
Ｓ２２４：ポイント番号ｍから１を減算して新しいポイント番号とする。これにより、時間的に遡った１つ前の軌跡ポイントに戻る。

Ｓ２２５：新しいポイント番号ｍの値が０未満になったかどうか（すなわち軌跡の始点ｍ＝０を越えたかどうか）を判断する。ポイント番号ｍの値が０未満にならなかった場合は、Ｓ２１４に戻り、次の軌跡ポイントについてアバター表示を継続する。ポイント番号ｍの値が０未満になった場合は、全ての軌跡ポイントでのアバターの表示が完了しているので、Ｓ２２６に進みアバター表示処理を終了する。

図９Ｂは、図９Ａにおける救済処理（Ｓ３００）を示すフローチャートである。この処理は、Ｓ２１７の判定でＮｏの場合、すなわちアバターを表示領域内に配置できない場合に実施する。処理終了後はＳ２１１へ戻る。

Ｓ３０１：視界算出機能２０により、ＨＭＤ１の方向転換でアバターを配置可能かを判断する。可能であればＳ３０２へ進み、不可能である場合はＳ３０３へ進む。
Ｓ３０２：ＨＭＤがアバターの存在方向に向いていない場合に該当するので、ユーザにＨＭＤの方向を転換するように音声又は表示でガイドする。例えば、音声処理部８０の音声復号部８３により音声ガイド「ミギ」、「ヒダリ」等を発生する。その際、アバターを画面に出して発声させても良い。その後、Ｓ２１１へ戻る。

ここで図１０Ａは、Ｓ３０２の方向転換ガイド表示の例を示す図である。表示画面４００にアバター３が出現して、右側にアバターが存在する旨のメッセージ４０１を表示している。これに呼応してユーザが右側を向くと、図９ＡのＳ２１６でＨＭＤの新たな方向を検出する。Ｓ２１７の判定では新たな表示領域内にアバターが存在することになり、Ｓ２１８でアバターを表示することができる。

Ｓ３０３：Ｓ３０１でＨＭＤ１の方向転換ではアバターの配置が不可能な場合、現在位置が軌跡収集したいずれのポイントからも離れている場合と考えられる。そこで、ユーザを近接ポイントへ誘導するために、地図情報が取得できるかどうかを判断する。例えば、ナビゲーションアプリを利用できる場合はＳ３０４へ進む。地図情報が取得できない場合はＳ３０６へ進む。

Ｓ３０４：ナビゲーションアプリを利用して、Ｓ２１２で検索した最も近い軌跡ポイントｓへのルート解析を行う。
Ｓ３０５：軌跡ポイントｓまでのルート情報（新たな軌跡ポイント）を軌跡情報保存テーブル７１０に追加する。その後Ｓ２１１へ戻り、追加した軌跡ポイントを含めてアバターの表示対象位置となる。その結果、Ｓ２１７ではＨＭＤの表示領域内にアバターが配置されることになり、Ｓ２１８でアバターを表示することができる。

Ｓ３０６：Ｓ３０３で地図情報を取得できない場合は、最も近い軌跡ポイントｓへの移動方角をユーザに提示する。提示方法は、音声またはＡＲ表示で行う。その後、Ｓ２１１へ戻る。ユーザは提示された方角に移動すると、最も近い軌跡ポイントｓへ近づくことができる。その結果、Ｓ２１７では表示領域内にアバターが配置されることになり、Ｓ２１８でアバターを表示することができる。

ここで図１０Ｂは、Ｓ３０６の移動方角ガイド表示の例を示す図である。表示画面４００には、ユーザが移動すべき方角をＡＲ表示４０２により知らせている。ＡＲ表示４０２は進む方向が分かればよく、文字やアイコン（矢印）等を用いている。

以上のように、アバターをＨＭＤ表示領域に配置できないと判断した場合は、Ｓ３００の救済処理を行うことで、ユーザをアバターの見える位置や方向に誘導することができる。これにより、ユーザはアバターを見失うことなく移動（追跡）することができる。

図１１Ａと図１１Ｂは、アバターの表示例を示す図である。この例は、前記図５に示した軌跡収集時の模式図に対応させている。
図１１Ａの表示画面４００では、軌跡収集したＨＭＤの各軌跡ポイントを時間的に逆行させてアバター３を表示する。すなわち、アバター３の表示位置を軌跡ポイント５０４、５０３、５０２、５０１（●印で表示）の順に、矢印方向に移動させて表示する。この中で軌跡ポイント５０３は撮影ポイントｋであるので、他の位置と識別するため◎印で表示している。また、軌跡収集処理の過程でユーザ２（ＨＭＤ）が向いていた方向を再現するため、アバター３を移動させるときの体の向きを、アバター３の進行方向とは逆向き（後ろ向き）の姿勢として、元来た経路を戻る様子を示している。

図１１Ｂの表示画面４００は、軌跡ポイント５０３でのアバター３の表示状態を示す。軌跡ポイント５０３は曲がり角なので、アバター３の向きを変えている。またこの軌跡ポイント５０３は撮影ポイントであるので、アバター３の色を変えて表示している。ここでユーザが撮影データの再生を指示すると、撮影ポイントにて撮影した被写体５１０の画像５１０’が表示される。

本例では、戻り経路の道順をユーザに知らせるため、表示画面４００上に軌跡ポイント（●印）と進行方向（矢印）を表示しているが、これらを非表示とすることもできる。
また、アバターの軌跡ポイントを単位時間（１秒）毎に表示しているが、これに限らず、他の時間間隔で表示することもできる。例えば、1／２４秒毎に補間して表示すると、アバターが映画のような滑らかな動画で表示される。

次に、ＨＭＤ１に対するユーザの操作方法について説明する。上記したように、本実施例では、ユーザの操作として音声コマンドを使用している。
図１２は、ＨＭＤの操作に使用する音声コマンドの例を示すテーブルである。音声コマンドテーブル６００の項目は、コマンドの分類６０１と、ユーザの発する音声コマンド６０２と、コマンドの名称６０３と、処理内容６０４から構成されている。

音声コマンドの分類６０１は、軌跡収集関連とアバター表示関連に分けられる。軌跡収集関連の音声コマンド６０２には、軌跡収集処理を開始する「キセキカイシ」「キセキスタート」、軌跡収集処理を終了する「キセキオワリ」「キセキエンド」、静止画を撮影する「サツエイ」「キロク」、動画撮影を開始する「サツエイカイシ」「キロクスタート」、動画撮影を終了する「サツエイオワリ」「キロクエンド」などがある。

アバター表示関連の音声コマンド６０２には、アバター表示処理を開始する「アバターカイシ」「アバタースタート」、アバター表示処理を終了する「アバターオワリ」「アバターエンド」、静止画もしくは動画を再生する「サイセイ」「サツエイデータ」などがある。なお、ここに掲げた音声コマンドは一例であり、ユーザの好みに応じて適宜設定できることは言うまでもない。

一方ＨＭＤ１は、音声処理部８０の音声復号部８３の音声合成機能を用いて、ユーザの発した音声コマンドに対応する音声応答を行なうことができる。その結果、例えば、ユーザの音声コマンドと同じ音声（オウム返し）で応答することや、ユーザの音声コマンドの確認の音声応答などが可能となる。例えば、ＨＭＤからの問合せ「ＸＸデスネ？」に対して、ユーザの返答が「ハイ」ならば確認の音声「ＸＸヲジッコウシマス」で応答し、ユーザの返答が「イイエ」ならば確認の音声「ＸＸヲトリケシマス」で応答する。なお、ユーザが返答で用いる音声コマンド「ハイ」、「イイエ」は図１２には記載していないが、これらも音声コマンドテーブル６００に含まれることは言うまでもない。
さらに、音声復号部８３の音声合成機能を用いて、右方向への回転を促す音声「ミギ」や、左方向への回転を促す音声「ヒダリ」などの合成音声を発生させることができる。これは、図９ＢのＳ３０６の工程で利用することができる。

ＨＭＤ１に対する操作指示は、音声コマンド以外の方法でも実現できる。例えば、ＨＭＤ１の表示画面に操作メニューを表示して、ユーザがジェスチャー（手・指の動き）で選択するものである。その場合、映像処理部７０の撮像部７１によりユーザの指を撮影し、その撮影映像から指の動きを認識して操作に利用することができる。

図１３は、ユーザの指による操作指示を説明する図である。ＨＭＤ１の操作画面４１０には、選択メニューとして、例えば「写真」メニュー４１１と、「ビデオ」メニュー４１２が表示されている。メニュー表示は、半透明とするのが好ましいがこれに限定する訳ではない。

ユーザが例えば「ビデオ」メニュー４１２を選択するため、指４１５をＨＭＤ１の外側から表示画面４１０に近づけると、撮像部７１は、表示画面４１０に向かって次第に大きくなる指映像４１５を検出する。また、指映像４１５が「ビデオ」メニュー４１２に向かっていることを認識し、「ビデオ」が選択指定されたと判断する。それ以外の操作として、軌跡収集やアバター表示の開始時は、単に「開始」メニューのみを表示し、終了時は単に「終了」メニューを表示する。そして、撮像部７１によるユーザの指映像４１５の接近を検出して、開始または終了が指示されたと判断する。
これ以外に、ＨＭＤ１の操作入力部９０にタッチセンサを設け、ＨＭＤ１にユーザの手や指が触れたことを検出する方式でも良い。

実施例１によれば、移動の際に途中立ち寄った場所や戻り経路を失念したユーザに対し、戻り経路を分かりやすく案内することができる

実施例１では、ＨＭＤの位置座標を３次元（Ｘ，Ｙ，Ｚ）で保存していたが、実施例２では、２次元（Ｘ，Ｙ）の位置座標で保存する場合について説明する。実施例２におけるＨＭＤの基本構成は実施例１と同様であり、実施例１との相違点について説明する。

通常の平坦な地面での移動状態では高さ方向の変化は少ないので、高さ方向のデータを省略しても、平面位置座標に基づきアバターを表示させることができる。軌跡収集処理は実施例１（図６）と同じフローチャート（Ｓ１００）で行う。そして、収集したデータを、図１４Ａと図１４Ｂに示すテーブルで保存する。

図１４Ａは、２次元軌跡情報保存テーブル７４０を示すが、ここでは位置情報を差分値で保存している。項目として、各軌跡ポイントの番号を示すポイント番号７４１と、その軌跡ポイントの平面位置を示す差分位置座標７４２から構成される。差分位置座標７４２は前記図７Ｂのように、位置座標の絶対値ではなく、隣接する軌跡ポイント間の差分値（変化量）として、保存するデータ量を低減させている。

本例では、単位時間を１秒に設定しているので、ポイント番号１は、軌跡収集処理が開始された時点から１秒後の差分位置座標（ΔＸ１，ΔＹ_１）、ポイント番号ｋはｋ秒後の差分位置座標（ΔＸｋ，ΔＹ_ｋ）、ポイント番号ｎは軌跡収集処理が終了した時点（開始からｎ秒後）の差分位置座標（ΔＸｎ，ΔＹ_ｎ）をそれぞれ示している。差分位置座標の求め方は、実施例１（図７Ｂ）と同様である。

図１４Ｂは、軌跡収集の開始時／終了時の位置情報を保存する２次元始点・終点位置座標テーブル７５０を示す。このテーブルは、図１４Ａの２次元差分軌跡情報保存テーブル７４０を用いて、アバターの表示位置（絶対位置）を算出するときに必要になる。

項目は、軌跡収集の開始点か終了点かを区別する始点／終点区別７５１と、それぞれの位置情報を絶対値で示す位置座標７５２から構成され、前記図７Ｃと同様である。ただし位置座標７５２において、始点の位置座標（Ｘ_０，Ｙ_０，Ｚ_０）のみが高さ方向の位置座標（Ｚ_０）を保存している。これは、軌跡情報取得中に高度変化量が所定の値（閾値）を超えた場合に対応するためである。

実施例２では２次元の位置座標のみを扱っているが、高度が変化する場合については次のように処理する。
坂道を上る（下る）場合は、ＨＭＤの平面的位置座標の変化（ΔＸ，ΔＹ）が直線的であり、ＨＭＤの高度の変化（ΔＺ）も直線的になる。階段を上る（下る）場合は、ＨＭＤの平面的位置座標の変化（ΔＸ，ΔＹ）が階段幅分であり、ＨＭＤの高度の変化（ΔＺ）も階段の段差分になる。

エスカレータの場合は、ＨＭＤの平面的位置座標の変化（ΔＸ，ΔＹ）が直線的であり、ＨＭＤの高度の変化（ΔＺ）も直線的になる。坂道との識別は、エスカレータの方が加速度の変化量が少ないことから判別する。エレベータの場合は、ＨＭＤの平面的位置座標がほとんど変化しないで（ΔＸ＝０，ΔＹ＝０）、ＨＭＤの高度のみが変化する（ΔＺ≠０）。

このように、坂道、階段、エスカレータ、エレベータ等で移動する場合は、平面的位置座標と高度の検出値にそれぞれ特徴的な変化（ΔＸ，ΔＹ）、（ΔＺ）が生じるので、アバターを表示する際には、この変化を捉えて経路情報（坂道、階段、エスカレータ、エレベータ等）を表示する。また、坂道、階段、エスカレータ、エレベータ等の映像と重畳して表示することで、臨場感にあふれたアバターを表示できる。さらに、地下街マップ等の地図情報とリンクすることにより、大きな効果が得られる。

高度変化量が所定の値（閾値）を超えた場合は、２次元の軌跡情報保存テーブル７４０，７５０による軌跡収集処理を軌跡Ａとして終了する。そして新規に、実施例１の３次元の軌跡情報保存テーブル７１０～７３０による軌跡収集処理に移行し、軌跡Ｂとする。その後、高度変化量が閾値に収まった場合に、２次元の軌跡情報保存テーブル７４０，７５０による軌跡収集処理を再開して軌跡Ｃとする。
この手法により、保存するデータ量を極力少なくすることができる。勿論、実施例２の２次元軌跡情報保存テーブル７４０，７５０から、実施例１の３次元の軌跡情報保存テーブル７１０～７３０に変換することも可能である。

前記した実施例１，２では、センサ部５０のＧＰＳセンサ５１によりＧＰＳ情報（位置情報）の取得が比較的容易な屋外を想定したが、地下街や屋内のようにＧＰＳ情報の取得が困難な場合がある。ＧＰＳ情報が取得できない場合は、センサ部５０の加速度センサ５４やジャイロセンサ５５などからの情報により補完する。

始点から終点まで一度もＧＰＳ情報等から位置情報が取得できなかった場合は、始点の位置座標がＸ０＝０，Ｙ０＝０のまま格納する。その場合は、高さの位置座標についても、Ｚ０＝０として格納する。さらに、終点の位置座標については、始点から終点までの全ての差分位置座標を積算して算出する。

実施例１では、アバター表示の際、アバターの向きを進行方向と逆にして、後ろ向きでアバターを進行させた。これに対し実施例３では、アバターの向きを進行方向に向けて表示する。
図１５は、実施例３におけるアバター表示の模式図である。表示画面４００において、アバター３を進行方向に向く姿勢（前向き）で表示している。すなわち、現在の軌跡ポイント５０３から次の軌跡ポイント５０２へのベクトル方向にアバター３の向きを設定している。これにより、実施例１（図１１Ｂ）に示したようなアバターの向きにより生じるユーザの違和感（アバターの進行方向とアバターの向きが一致しないこと）を解消することができる。

なお、アバターの向きを前向き（実施例３）にするか、あるいは後ろ向き（実施例１）にするかは、ユーザの好みにも依存する。よって、アバターの向きをいずれの表示形態にするかをユーザが選択して設定できる構成がより好ましい。

実施例４では、ＨＭＤの視界に建物等が存在し、アバターがその陰に位置するときにはアバターを非表示にする。
図１６は、実施例４におけるアバター表示の模式図である。ここでは、アバター３を後ろ向きで進行させている。そして移動経路の近くに建物５２１と建物５２２が存在し、アバター３が建物５２１で隠れる場合を示している。このような場合には、アバター３は建物５２１により隠れる部分を表示しないように制御する。アバター３が隠れるか否かは、建物５２１、５２２とアバター３までの距離を比較することで判断でき、建物５２１、５２２までの距離は距離センサ５３で測定可能である。

これにより、ＨＭＤを介して視認できる実空間にアバターを重ねて表示するとき、違和感のない現実的な表示が可能になる。なお、アバター全体が隠れてこれを完全に非表示にすると、それ以降追跡することができなくなる恐れがある。そこで、隠れたアバターの部分を半透明に表示することで、追跡可能にする構成でも良い。

建物５２１や建物５２２の映像は、例えば、道路沿いの風景をパノラマ写真で提供するインターネットサービスであるのストリートビュー（Ｇｏｏｇｌｅ社）などを利用して表示することもできる。また、ＨＭＤ１の位置・方向により、建物等に付随する建物等の名称なども利用することができる。

実施例５では、撮影の指示をユーザではなく、自動的に撮影する構成とする。
ＨＭＤの撮像部７１は、始点から撮影を開始し、現時点から一定時間（例えば、軌跡収集処理で使用する軌跡ポイント間の単位時間の２倍の長さ）の映像を、常にループ撮影して一時保存する。これにより自動的に撮影される映像は、現時点から一定時間（例えば２秒）だけ遡った動画もしくは静止画となる。静止画の場合は、軌跡ポイントと次の軌跡ポイントとの間に、１個もしくは２個程度の静止画を一時保存するだけで十分機能は発揮できる。そして、移動経路中の特異箇所、例えば移動方向を変えた地点において撮影した映像を残すようにする。

自動撮影の具体的動作を、前記図５の軌跡収集模式図を用いて説明する。図５において、軌跡ポイント５０４の時点では、軌跡ポイント５０２から軌跡ポイント５０４までの映像（単位時間の２倍の長さ）が一時保存されている。ただし、軌跡ポイント５０３において移動方向（ポイント間の移動ベクトル）が９０度変化している。そこで、移動ベクトルの方向が大きく変化する直前の映像として、軌跡ポイント５０２から軌跡ポイント５０３までに撮影した映像を自動的に保存する。保存する軌跡ポイント５０３の映像データは、動画（軌跡ポイント５０３までに撮影した動画フレーム）でも、静止画（軌跡ポイント５０３の撮影データ）でも良い。

実施例５の撮影方法によれば、ユーザが進行方向を変えた場合に進行方向を変える直前の進行方向の映像が保存されるので、ユーザの記憶を呼び起こすのに最適な映像を表示することができる。

実施例６では、軌跡収集処理においてユーザの姿勢等の情報も収集して、アバターを表示する際に反映させるようにした。
例えば、センサ部５０の距離センサ５３により、地面もしくは床面からＨＭＤ１までの距離（すなわちユーザの頭部の高さ）を検出し、軌跡ポイント毎に収集する。この検出値をユーザの身長（既知）と比較することで、ＨＭＤ１を装着したユーザの姿勢（立っている、座っている、しゃがんでいる、寝ている等）を推定することができる。この姿勢情報を表示するアバターに反映させて、立っているアバターや座っているアバターなどの表示を行う。

また、センサ部５０の地磁気センサ５２により、ＨＭＤ１を装着したユーザの顔の向きが分かる。この顔の向きの情報を表示するアバターに反映させ、軌跡ポイント毎にアバターの顔の向き変えるようにする。なお、アバターの体の向きは、顔の向きで推定して変化させても良いが、軌跡ポイント間のベクトル情報（進行方向）に合わせても良い。これらの表示により、より臨場感のあるアバターを表示することができる。

実施例７では、軌跡収集処理において各軌跡ポイントを通過した時刻を記憶しておき、アバター表示の際、表示画面に通過時刻を表示する。
図１７Ａは、実施例７における軌跡情報保存テーブル７１０’の例を示す。実施例１（図７Ａ）の軌跡情報保存テーブル７１０に対し、各軌跡ポイントを通過した通過時刻７１３を追加して記載している。

図１７Ｂは、アバターの表示例を示す図である。表示画面４００には、アバター３の表示とともに通過時刻４２０を表示している。この時刻は、図１７Ａの軌跡情報保存テーブル７１０’において、現在アバターを表示しているポイント番号７１１に対応する通過時刻７１３を参照すればよい。

このように実施例７によれば、現在表示している軌跡ポイントをユーザがいつ通過したかが表示されるので、ユーザの記憶を呼び起こすのに有効な情報となる。

実施例８では、携帯型の映像表示装置としてＨＭＤの代わりにスマートフォンを使用する場合について説明する。スマートフォンは、ＨＭＤとほぼ同じハードウェア構成及びソフトウェア構成を有し、同等の機能を実現できる。

図１８は、スマートフォン９の外観を示す図であり、（ａ）は映像を表示する正面側、（ｂ）はカメラを有する背面側である。
（ｂ）に示すように背面側にはカメラ９０１を有し、外景を撮影する。スマートフォン９の内部には、３次元位置やカメラ９０１の方向を検出するセンサを有し、ＨＭＤと同等に軌跡情報を収集することができる。

（ａ）に示すように正面側には、タッチパネルが組み込まれた表示画面９０２を有し、外景にカメラ９０１を向けて撮影した映像を表示する。そして表示画面９０２には、表示されている外景の映像に合わせ、前記収集した軌跡情報に基づき、実施例１（図１１Ａ）と同様にアバター３を重畳して表示することができる。

ＨＭＤと比較するとスマートフォン９の場合には、軌跡情報収集における撮影処理では、その都度カメラ９０１を被写体に向けて撮影する必要があり、撮影ポイントが多くなると撮影操作が煩雑になる。また、自動撮影については、ユーザがカメラ９０１の撮影方向を一定に維持するのは、現実的でないなどの欠点もある。しかしながら、既存のスマートフォンで軌跡情報収集をすることができるので、利便性が向上する。但し、ユーザが撮影しながら移動するには困難が伴うので、主要なポイントのみ単独で行なう方が現実的である。

ここでは、携帯型の映像表示装置としてスマートフォンを例に挙げたが、同等及び近似のハードウェア構成やソフトウェア構成があれば、本実施例の動作を実現することができる。例えば、ノートＰＣやタブレットＰＣ等にも適用可能である。

実施例９では、ＨＭＤを装着した複数のユーザが連携して使用する映像表示システムについて説明する。
図１９は、複数のＨＭＤを接続した映像表示システムの構成を示す図である。ここでは、２人のユーザ２ａ，２ｂの場合を示し、それぞれＨＭＤ１ａとＨＭＤ１ｂを装着している。２人以外の場合も同様である。

ユーザ２ａが装着したＨＭＤ１ａは、無線ルータ４ａ及びネットワーク５を介して外部のサーバ６に接続されている。また、ユーザ２ｂが装着したＨＭＤ１ｂは、無線ルータ４ｂ及びネットワーク５を介して、同じサーバ６に接続されている。ＨＭＤ１ａ（ユーザ２ａ）とＨＭＤ１ｂ（ユーザ２ｂ）が近距離の場合は、無線ルータ４ａ，４ｂを共通とすることができる。

この場合、それぞれのＨＭＤ１ａ，１ｂではそれぞれのユーザ２ａ，２ｂの軌跡収集を行う。そして、ＨＭＤ１ａを装着したユーザ２ａの軌跡情報と、ＨＭＤ１ｂを装着したユーザ２ｂの軌跡情報は、共通のサーバ６に保存する。その後、サーバ６から２人の軌跡情報を読み出して、それぞれのＨＭＤ１ａ，１ｂにて、２人の仮想映像である２つのアバターとして表示する。これにより、それぞれの軌跡をアバターにより相互に参照することができる。

図２０は、複数のアバターの表示例を示す模式図である。例えばＨＭＤ１ａの表示画面４００ａには、ＨＭＤ１ａを装着したユーザ２ａのアバター３ａに加えて、ＨＭＤ１ｂを装着したユーザ２ｂのアバター３ｂが表示されている。そして、２人が行動した軌跡５２０ａ、５２０ｂがそれぞれの軌跡ポイント（●印と▲印）で表示され、２人の位置関係を時間を逆行させて表示することができる。この例では軌跡ポイント５２１の交差点で２人が合流したことが分かる。ＨＭＤ１ｂの表示画面４００ｂでも、同様に表示される。

このように実施例９によれば、複数のユーザのお互いの軌跡を相互に確認することができる。この結果付随的な効果として、軌跡収集中に他のユーザが視界から外れた場合、他のユーザの位置を即座に知ることができる。

本実施例の実用的な形態として、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信を用いて、携帯型情報端末間で通信を行うことにより、無線ルータ４やネットワーク５を介したサーバ６を使用しない構成も可能である。例えば、親子連れで移動中に子供にスマートフォンを携帯させ、子供が行方不明になったような場合に、親のＨＭＤまたはスマートフォンで即座に探すことができる。

以上、本発明の実施形態の例を実施例１～９を用いて説明したが、言うまでもなく、本発明の技術を実現する構成は前記実施例に限られるものではなく、様々な変形例が考えられる。例えば、ある実施例の構成の一部を他の実施例の構成と置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。

前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、マイクロプロセッサユニット等がそれぞれの機能等を実現するプログラムを解釈して実行することによりソフトウェアで実現しても良い。ハードウェアとソフトウェアを併用しても良い。前記ソフトウェアは、製品出荷の時点で、予めＨＭＤ１の各種プログラム４１等に格納された状態であっても良い。製品出荷後に、インターネット上の各種サーバ装置等から取得するものであっても良い。また、メモリカードや光ディスク等で提供される前記ソフトウェアを取得するものであっても良い。

また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えても良い。

１…ＨＭＤ（映像表示装置）、２…ユーザ、３…アバター、４…無線ルータ、５…ネットワーク、６…サーバ、９…スマートフォン（映像表示装置）１０…主制御部、４０…記憶部、５０…センサ部、５１…ＧＰＳセンサ、５２…地磁気センサ、５３…距離センサ、５６…高度センサ、６０…通信処理部、７０…映像処理部、７１…撮像部、７２…表示部、８０…音声処理部、９０…操作入力部。

Claims (11)

1. ユーザが携帯し、該ユーザの移動軌跡を映像で表示する映像表示装置において、
   前記映像表示装置を複数のユーザが頭部にそれぞれ装着して使用し、
   前記映像表示装置は、それぞれ、
   当該映像表示装置を装着した各ユーザの位置と方向と頭部の高さを検出するセンサと、
   前記センサの検出結果から前記各ユーザの移動軌跡の情報を取得する軌跡情報取得部と、
   当該ユーザが携帯する映像表示装置と他のユーザが携帯する映像表示装置の間で、当該ユーザと他のユーザの軌跡情報と、当該ユーザと他のユーザを示す仮想映像であるそれぞれのアバター情報とを送受信する通信処理部と、
   前記軌跡情報取得部にて取得した当該ユーザの軌跡情報と、前記通信処理部にて取得した他のユーザの軌跡情報と当該ユーザと他のユーザのアバター情報とを保存する記憶部と、
   当該ユーザと他のユーザの移動軌跡を当該ユーザと他のユーザのアバターで表示する表示部と、
   前記軌跡情報取得部、前記通信処理部、前記記憶部、前記表示部を制御する制御部と、を備え、
   前記制御部は、
   前記センサが検出したユーザの頭部の高さと方向の情報を前記軌跡情報として前記記憶部に保存し、
   前記記憶部に保存された当該ユーザと他のユーザのアバターの情報から当該ユーザと他のユーザのアバターを生成するとともに、前記センサにより現在の当該ユーザの視界領域を求め、
   前記記憶部に保存された当該ユーザの軌跡情報と、前記通信処理部にて受信した他のユーザの軌跡情報をもとに、現在の当該ユーザの視界領域に合わせ、当該ユーザの移動軌跡に当該ユーザのアバターを配置し、他のユーザの移動軌跡に他のユーザのアバターを配置して前記表示部に表示し、
   当該ユーザのアバターを当該ユーザの移動軌跡に沿って移動させ、他のユーザのアバターを他のユーザの移動軌跡に沿って移動させる際に、時間的に新しい軌跡情報から古い軌跡情報に向かって移動させ、当該ユーザと他のユーザのアバターを生成して表示させるとき、前記記憶部に保存された当該ユーザの頭部の高さと方向の情報をもとに、当該ユーザの身長情報と比較して、当該ユーザのアバターの姿勢と顔の向きを決定することを特徴とする映像表示装置。
2. 請求項１記載の映像表示装置において、
   他のユーザのアバターを生成して表示させるとき、前記記憶部に保存された他のユーザの頭部の高さと方向の情報をもとに、他のユーザの身長情報と比較して、他のユーザのアバターの姿勢と顔の向きを決定することを特徴とする映像表示装置。
3. 請求項１記載の映像表示装置において、
   前記制御部は、現在の前記当該ユーザの視界領域内に前記当該ユーザのアバターを配置できないとき、前記当該ユーザに対し、視野方向を変えさせる、または前記当該ユーザのアバターの見える位置まで移動させるための誘導処理を行うことを特徴とする映像表示装置。
4. 請求項１記載の映像表示装置において、
   前記軌跡情報取得部は、前記各ユーザの移動軌跡の情報を予め定めた単位時間毎に取得して、各軌跡ポイントの位置座標を前記記憶部に保存し、
   前記制御部は、前記単位時間毎、あるいは前記単位時間に任意の係数を乗じた時間毎に、前記記憶部から各軌跡ポイントの位置座標を読み出して、該位置座標に前記当該ユーザのアバターと前記他のユーザのアバターを配置することを特徴とする映像表示装置。
5. 請求項４記載の映像表示装置において、
   前記軌跡情報取得部は、各軌跡ポイントの位置座標を、時間的に１つ前の軌跡ポイントの位置座標との差分値として前記記憶部に保存するとともに、少なくとも終点の軌跡ポイントの位置座標は、絶対値として前記記憶部に保存することを特徴とする映像表示装置。
6. 請求項４記載の映像表示装置において、
   さらに外景を撮影する撮像部を備え、
   前記撮像部で撮影した撮影データを、撮影位置である撮影ポイントと対応付けて前記記憶部に保存し、
   前記制御部は、前記当該ユーザのアバターの位置が前記撮影ポイントにあるとき、前記記憶部に保存された撮影データの映像を前記表示部に表示することを特徴とする映像表示装置。
7. 請求項６記載の映像表示装置において、
   前記制御部は、前記撮像部で撮影した撮影データのうち、前記各ユーザの移動軌跡の方向が変化した撮影ポイントにおいて撮影された映像を前記記憶部に保存し、
   前記制御部は、前記当該ユーザのアバターの位置が前記当該ユーザの移動軌跡の方向が変化した撮影ポイントにあるとき、前記記憶部に保存された撮影データの映像を前記表示部に表示することを特徴とする映像表示装置。
8. 請求項４記載の映像表示装置において、
   さらに外景を撮影する撮像部を備え、
   前記表示部には、前記撮像部で撮影されている現在の映像を表示するとともに、
   前記制御部は、前記表示部に表示されている外景の映像に合わせ、前記当該ユーザの移動軌跡に基づき前記当該ユーザのアバターを重畳して表示することを特徴とする映像表示装置。
9. ユーザが携帯し、該ユーザの移動軌跡を映像で表示する映像表示装置において、
   前記映像表示装置を複数のユーザが頭部にそれぞれ装着して使用し、
   前記映像表示装置は、それぞれ、
   当該映像表示装置を装着した各ユーザの位置と方向と頭部の高さを検出するセンサと、
   前記センサの検出結果から前記各ユーザの移動軌跡の情報を取得する軌跡情報取得部と、
   当該ユーザが携帯する映像表示装置と他のユーザが携帯する映像表示装置の間で、当該ユーザと他のユーザの軌跡情報と、当該ユーザと他のユーザを示す仮想映像であるそれぞれのアバター情報とを送受信する通信処理部と、
   前記軌跡情報取得部にて取得した当該ユーザの軌跡情報と、前記通信処理部にて取得した他のユーザの軌跡情報と当該ユーザと他のユーザのアバター情報とを保存する記憶部と、
   当該ユーザと他のユーザの移動軌跡を当該ユーザと他のユーザのアバターで表示する表示部と、
   前記軌跡情報取得部、前記通信処理部、前記記憶部、前記表示部を制御する制御部と、を備え、
   前記制御部は、
   前記センサが検出したユーザの頭部の高さと方向の情報を前記軌跡情報として前記記憶部に保存し、
   前記記憶部に保存された当該ユーザと他のユーザのアバターの情報から当該ユーザと他のユーザのアバターを生成するとともに、前記センサにより現在の当該ユーザの視界領域を求め、
   前記記憶部に保存された当該ユーザの軌跡情報と、前記通信処理部にて受信した他のユーザの軌跡情報をもとに、現在の当該ユーザの視界領域に合わせ、当該ユーザの移動軌跡に当該ユーザのアバターを配置し、他のユーザの移動軌跡に他のユーザのアバターを配置して前記表示部に表示し、
   当該ユーザのアバターを当該ユーザの移動軌跡に沿って移動させ、他のユーザのアバターを他のユーザの移動軌跡に沿って移動させる際に、時間的に新しい軌跡情報から古い軌跡情報に向かって移動させ、前記当該ユーザのアバターと前記他のユーザのアバターを移動させるときの体の向きを、前記当該ユーザのアバターと前記他のユーザのアバターの進行方向とは逆向きに表示することを特徴とする映像表示装置。
10. ユーザが携帯する映像表示装置を用いて、該ユーザの移動軌跡を映像で表示する映像表示方法において、
    前記映像表示装置を複数のユーザが頭部にそれぞれ装着して使用し、当該映像表示装置を装着した各ユーザの位置と方向と頭部の高さを検出するステップと、
    検出結果から前記各ユーザの移動軌跡の情報を取得するステップと、
    当該ユーザが携帯する映像表示装置と他のユーザが携帯する映像表示装置の間で、当該ユーザと他のユーザの軌跡情報と、当該ユーザと他のユーザを示す仮想映像であるそれぞれのアバター情報とを送受信するステップと、
    取得した当該ユーザと他のユーザの軌跡情報と、当該ユーザと他のユーザのアバター情報とを保存するステップと、
    当該ユーザと他のユーザの移動軌跡を当該ユーザと他のユーザのアバターで表示するステップと、
    検出したユーザの頭部の高さと方向の情報を前記軌跡情報として保存するステップと、
    保存された当該ユーザと他のユーザのアバターの情報から当該ユーザと他のユーザのアバターを生成するとともに、現在の当該ユーザの視界領域を求めるステップと、
    保存された当該ユーザの軌跡情報と、受信した他のユーザの軌跡情報をもとに、現在の当該ユーザの視界領域に合わせ、当該ユーザの移動軌跡に当該ユーザのアバターを配置し、他のユーザの移動軌跡に他のユーザのアバターを配置して表示するステップと、
    当該ユーザのアバターを当該ユーザの移動軌跡に沿って移動させ、他のユーザのアバターを他のユーザの移動軌跡に沿って移動させる際に、時間的に新しい軌跡情報から古い軌跡情報に向かって移動させ、当該ユーザと他のユーザのアバターを生成して表示させるとき、保存された当該ユーザの頭部の高さと方向の情報をもとに、当該ユーザの身長情報と比較して、当該ユーザのアバターの姿勢と顔の向きを決定するステップと、
    を備えることを特徴とする映像表示方法。
11. 請求項１０記載の映像表示方法において、
    他のユーザのアバターを生成して表示させるとき、保存された他のユーザの頭部の高さと方向の情報をもとに、他のユーザの身長情報と比較して、他のユーザのアバターの姿勢と顔の向きを決定するステップを備えることを特徴とする映像表示方法。

Images