JP7295224B2 - 画像表示装置、画像表示システムおよび画像表示方法 - Google Patents

Description

本発明は、ユーザが実際に位置する実空間とは位置が異なる別空間の画像を表示する画像表示装置、画像表示システムおよび画像表示方法に関する。

コンピュータなどで仮想世界の画像コンテンツを作成して表示し、ユーザが、まるでその仮想世界にいるような感覚を体験できるＶＲ（Virtual Reality：仮想現実）技術や、現実の風景にコンピュータなどで作成した画像コンテンツを重畳させて表示するＡＲ（Augmented Reality：拡張現実）技術などが知られ、ヘッドマウントディスプレイ（Head Mounted Display、以下、ＨＭＤという）やスマートフォンなどの端末により実用化されている。

上記技術を応用したゲームとして特許文献１には、携帯端末を使用し、プレーヤーが実際に現実世界を移動し、実在する店舗や施設などから実際の情報を取得するエンターテイメントシステムが開示されている。このゲームでは、「ユーザのいる周辺の地図をユーザ携帯端末に表示させ、ユーザにイベントスポットの選択をさせる。イベントスポットを選択するとクイズやミニゲームがユーザに提示される。ユーザは、地図を頼りに実際のイベントスポットに移動し、ヒントを得てクイズやミニゲームを行い、これらをクリアするとポイントを獲得する。」という構成になっている。

特開２００２－４９６８１号公報

ＶＲ技術やＡＲ技術によれば、ユーザが実際に位置する空間（以下、「実空間」という）に居ながら、実空間とは異なる位置の空間（以下、「別空間」という）の画像を見ることで、別空間に居るような体験をすることができる。

別空間の画像として、例えば、ユーザが過去に訪れた思い出の場所の風景やまだ訪れたことのない興味のある場所の風景を見るとき、単にその場所の画像を再生するだけでは、臨場感をもってその場所を体験することができない。臨場感を高めるためには、実空間と別空間を融合させること、例えば、ユーザ自身が現在の場所を実際に移動しながら他の場所の画像を見ることで、あたかも他の場所を実際に移動している感覚で他の場所を体験することができる。あるいは、ユーザが実空間の決まったコースを移動（散策、またはランニング）するとき、実空間のいつもの決まった風景を見るだけでは退屈になることがある。そのような場合、移動に伴って別空間の画像を見ることができれば、散策やランニングに新鮮味を与えユーザの退屈感を解消することができる。

特許文献１では、ユーザが携帯端末を使用して仮想空間のゲームを行う訳であるが、携帯端末に表示された地図を頼りに現実空間を移動してクイズのヒントを得る構成であり、仮想空間と現実空間とを組み合わせたゲームとみなすことができる。しかしながら特許文献１に記載の構成は、実空間と別空間を融合させたもの、すなわち、ユーザが実際に位置する空間と、それと異なる位置の空間を組み合わせたものではない。よってユーザは、別空間の画像を臨場感をもって体験することや、実空間での移動の際に退屈感を解消することにはならない。

本発明の目的は、ユーザが別空間の画像をより臨場感をもって見ること、あるいは実空間を移動するときの退屈感を解消できるような画像表示装置、画像表示システムおよび画像表示方法を提供することにある。

本発明は、ユーザが装着し、ユーザが実際に位置する実空間とは位置が異なる別空間の画像を表示する画像表示装置において、ユーザの位置を検出する位置検出部と、ユーザの正面方向の方位と姿勢（ユーザの視線方向の方位角と仰角）を検出する方位・姿勢検出部と、外部から別空間の画像データと撮影位置を含むコース情報を取得する通信インタフェースと、通信インタフェースで取得した画像データとコース情報を保存するメモリと、メモリに保存されている別空間の画像を表示する表示部と、音声を出力する音声出力部と、表示部に対し別空間の画像の表示を制御する制御部と、を備える。制御部は、別空間のコース情報を基に、別空間の複数のポイントからなるコースを実空間の複数のポイントからなるコースに対応付けし、ユーザが実空間のコースを移動するとき、ユーザの位置に応じて、対応付けされた別空間のポイントの画像を表示することを特徴とする。

本発明によれば、ユーザが実空間のコースを移動するとき、別空間の対応する位置の風景を静止画や動画として見ることができる。よって、あたかも別空間を実際に移動しているような臨場感をもって体験し、あるいは実空間を移動するときの退屈感を解消する効果がある。

実施例１に係る画像表示システム１の構成を示す図。 画像表示装置２（ヘッドマウントディスプレイ１９）を装着したユーザの外観を示す図。 画像表示装置２の表示画面の例を示す図。 別空間のコース上で各ポイントの画像を取得する例を示す図。 実空間のコース設定と別空間で撮影した画像を表示する例を示す図。 別空間のコース情報を登録する処理工程を示す図。 図５Ａの処理により登録されたコース情報の内容を示す図。 実空間のコースを移動して登録された画像を表示する処理工程を示す図。 実施例２に係る高度差のある別空間のコースの例を示す図。 実空間の高度差のない平坦なコースの例を示す図。 実施例３に係る別空間のコースを示す図。 実空間のコースとしてトラックを周回するコースを示す図。 画像表示装置２（スマートフォン４０）を装着したユーザを示す図。 スマートフォン４０の表示画面の例を示す図。 スマートフォン４０の表示画面の例を示す図。 スマートフォン４０の表示画面の例を示す図。

以下、本発明の実施例を図面に基づいて詳細に説明する。なお、各図面において同一部には原則として同一符号を付し、その繰り返しの説明は省略する。

実施例１では、別空間で撮影した画像を、ユーザが実空間の対応する位置に移動したときに表示する画像表示システム１について説明する。

［画像表示システム］
図１は、実施例１に係る画像表示システム１の構成を示す図である。画像表示システム１は、画像表示装置２と撮像装置３とＷｅｂサーバ４が通信網５を介して接続されている。通信網５は、無線通信網やインターネットを含む。ここでは画像表示装置２としてヘッドマウントディスプレイ（ＨＭＤ）を用いる場合について説明する。以下、各装置の内部構成について説明する。

画像表示装置２は、撮像素子６ａ、位置検出部７ａ、メモリ８ａ、通信インタフェース９ａ、制御部１０ａ、方位・姿勢検出部１１ａ、表示部１２ａ、音声出力部１３を有する。撮像素子６ａは図示しない光学レンズを含み、静止画もしくは動画を撮影する部分であり、撮影された画像データはメモリ８ａに保存される。位置検出部７ａは、例えばＧＰＳ（Global Positioning System）を用いて位置情報として緯度、経度、高度を計測するものである。方位・姿勢検出部１１ａは、図示しない地磁気センサとジャイロセンサを含み、方位角（方位の北から時計回りに測った角度）と仰角（水平面から上向きに測った角度）を計測するものである。表示部１２ａは、別空間での撮影画像やそれとの合成画像、コース等の画像を取り込み又は生成して表示する。通信インタフェース９ａは通信網５に接続され、Ｗｅｂサーバ４や撮像装置３との間でデータの送受信を行う。音声出力部１３は図示しないスピーカを含み、音声信号を合成等により生成して音声を出力する。制御部１０ａはＣＰＵからなり、画像表示装置２の全ての機能ブロックを制御する。メモリ８ａには、図示しない表示制御アプリ、Ｗｅｂ検索アプリ、地図アプリなどを格納している。

ここでは、画像表示装置２が撮像素子６ａを備え、次に説明する撮像装置３の撮影機能を兼用できる構成としたが、画像表示機能のみとして用いる場合は撮像素子６ａを省略しても良い。

撮像装置３は、撮像素子６ｂ、位置検出部７ｂ、メモリ８ｂ、通信インタフェース９ｂ、制御部１０ｂ、方位・姿勢検出部１１ｂ、表示部１２ｂを有する。上記した画像表示装置２と同じ名称の機能ブロックは、同様の構成や機能につき説明を省略する。

撮像装置３は、別空間を撮影するためのものであり、撮像素子６により静止画や動画を撮影し、これらの画像データをメモリ８ｂに保存する。また、位置検出部７ｂと方位・姿勢検出部１１ｂにより、撮影時の情報（位置、方位、姿勢等）を取得し、上記画像データの付属情報（メタデータ）としてメモリ８ｂに保存する。その際、画像データと上記付属情報を対とし、１つの画像ファイルとして保存することで、関連付けが容易になる。保存した画像ファイルは、通信インタフェース９ｂと通信網５を介してＷｅｂサーバ４や画像表示装置２に送信する。または図示しないがＳＤカードなどの着脱できる記録媒体を介して、Ｗｅｂサーバ４や画像表示装置２に渡すことができる。表示部１２ｂは、撮影時の画像やメモリ８ｂの保存データを再生して表示する。

Ｗｅｂサーバ４は、通信インタフェース９ｃ、制御部１０ｃ、メモリ８ｃを有し、メモリ８ｃには画像ファイルやＷｅｂページ文書が保存される。撮像装置３で撮影した画像データとその付属情報を含む画像ファイルは、通信インタフェース９ｃを介して受信し、メモリ８ｃに取り込む。制御部１０ｃは取得したデータを基にコース情報を生成し、Ｗｅｂページ文書としてネット上に公開する。コース情報を開示する方法としては、コース上のポイント情報として緯度、経度、高度を直接示す方法と、画像ファイルの付属情報から撮影場所をコース上のポイントに指定する方法、およびそれらを組み合わせでもよい。上記コースを、本実施例では別空間のコースと呼ぶ。このように、別空間のコースをＷｅｂページ文書として公開することで、別空間の画像データは、その撮影者だけでなく興味を持った他のユーザも利用することができる。

本実施例の画像表示システム１の動作概要は以下のようになる。まず、撮像装置３で別空間のコース上の各ポイントでの画像を撮影し、画像データと撮影ポイントの付属情報とをＷｅｂサーバ４に送信して登録する。この登録処理は、画像表示装置２を有するユーザ本人が行っても良いし、それ以外の他のユーザが行っても良い。ユーザ本人が登録する場合は、画像表示装置２内の撮像素子６ａを使用することもでき、その場合は撮像装置３が不要となる。次に、ユーザは画像表示装置２を装着して実空間のコースを移動すると、その移動位置に合わせてＷｅｂサーバ４に登録された別空間の画像が画像表示装置２に表示される。その際、ユーザが実空間で移動する所望の位置（始点と終点）を地図上で指定すると、別空間のコースに対し距離や方向が所定の幾何学的関係で近似された実空間のコースが決定され、別空間の撮影ポイントに対応する実空間の移動ポイントにおいて、登録された別空間の画像が表示される。

［画像表示装置］
図２Ａと図２Ｂは、画像表示装置２の外観と表示画面の例を示す図である。画像表示装置２は、透過形ＨＭＤ１９の場合である。図２Ａはユーザ２０が透過形ＨＭＤ１９を頭部に装着した状態を示す。透過形ＨＭＤ１９の表示部１２ａは、一方の目（右目）２１ａの前方に半透過のプリズム２２を配置し、そのプリズム２２に側方の表示素子２３の再生画像を照射する構成となっている。また、透過形ＨＭＤ１９の前面には撮像素子６ａを、上部には制御部（駆動部）１０ａを配置している。

図２Ｂは、ユーザ２０がプリズム２２を見たときの表示画面（表示部１２ａ）の例を示す。プリズム２２を透過して実空間の前方の風景画像２５（破線で示す）に、表示素子２３による別空間の再生画像２４（実線で示す）が重畳されて見ることができる。なお、再生画像２４を表示する場合、その表示位置（表示方向）は例えば表示画面１２ａの中央とする。さらには、画像表示装置２と撮像装置３の撮影方向の方位・姿勢検出部１１ａ，１１ｂによる方位情報を比較することにより、実空間でのユーザの視線方向が別空間での撮像装置３の撮影方向の方位に一致したときに、該当する再生画像２４を表示させることもできる。

この例の透過形ＨＭＤ１９では、プリズム２２と表示素子２３を一方の目（右目）２１ａに配置する単眼式としたが、他方の目（左目）２１ｂにも配置する両眼式とすることもできる。またプリズム２２の透過度は、風景画像２５と再生画像２４の両者がバランスよく視認できるように、単眼式か両眼式かに応じて適宜設定するものとする。

［別空間のコース］
図３は、別空間のコース上で各ポイントの画像を取得する例を示す図である。撮影者（画像表示装置２のユーザ本人、あるいは他のユーザ）は、別空間のコース２６ａ（破線の矢印で示す）を移動しながら、撮像装置３にてコース上の各ポイントで推奨すべき周囲の風景（ユーザ本人であれば思い出となる風景）を撮影する。なお、各推奨物を撮影するために重複せずに移動できる道順を推奨コースと名付ける。

具体的には、推奨コース２６ａの始点Ｐ１１１では、目印となるゲート２８を撮影し、ポイントＰ１１２では建造物２９を撮影する。分岐点Ｐ１１３では分岐している道路を入れた風景を撮影する。ポイントＰ１１４では塔３０を撮影し、コースの終点Ｐ１１５では鳥居３１を撮影する。また、推奨コース２６ａ（ポイントＰ１１１～Ｐ１１５）から外れた位置に他の推奨物があれば、例えばポイントＰ１１６にて石碑３２を撮影する。これらのポイントで撮影した画像データとその付属情報（位置情報など）は画像ファイルとしてメモリ８ｂに保存し、Ｗｅｂサーバ４に送信する。各ポイントでのデータについては、推奨コース２６ａ上に存在するか否かの区別をつけて保存する。

［実空間のコース］
図４は、実空間のコース設定と別空間で撮影した画像を表示する例を示す図である。実空間にコース２７ａ（実線の矢印で示す）を設定し、コース上のポイントＰ２１１～Ｐ２１５を示す。コース外は破線３９ａ、３９ｂで示す。コース設定の手順を説明する。実空間を移動しようとするユーザは、画像表示装置２の表示部１２ａに地図アプリ等を用いて実空間の地図を表示し、コースの始点Ｐ２１１と終点Ｐ２１５を指定する。これにより、始点ポイントＰ２１１は図３に示した別空間の始点ポイントＰ１１１に、終点ポイントＰ２１５は別空間のポイントＰ１１５に対応付けられる。次に、別空間のコースと近似的に所定の幾何学的関係（方位の偏差と縮尺）となるように実空間で移動可能なコースを決定する。当然ながら、実空間と別空間では道路や建物の状況が異なるので、実空間でユーザが移動可能なコースの形状は別空間のコースの形状と厳密には一致しない。よって、幾何学的関係が類似するような道順と中間ポイントを設定する。コース設定の詳細は後述するＰＡＤで説明する。その結果、図３に示した別空間のコースの中間点のポイントＰ１１２～Ｐ１１４に対応するように、実空間の中間点のポイントＰ２１２～Ｐ２１４が決定され、これらを結ぶ実空間のコース２７ａが設定される。

ユーザが実空間のコース２７ａを移動し、設定された各ポイントＰ２１１～Ｐ２１５に近づくと、別空間で撮影された対応する推奨物（構造物や分岐点の風景）の撮影画像２４ａ～２４ｅが画像表示装置２の表示部１２ａに表示される。なお、方位・姿勢検出部１１ａによりユーザの視線方向を検出し、登録された推奨物の方向がユーザの視線方向にあるときにこれらの推奨物を表示することで、より臨場感を高めることができる。このうちポイントＰ２１３は別空間の分岐点であるポイントＰ１１３に対応する。この分岐ポイントＰ２１３に近づくと、対応する撮影画像２４ｃだけでなく、予め登録された分岐方向を示す矢印２４ｃ’を画像合成した分岐案内図を表示する。

別空間コース２６ａ上の中間ポイントＰ１１２、Ｐ１１４は分岐点ではないが、これに対応する実空間コース２７ａのポイントＰ２１２，Ｐ２１４では、直前の交差点で進路変更（右折）せねばならない。そこで、画像表示装置２の位置検出部７ａはその交差点に来たことを検出し、音声出力部１３はユーザに右折するように音声で指示する。これによりユーザは、実空間に設定されたコース２７ａから外れずに移動することができる。なお、ユーザが推奨コースから外れた破線３９ａ、３９ｂのコースを移動した場合、ポイントＰ２１６の位置にて石碑の画像２４ｆが表示される。

この結果、ユーザが実空間のコース２７ａを散策したとき、実空間と異なる場所である別空間の風景画像を移動位置に応じて見ることができ、別空間を臨場感をもって体験することができる。さらに分岐点では、風景画像に合成された分岐案内図を見ることができ、分岐点での進路を予習できるという効果がある。

［処理のＰＡＤとコース情報］
図５Ａは、別空間のコース情報を登録する処理工程を示す図で、処理構造を階層化したＰＡＤ（Problem Analysis Diagram）で示している。撮像装置３の制御部１０ｂは、撮影した画像データとその付属情報をメモリ８ｂから読み出し、通信インタフェース９ｂを介してＷｅｂサーバ４へ送信する。Ｗｅｂサーバ４には複数のコースが登録されるので、それぞれにコース番号が付与される。

ステップＳ１１では、撮像装置３で撮影した別空間の画像データおよびその付属情報（位置情報など）を画像ファイルとして登録する。このとき、推奨コース上にない画像ファイルを含んでもよい（例えば、図３における石碑３２のデータ）。

ステップＳ１２では、推奨コース上のポイント(Ｐ１１１～Ｐ１１５)毎に以下の処理を繰り返す。ステップＳ１２ａでは、指定したポイントに対し登録する画像ファイル(図３のＰ１１１～Ｐ１１５での画像２８～３１)を選択する。ステップＳ１２ｂでは、選択した画像ファイルの付属情報からポイント情報を設定する。このとき、撮影位置の情報があればそれをポイント情報とし、撮影位置の情報がない場合には地図アプリ等から指定してポイント情報を登録する。また、分岐案内の矢印等の画像に重畳して表示すべき関連図形・記号を付属情報の１つとして任意に登録する。図３、図４の例では、分岐ポイントＰ２１３（Ｐ１１３）での道案内となる矢印記号２４ｃ’を付属情報として登録している。

図５Ｂは、図５Ａの処理により登録されたコース情報の内容を示す図である。コース情報４４は、コース番号とコースポイント情報と画像ファイル情報を含む。コース番号はコースを識別するための番号である。コースポイント情報は、コースの始点から終点までのポイントの位置情報（緯度、経度、高度）である。高度は、位置検出部の機能としてカバーされない場合は省略可能である。画像ファイル情報は、コース上もしくはコース周辺のポイントでの撮影画像の画像ファイル４５のリスト（もしくはリンク）である。また、上記の画像ファイル情報から参照される画像ファイル４５は、画像データ１６とその付属情報１７（一般的にはメタデータとも言う）を含む。付属情報１７には、撮影位置や関連図形・記号などが含まれる。

図６は、実空間のコースを移動して登録された画像を表示する処理工程を示す図で、処理構造を階層化したＰＡＤで示す。画像表示装置２の制御部１０ａは、通信インタフェース９ａを介してＷｅｂサーバ４から画像データとその付属情報を取り込み、実空間のコースを設定し、移動位置に応じて対応する画像を表示する。

ステップＳ２１は、表示したい画像が収納されている別空間のコースを指定するものである。ステップＳ２１ａでユーザがコース番号（例えばＮｏ．１）を入力すると、ステップＳ２１ｂで、Ｗｅｂサーバ４から該当するコース情報と画像ファイルが取り込まれる。

ステップＳ２２では、ユーザが実空間のスタート地点とゴール地点を指定する。位置の指定方法としては、地図アプリから指定する方法や、ユーザの現在地点を画像表示装置２の位置検出部７ａから指定する方法がある。

ステップＳ２３は、コース上の隣接するポイント間で定義される区間毎に、以下の処理を繰り返して行う。つまり、区間始点においてその区間の終点（目標ポイント）を設定し、ユーザが区間終点に到達すると登録された画像が表示されるとともに、次の区間の終点を設定するようにする。

ステップＳ２３ａでは、別空間のコースに近似した実空間のコースを設定するため、両者のコースの幾何学的な関係を基に区間終点を決定する。そのため、別空間と実空間における、区間の始点Ｐｓ（初回はスタート地点）からコースの終点Ｐｇ（ゴール地点）を見込んだときの直線的な方位と距離を比較し、両者の方位差と縮尺を求める。例えば、別空間における区間始点Ｐｓからゴール地点Ｐｇまでの直線的な方位が東方向で、距離が５ｋｍとする。一方、実空間における区間始点Ｐｓ’からゴール地点Ｐｇ’の直線的な方位が北方向で、距離が２ｋｍとする。この場合、別空間に対する実空間の方位差は、反時計回りに９０度回転であり、縮尺は０．４倍となる。これらの幾何学的な関係（方位差と縮尺）を用いて、別空間における区間終点Ｐｅに対応する実空間における区間終点Ｐｅ’を求める。ただし、このようにして求めた区間終点Ｐｅ’の位置は、必ずしも実空間で移動可能な場所とは限らず、例えば建物が存在する領域に重なることもある。そこで、実空間の地図アプリを参照して、位置Ｐｅ’に近接した移動可能な位置（例えば道路上）を求めて目標の区間終点Ｐｅ”とする。そして、地図アプリを参照して区間始点Ｐｓ’から区間終点Ｐｅ”までの道順を決定し、実空間のコースを設定する。

ステップＳ２３ｂでは、ユーザが区間終点Ｐｅ”に接近したかどうかを判定する。ユーザの実空間での移動位置は位置検出部７ａにより検出する。そして、移動位置が区間終点Ｐｅ”の近傍、例えば区間終点Ｐｅ”から区間距離の１０％の範囲内に到達したら、区間終点Ｐｅ”に接近したと判断する。

ステップＳ２３ｂの判定の結果、区間終点に接近したときには、ステップＳ２３ｃにおいて、別空間の対応するポイントでの登録画像を表示部１２ａに表示する。これ以後は、ステップＳ２３ｄで、実空間のコース上での区間終点Ｐｅ”に到達したかどうかの判断を繰り返し行う。区間終了と判断したら、その位置を実空間の次の区間の始点としてステップＳ２３に戻る。

なお、ステップＳ２３ｄにおける区間終了判断の条件として、地図アプリ上で分岐点があり、その分岐点から先が行き止まりでない場合には、その分岐点を区間の終点とみなす。図４のポイントＰ２１３がこのケースに該当する。また、他の区間終了判断の条件としては、分岐点でなくても実空間の区間距離が所定の距離に達した場合やユーザが指定したポイントである場合などである。図４のポイントＰ２１２、Ｐ２１４がこのケースに該当する。

なお、実空間のコース２７ａの自動作成においては、地図アプリ上で模擬走行をすればよい。さらに、別空間のコース２６ａからユーザの好みに合った実空間のコース２７ａを作成するためには、移動を開始する前や移動中に、図６の処理により自動作成された実空間のコースを、手動で修正しても良い。例えば、ポイントＰ２１３に着いた時に、自動生成されたコース２７ａ外のポイントＰ２１６までの往復のコース３９ａを追加してもよい。

さらに、別空間のコース２６ａでの進行方向と実空間のコース２７ａでの進行方向の方位差が所定値以上になったとき、音声出力部１３により音声で知らせるか、または表示部１２ａにメッセージを表示するようにしてもよい。これによりユーザは、実空間の地理的制約により別空間のコースと実空間のコースの差異が大きくなっていることを自覚した上で、コースを移動することができる。

さらにまた、ユーザの位置が実空間でのコース２７ａから所定値以上外れたことを検出したときに、音声出力部１３によりが警報音を発するか、または表示部１２ａに警告メッセージを表示するようにしてもよい。これによりユーザは、実空間でのコース２７ａをミスなく移動することができる。

以上の説明では、撮像装置３で撮影した画像をＷｅｂサーバ４に登録し、画像表示装置２はＷｅｂサーバ４から登録された画像を取り込んで表示する構成とした。これに対しユーザ自身で撮影・表示を行う場合には、画像表示装置２で撮影、保存することができる。よって、撮像装置３やＷｅｂサーバ４を省略する構成とすることができる。

本実施例によれば、ユーザが実空間のコースを移動するとき、別空間の対応する位置の風景を静止画や動画として見ることができるので、あたかも別空間を実際に移動しているような臨場感をもって体験することができる。また、ユーザが移動する実空間のコースは、別空間のコースに近似しているだけでなく、実空間の道路などの地理的条件に合わせて柔軟性をもって設定されるので、実用性が高いものとなっている。

実施例２では、別空間のコースに高度差があり、実空間のコースが平坦であるような場合の、実空間のコースの設定について説明する。

図７は、高度差のある別空間のコースの例を示す図である。別空間は起伏があり、高度差を等高線３４（点線で示す）で表し、各等高線には高度[ｍ]を記述している。別空間のコース２６ｂ（実線の矢印で示す）は、始点ポイントＰ１２１から終点ポイントＰ１２６までの高度差のあるコースである。ポイントＰ１２２は最も高度が高く、ポイントＰ１２３は最も高度が低い。ポイントＰ１２４、Ｐ１２５は高地部である。そのため、上り坂となる区間（ポイントＰ１２１～Ｐ１２２、ポイントＰ１２３～Ｐ１２４）では、歩行速度が低下する。逆に、下り坂となる区間（ポイントＰ１２２～Ｐ１２３、ポイントＰ１２５～Ｐ１２６）では、歩行速度が上昇する。ポイントＰ１２４には小屋３３があり、その撮影画像を登録する。他のポイントでの撮影対象物についても同様であるが、ここでは説明を省略する。

各ポイントで撮影された画像データは、実施例１の場合と同様にＷｅｂサーバ４に登録するが、図５Ｂの付属情報１７に示すように、撮影時に位置検出部７ｂより求められる撮影位置の情報に、高度を追加している。高度の情報は、高度センサでも測定可能である。あるいは、地図情報からその位置の高度値を読み取ることも可能である。

図８は、実空間の高度差のない平坦なコース２７ｂの例を示し、図７の別空間のコース２６ｂに対応付けられている。実空間は高度差がないので、等高線の表記は省略している。実空間のコース２７ｂは、始点ポイントＰ２２１から終点ポイントＰ２２６までであり、隣接するポイント間である各区間の方位は、別空間のコース２６ｂの各区間の方位と所定の方位差で対応している。ただし、実空間の各区間の距離は、別空間の高度差により歩行速度が変化することを考慮して設定する。つまり、Ｗｅｂサーバ４から別空間のコース２６ｂの各ポイントの位置情報と高度情報を取得し、各区間の歩行時間を仮定する。そして、実空間のコース２７ｂの区間毎の歩行時間が、別空間のコース２６ｂの区間毎の歩行時間に所定の縮尺で対応するように、コース２７ｂ上に中間ポイントを設定している。

具体的には、上り坂に対応する区間（ポイントＰ２２１～Ｐ２２２、ポイントＰ２２３～Ｐ２２４）は距離を拡大し、下り坂に対応する区間（ポイントＰ２２２～Ｐ２２３、ポイントＰ２２５～Ｐ２２６）は距離を縮小して設定する。ユーザが各区間のポイント（例えばポイントＰ２２４）に近づくと位置検出部７ａで検出して、実施例１と同様に、登録された別空間の画像（例えば２４ｇ）を表示部１２ａに表示する。

このように実施例２では、別空間の高度差を考慮して、高度差に伴うユーザの移動時間の差を打ち消すように実空間のポイント間の距離を補正して設定することにより、所用時間や疲労度の点で、別空間のコースにより近い体感で実空間を移動することができる。

ここでは、別空間のコースに高度差があり、実空間のコースが平坦である場合を想定したが、逆に、別空間のコースが平坦で、実空間のコースに高度差がある場合、あるいは両者のコースの高度差の状態が異なる場合にも、歩行時間を考慮して実空間のコースを設定することができる。

実施例３では、実空間の周回コースをランニングするとき、別空間のコースの画像を見ながら走行することのできる画像表示装置２について説明する。ここでは画像表示装置２としてスマートフォン４０を用いる場合について説明する。

図９は、別空間のコース２６ｃを示す図である。ここではロードレースに用いられるコースを想定し、ポイントＰ１３１をスタートして、ポイントＰ１３５をゴールとするものである。中間ポイントＰ１３２にはビルディング３５が存在し、その撮影画像がＷｅｂサーバ４に登録されている。

図１０は、実空間のコース２７ｃを示す図である。ここでは陸上競技用のトラックを周回するコースとする。実空間のコース２７ｃの形状は、別空間のコース２６ｃの形状とは関係がなく、走行距離が対応する位置にポイントを設定している。例えば、スタートライン３８上のポイントＰ２３１をスタートして、トラックを２周した同じポイントＰ２３５をゴールとする。別空間のコース２６ｃと実空間のコース２７ｃの全長の比から縮尺を求め、実空間のコース２７ｃの途中の通過ポイントは、別空間のコース２６ｃのスタートから通過ポイントまでの距離に前記縮尺を掛けた距離の位置として自動的に決定する。この距離算出による方法では、実空間のコース２７ｃ上でのユーザの走行距離を画像表示装置２自体で測定する必要がある。これに代わる方法として、実空間のコース２７ｃ上の通過ポイント位置にビーコンを設置して、ビーコンからの受信信号により通過ポイントに達したことを検出する方法がある。

ここでは、後者のビーコンを用いる方法について説明する。複数人でのレースを想定し、実空間のコース２７ｃ上のスタート／ゴール及び各通過ポイントには、位置情報を正確に計測できるようビーコン３６ａ～３６ｄを配置した。ビーコンからの信号を一定の閾値以上で受信できる受信可能範囲を破線３７で示す。ユーザはポイントＰ２３１（ビーコン３６ａ）をスタートして左回りに進み、ポイントＰ２３２（ビーコン３６ｃ）を通過した後、スタートと同じポイントで１周する（ビーコン３６ａ）。さらにポイントＰ２３３（ビーコン３６ｂ）、ポイントＰ２３４（ビーコン３６ｄ）を通過して、ゴールライン３８の引かれたポイントＰ２３５（ビーコン３６ａ）で２周しゴールとなる。

図１１は、画像表示装置を装着したユーザの状態を示す図である。ここでは画像表示装置２であるスマートフォン４０を固定器具４１を用いてユーザ２０の体に装着し、ハンズフリーで表示画面が見えるように取り付けている。スマートフォン４０は、位置検出部７ａとしてBluetooth（登録商標）機能を用いることによりビーコン３６ａ～３６ｄの発する信号を検出し、現在位置を知ることができる。本例のようにトラックを複数回周回する場合は、ビーコン信号の受信回数（すなわち周回数）と組み合わせることで、ポイントＰ２３１～Ｐ２３５のいずれに達したかを判別することができる。

スマートフォン４０には、実空間のコース２７ｃ上のポイントＰ２３１～Ｐ２３５と、別空間のコース２６ｃ上のポイントＰ１３１～Ｐ１３５とを対応づけるアプリケーションをインストールしておく。また、別空間のコース２６ｃ上の画像データは、通信網５を介してＷｅｂサーバ４から予め取り込んでおくか、アプリケーションからの要求に応じてＷｅｂサーバ４から随時取り込める状態にしておく。

実空間のコース２７ｃにて多数のユーザがレースを行う場合について具体的に説明する。スマートフォン４０のアプリケーションを立ち上げ後に、スタート地点のポイントＰ２３１の手前でビーコン３６ａからの信号の受信可能範囲３７の内側に、第１の選手群が待機し、毎分００秒のときにレースをスタートする。このスタート後に第２の選手群が同様にポイントＰ２３１の手前で待機する。この方式によれば、数人ずつの選手群に区切ってスタートするウエーブ・スタートが可能となる。スターターは、毎分００秒の掲示時刻に従ってスタートの合図を送るか、選手がフライングしないように見守るだけでもよい。

各選手が実空間のポイントＰ２３３とポイントＰ２３４を通過し、ゴールのポイントＰ２３５に近づいたとき、スマートフォン４０はビーコン３６ａからの受信信号が最大となる時刻をゴールタイムとして計測する。各選手のゴールタイムは、例えば無線の通信網５を介して図示しないレース主催者の集計装置に送信されてレースの順位の集計に用いられる。

図１２Ａ～図１２Ｃは、スマートフォン４０の表示画面の例を示す図である。ここでは、ユーザが別空間のポイントＰ１３２に対応する実空間のポイントＰ２３２に近づいたときの表示を示す。実空間のコース２７ｃではポイントＰ２３２付近では直進するが、別空間のコース２６ｃではポイントＰ１３２で右折する。ユーザの走行に従って表示部１２ａには、別空間を右折する図１２Ａの画像２４ｈから図１２Ｂの画像２４ｉに変化して表示される。これらの画像には、別空間で撮影されたビルディング３５ａ，３５ｂや道路４２ａ，４２ｂが含まれている。別空間ではそこで右折しているが、実空間では進行方向が常に正面に見える画像として表示される。言い換えれば、別空間と実空間では進行方向の対応関係が固定されていないという特徴のため、別空間に対する実空間のコース形状を自由に設定できる。なお、進行方向の対応関係が固定されているとは、例えば時計回りに常に３０度ずれているような状態である。

図１２Ｃは、ユーザの正面方向の方位と姿勢（ユーザの視線方向の方位角と仰角）を反映した表示例を示す。図１２Ｂにおいて、別空間のビルディングの画像３５ｂの横を通過時に、これを見ようとしてユーザが上体を左にねじるとともに視線を下方に向けた場合の表示画像２４ｊを示す。スマートフォンの通常の画像表示では、３６０°画角のような広視野角の画像であっても、進行方向と一致するスマートフォンの向きの画角の範囲の画像だけを表示する。そこで、スマートフォン４０の方位・姿勢検出部１１ａでユーザの上体の動きを検出し、その視線方向の画角の範囲の画像を表示させることができる。これにより、表示画像２４ｊでは、正面にビルディングの画像３５ｃとその下方辺りに道路の画像４２ｃが表示される。

実施例３によれば、別空間の風景を見ながら同じコースを周回する競技等に本発明を適用することができる。特に、周回数が多い長距離走ではランナーが飽き易くなるが、時々異なった風景を見ながら走れるので、退屈感を解消する効果がある。

図１１では、スマートフォン４０をハンズフリーで見えるように固定器具４１を用いて体に装着する例を示したが、通常はスマートフォン４０をザック等のポケットに入れて、各ポイントに近づいたときにスマートフォン４０が警報音を発するようにしておき、警報音を聞いたら次のポイントに近づいたということでスマートフォン４０を手に取ってスマートフォン４０の画面を見るようにしてもよい。

また、実施例３において、表示部に静止画だけでなく動画も表示することができる。上記説明ではビーコンを使う構成としたが、最低限、ビーコンを受信している範囲だけ動画を再生できれば良い。あるいはビーコンの受信範囲外でも表示したい場合は、隣接するビーコン間でのユーザの走行速度を計算し、これに合わせて撮影した動画の再生速度を変えるようにすれば良い。

なお、実空間が広い周回コースであって、ビーコンを使わないで位置検出部だけで通過ポイントを判別できる場合には、位置検出部から取得した位置座標を基に動画の位置合わせをして全コース上で動画を再生することができる。その場合は、撮影した動画には、一定時間間隔もしくはポイントを通過時に位置情報を付加しておけば良い。

以上の各実施例では、ユーザが徒歩やランニングで移動する場合を示したが、自転車やユーザ自身が運転しない自動車や公共の移動手段であってもよい。また、コースの中間ポイントやゴールを、移動の途中でユーザが変更してもよい。また、各区間内を移動中に画像表示装置に画像を表示する場合には、予め別空間を撮影して画像表示装置からアクセス可能な状態で登録された車窓の景色等の画像であってもよい。

以上いくつかの実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであって、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の一部について、他の構成の追加・削除・置換をすることが可能である。

１：画像表示システム、２：画像表示装置、３：撮像装置、４：Ｗｅｂサーバ、５：通信網、６ａ，６ｂ：撮像素子、７ａ，７ｂ：位置検出部、８ａ，８ｂ，８ｃ：メモリ、９ａ，９ｂ，９ｃ：通信インタフェース、１０ａ，１０ｂ，１０ｃ：制御部、１１ａ，１１ｂ：方位・姿勢検出部、１２ａ，１２ｂ：表示部、１３：音声出力部、１９：ヘッドマウントディスプレイ（ＨＭＤ）、２０：ユーザ、４０：スマートフォン。

Claims (11)

1. ユーザが装着し、ユーザが実際に位置する実空間とは位置が異なる別空間の画像を表示する画像表示装置において、
   ユーザの位置を検出する位置検出部と、
   外部から別空間の画像データと撮影位置を含むコース情報を取得する通信インタフェースと、
   前記通信インタフェースで取得した画像データとコース情報を保存するメモリと、
   前記メモリに保存されている別空間の画像を表示する表示部と、
   前記表示部に対し別空間の画像の表示を制御する制御部と、を備え、
   前記制御部は、
   別空間のコース情報を基に、別空間の複数のポイントからなるコースを実空間の複数のポイントからなるコースに対応付けし、
   前記別空間と前記実空間におけるコース上の複数のポイントを、互に対応するポイントの区間の距離の関係が近似的に一定の縮尺となるよう設定し、
   ユーザが実空間のコースを移動するとき、ユーザの位置に応じて、対応付けされた別空間のポイントの画像を表示することを特徴とする
   画像表示装置。
2. 請求項１に記載の画像表示装置において、
   前記制御部は、前記別空間と前記実空間におけるコース上の複数のポイントを、互に対応するポイントの区間の進行方向の関係が近似的に一定の方位差となるよう設定した
   ことを特徴とする画像表示装置。
3. 請求項１に記載の画像表示装置において、
   前記制御部は、前記別空間と前記実空間の少なくとも一方が高度差のあるコースである場合、コース上の複数のポイントを設定するための区間の距離について、高度差に伴うユーザの移動時間の差を打ち消すように補正した距離を用いる
   ことを特徴とする画像表示装置。
4. 請求項２に記載の画像表示装置において、
   さらに、音声を出力する音声出力部を備え、
   前記制御部は、ユーザが移動している実空間のコースの進行方向とこれに対応する別空間のコースの進行方向との方位差が所定値以上になったとき、前記音声出力部により音声で知らせるかまたは前記表示部にメッセージを表示する
   ことを特徴とする画像表示装置。
5. 請求項２に記載の画像表示装置において、
   さらに、音声を出力する音声出力部を備え、
   前記制御部は、ユーザの移動位置が実空間に設定されたコースから所定値以上外れたことを検出したとき、前記音声出力部により警報音を発するかまたは前記表示部に警告メッセージを表示する
   ことを特徴とする画像表示装置。
6. 請求項１に記載の画像表示装置において、
   ユーザの移動する実空間のコースが所定のコースを複数回周回する周回コースの場合、
   前記制御部は、前記周回コースをユーザが移動した距離に応じて、別空間の複数のポイントに対応する実空間の複数のポイントを設定する
   ことを特徴とする画像表示装置。
7. 請求項６に記載の画像表示装置において、
   前記周回コースに設定した複数のポイントには、所定の信号を発するビーコンが設置されており、
   前記ビーコンの発する信号を前記位置検出部で受信することでユーザの移動した距離を算出する
   ことを特徴とする画像表示装置。
8. 請求項１に記載の画像表示装置において、
   さらに、ユーザの正面方向の方位と姿勢を検出する方位・姿勢検出部を備え、
   当該画像表示装置はユーザが頭部に装着して使用する透過形ヘッドマウントディスプレイであり、
   前記表示部には、前方の実空間の風景に、別空間の画像が重畳されて表示されるとともに、
   前記制御部は、前記方位・姿勢検出部により検出した実空間でのユーザの視線方向が別空間での撮影方向の方位に一致したときに、該当する画像を表示させる
   ことを特徴とする画像表示装置。
9. 請求項１に記載の画像表示装置において、
   別空間のポイントでの画像を撮影する撮像素子を備え、前記位置検出部により前記別空間の撮影位置を検出し、
   前記メモリには、前記撮像素子で撮影した画像データとコース情報を保存しておき、
   ユーザが実空間のコースを移動するとき、前記制御部は、前記メモリから画像データと位置情報を読み出して、該当する画像を前記表示部に表示する
   ことを特徴とする画像表示装置。
10. 画像表示装置と、撮像装置と、Ｗｅｂサーバを通信網を介して接続し、ユーザが装着する前記画像表示装置に、ユーザが実際に位置する実空間とは位置が異なる別空間の画像を表示する画像表示システムにおいて、
    前記撮像装置は、
    別空間のコース上の複数のポイントでの画像を撮影する撮像素子と、
    画像を撮影した各ポイントの位置を検出する位置検出部と、を備え、
    前記撮影した画像データと撮影位置の情報を前記Ｗｅｂサーバに送信し、
    前記Ｗｅｂサーバは、
    前記撮像装置から受信した別空間の画像データと撮影位置をコース情報として保存し、
    前記画像表示装置は、
    ユーザの位置を検出する位置検出部と、
    前記Ｗｅｂサーバから取得した別空間の画像データと撮影位置を含むコース情報を保存するメモリと、を備え、
    前記別空間と前記実空間におけるコース上の複数のポイントを、互に対応するポイントの区間の距離の関係が近似的に一定の縮尺となるよう設定し、
    ユーザが実空間のコースを移動するとき、ユーザの位置に応じて、対応付けされた別空間のポイントの画像を表示する
    ことを特徴とする画像表示システム。
11. ユーザが実際に位置する実空間とは位置が異なる別空間の画像を表示する画像表示方法において、
    別空間のコース上の複数のポイントでの画像を撮影するステップと、
    画像を撮影した各ポイントの位置を検出するステップと、
    別空間の画像データと撮影位置をコース情報として保存するステップと、
    別空間のコース情報を基に、別空間の複数のポイントからなるコースを実空間の複数のポイントからなるコースに対応付けするステップと、
    前記別空間と前記実空間におけるコース上の複数のポイントを、互に対応するポイントの区間の距離の関係が近似的に一定の縮尺となるよう設定するステップと、
    実空間のコースを移動するユーザの位置を検出するステップと、
    ユーザの移動位置に応じて、対応付けされた別空間のポイントの画像を表示するステップと、
    を備えることを特徴とする画像表示方法。

Images