WO2016092698A1

WO2016092698A1 - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: WO2016092698A1
Application number: PCT/JP2014/082982
Authority: WO
Inventors: 花本　貴志
Original assignee: キヤノン株式会社
Priority date: 2014-12-12
Filing date: 2014-12-12
Publication date: 2016-06-16
Also published as: US20160170488A1; JP6526051B2; US9965830B2; JPWO2016092698A1

Abstract

　観察者の動きに応じてより自然に画像データを表示する。　観察者の視線方向に応じて画像データを表示するための画像処理装置であって解像度の異なる複数の環境マップを記憶する記憶手段と、前記観察者の動き情報として取得する取得手段と、表示しているカレント領域を保持する保持手段と、前記カレント領域と前記動き情報に基づいてターゲット領域を決定するターゲット領域決定手段と、前記カレント領域から前記ターゲット領域に視線方向が変化する経路を含む領域を経路領域として決定する経路領域決定手段と、前記経路領域および前記ターゲット領域それぞれに対応する解像度を設定する設定手段と、前記設定手段により設定された解像度の環境マップから前記経路領域および前記ターゲット領域それぞれに対応する画像データを読み出し、前記経路領域に表示するための画像データおよび前記ターゲット領域に表示するための画像データを生成する生成手段とを有する。

Description

画像処理装置、画像処理方法およびプログラム

　本発明は、ヘッドマウントディスプレイなどに画像データを表示するための画像処理技術に関する。

　観察者の頭部に固定するヘッドマウントディスプレイ（以降、ＨＭＤ）を用いて、観察者が画像を視聴する技術が知られている。また近年は、眼鏡型ディスプレイなども知られている。ＨＭＤに表示される画像データは、全周囲方向の映像をその都度切り出したものであり、元となるその映像は環境マップとも呼ばれる。環境マップは例えば、魚眼レンズを用いた撮影やミラーボールに反射した光をカメラで撮像する手法により取得できる。

　特許文献１には、ＨＭＤに内蔵されたセンサを用いて観察者の動作を検出し、観察者の頭の動きに対応する操作に応じて表示された画像をスクロールし、表示する方法について開示している。

特開２０１３－２５４２５１号公報

　近年、表示画像の高解像度化が進んだ結果、表示に必要な画像データの容量も大きくなり、ＨＭＤに表示するための画像データの読み出しやデコードに時間がかかる。そのため特許文献１に開示された方法によれば、観察者が視聴したい方向に頭部を動かしても、視聴したい画像データが円滑に表示されない場合がある。

　そこで本発明は、観察者の動きに応じて視聴する領域を予測することにより、観察者の動きに合わせてより自然に観察者の視線に応じた画像データを表示することを目的とする。

　上記課題を解決するため本発明は、観察者の視線方向に応じて画像データを表示するための画像処理装置であって、解像度の異なる複数の環境マップを記憶する記憶手段と、前記観察者の動きを示す情報を動き情報として取得する取得手段と、前記観察者に表示しているカレント領域を保持する保持手段と、前記カレント領域と前記動き情報に基づいて、前記環境マップにおけるターゲット領域を決定するターゲット領域決定手段と、前記カレント領域から前記ターゲット領域に視線方向が変化する経路を含む領域を経路領域として決定する経路領域決定手段と、前記複数の環境マップのうち、前記経路領域および前記ターゲット領域それぞれに対応する解像度を設定する設定手段と、前記設定手段により設定された解像度の環境マップから前記経路領域および前記ターゲット領域それぞれに対応する画像データを読み出し、前記経路領域に表示するための画像データおよび前記ターゲット領域に表示するための画像データを生成する生成手段とを有することを特徴とする。

　本発明は、観察者の動きに応じてより自然に画像データを表示することができる。

画像処理装置の構成を示すブロック図。ヘッドマウントディスプレイ（ＨＭＤ）の構成を示す図。環境マップの構成を示す図。環境マップ表示処理のフローチャート。高解像度環境マップ表示処理のフローチャート。先読み手法の概念図。高解像度環境マップ先読み処理のフローチャート。先読み時の解像度選択処理のフローチャート。キャッシュを用いた環境マップ表示処理のフローチャート。移動を伴う環境マップ表示処理のフローチャート。撮像装置の概念図。環境マップ先読み処理のフローチャート。

　以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。

　＜第１実施形態＞
　（全体構成）
　第１実施形態では、複数の解像度の環境マップを加速度情報に応じて読み出し、ヘッドマウントディスプレイ（ＨＭＤ）に表示するための画像処理装置を例に説明する。なお、本発明はＨＭＤに限らず、眼鏡型ディスプレイなど同様の装置への適用が可能である。

　図１は、第１実施形態に適用可能な画像処理装置のハード構成を示すブロック図である。画像処理装置は、ＣＰＵ１０１、メインメモリ１０２、記憶装置１０３、ＧＰＵ１０４、バス１０６を有する。まず、ＣＰＵ１０１は、演算処理や各種プログラムを実行する。メインメモリ１０２は、画像処理に必要なプログラムやデータを保持している。またメインメモリ１０２は、ＣＰＵ１０１による画像処理の作業領域としても使用される。記憶装置１０３は、画像処理プログラムや複数の画像データを蓄積する装置であり、例えばハードディスクドライブ（ＨＤＤ）が用いられる。ＧＰＵ１０４は、画像データやＧＵＩを表示するための外部の表示装置であるＨＭＤ１０５とＩ／Ｆ部（不図示）により接続されている。ＧＵＩ１０４は、表示する画像データを展開し、ＨＭＤ１０５に転送する。なおＧＰＵ１０４とＨＭＤ１０５を接続するＩ／Ｆは、例えば、赤外線通信や無線ＬＡＮ等を用いたデータのやりとりを行うことができる。バス１０６は上述の各構成を接続するバスである。なお、システム構成については、上記以外にも、様々な構成要素が存在するが、本実施形態の主眼ではないので、その説明は省略する。

　図２は、ＨＭＤ１０５の構成を模式的に説明する図である。図２（ａ）に示すようにＨＭＤ１０５は表示部２０１を有し、さらに表示部２０１は加速度センサ２０３、地磁気センサ２０４、ＧＰＳセンサ２０５が搭載されている。加速度センサ２０３、地磁気センサ２０４、ＧＰＳセンサ２０５は、ＨＭＤ１０５を装着した観察者の動きを示す動き情報を取得するためのセンサである。加速度センサ２０１３は、観察者の頭部が左右に動く横方向と、上下に動く縦方向の加速度とを検知し、加速度情報として出力する。地磁気センサ２０４は、地磁気の向きを検知することによりＨＭＤ１０５の方位を算出し、観察者が視聴している方向を示す角度情報を出力する。ＧＰＳ（グローバル・ポジショニング・システム）センサ２０５は、地球上におけるＨＭＤ１０５の位置を測定し、位置情報を取得する。また固定部２０２は、観察者の頭部に表示部２０１を固定するため、観察者は耳にかけることができるような構造になっている。つまり観察者の頭部の動きに連動して、表示部２０１に内蔵された各センサは位置や方向を検出する。

　図２（ｂ）に、表示部２０１のさらに詳細な構成を示す。図２（ｂ）は、図２（ａ）に示すＨＭＤ１０５を上方から見たときの表示部２０１の内部構成を模式的に示している。表示部２０１は、レンズ２０７を通すことで、観察者の視野全体を液晶ディスプレイ２０６により覆うことのできる構造となっている。液晶ディスプレイ２０６は画像データを表示する。液晶ディスプレイ２０６には、全方位方向の画像からなる環境マップの一部を切り出した画像データが表示される。これにより観察者は、環境マップの中心位置にいるかのような臨場感のある映像を視聴できる。表示する画像データは、画像処理装置４００から転送される。

　図３は、環境マップを説明する図である。図３（ａ）に、視点位置に対する環境マップの座標系を示す。図３（ａ）に示すように、観察者の視点位置３０１からの視線方向は、極座標（θ、φ）を用いて表すことができる。この極座標（θ、φ）を量子化し、量子化された極座標（θ、φ）毎の情報を画像データに置き換えたものが環境マップである。全方位画像や全天周画像とも呼ばれる。環境マップを構成する各画素は輝度ベクトルを保持し、輝度ベクトルの大きさが輝度値を表し、輝度ベクトルの向きは常に視点位置を向いている。すなわち、環境マップは観察者の視点位置３０１に入射する全周囲の輝度情報である。環境マップを保持するデータ方式としては、図３（ｂ）に示す正距円筒マップ方式と、図３（ｃ）に示す球状マップ方式などがある。図３（ｂ）に示す正距円筒マップ方式は、θを横軸、φを縦軸として２次元の矩形の画像データに変換して輝度情報を保持している。また図３（ｃ）に示す球状マップ方式は、円の中心から円弧に向けた軸を環境マップにおけるφ、円の中心からの回転方向を環境マップにおけるθとして、２次元の円状の画像データに変換して輝度情報を保持している。なお正弦円筒マップ方式および球状マップ方式はいずれも、球状の環境マップを平面に投射するため歪みを生じる。そのため、双方の方式ともＨＭＤにおいて表示する画像データを生成する際には射影変換を行う必要がある。

　（画像処理装置の構成）
　図４は、第１実施形態に適用可能な画像処理装置４００の詳細な構成を示す。本実施形態では、各構成をソフトウェアによって実行される形態を例に説明する。

　本実施形態における画像処理装置４００は、記憶装置１０３に記憶された複数の解像度の環境マップから、ＨＭＤ１０５の動作に応じて表示候補の画像データを切り出し、表示画像データを生成する。図５に、複数の環境マップを示す。本実施形態における環境マップは、高解像度環境マップ５０１、中解像度環境マップ５０２、低解像度環境マップ５０３の３つの異なる解像度の環境マップが保持されている。なお、本実施形態における環境マップは、正距円筒マップ方式であるとする。各解像度の環境マップは、ブロック画像５０４に分割され、それぞれ異なるファイルとして記憶装置１０３に保存されている。そのため画像処理装置４００は、必要な解像度のブロック画像のみを読み出すことできる。

　検出結果取得部４０１は、ＨＭＤ１０５から、加速度センサ２０３により検出された加速度情報や地磁気センサ２０４により検出された角度情報などの動き情報を取得する。カレント領域決定部４０９は、角度情報に基づいて観察者が現在視聴している領域をカレント領域６０１として特定する。図６（ａ）にカレント領域を説明する図を示す。

　ターゲット領域決定部４０３は、カレント領域４０９からカレント領域の位置を取得する。さらにターゲット領域決定部４０３は、新たな加速度情報を取得すると、図６（ａ）に示すようにカレント領域６０１に対して観察者がこれから視聴しようとする方向を予測し、ターゲット領域６０２を決定する。

　経路領域決定部４０４は、ターゲット領域６０２が決定されると、カレント領域６０１およびターゲット領域６０２とに基づいて経路領域６０３を決定する。経路領域６０３は、観察者が視聴しようとするターゲット領域６０２に視線が移動するまでの間に、観察者の視野に入りこむ領域である。

　解像度情報取得部４０２は、ＨＭＤ１０５の表示部２０１に表示可能な解像度を解像度情報として取得する。必要解像度設定部４０５は、検出結果取得部４０１から得られる加速度情報と解像度情報取得部４０２から得られる解像度情報とに基づいて、次に送信すべき表示画像データの必要解像度を算出する。具体的には解像度情報取得部４０２は、加速度情報が示す２つの方向への加速度に応じて、経路領域に表示すべき画像データの必要解像度を設定する。また、解像度情報に応じてターゲット領域に表示すべき画像データの必要解像度を設定する。

　表示画像生成部４０７は、環境マップ取得部４０６に格納された環境マップのうち、表示する解像度の環境マップを取り出して領域を切り出し、切り出した環境マップを射影変換することにより、表示用画像データを生成する。同じサイズの領域に表示される表示用画像データであっても、より解像度の高い環境マップを切り出して生成された画像データの方が、データ量が大きく、データ転送にも時間がかかる。本実施形態における表示画像生成部４０７は、観察者が映像の視聴を開始すると始めに、最も低解像度の環境マップから表示用画像データを生成する。その後、表示画像生成部４０７は、ＨＭＤ１０５の動きに応じて表示用画像データを生成する。ＨＭＤ１０５に動きが検出された場合には、経路領域に表示するための表示用画像データおよびターゲット領域に表示するための表示用画像データを生成し、順に出力する。なお、表示画像生成部４０７は予め、接続しているＨＭＤ１０５の表示部２０１において、表示すべき画像データのサイズ（画角情報）を設定されているものとする。

　送信部４０７は、表示部２０１に表示するための表示画像データをＨＭＤ１０５側に転送する。

　（画像処理装置における処理のフロー）
　図７を用いて、画像処理装置４００における処理のフローを説明する。ＣＰＵ１００が、図７に示すフローチャートのプログラムをＲＯＭ１０２から読み込み実行することにより、画像処理装置４００として実現される。

　まず観察者がＨＭＤ１０５を装着し、視聴が開始されるとステップＳ７０１において環境マップ取得部４０６は、記憶装置１０３から低解像度環境マップ５０３を読み出し、メインメモリ１０２に展開する。

　ステップＳ７０２においてカレント領域決定部４０９は、検出結果取得部４０１がＨＭＤ１０５の地磁気センサ２０４から取得した角度情報（θ、φ）と、予め保持している表示部２０１の画角情報とに基づいて、観察者が現在観察するカレント領域を決定する。前述の通り、環境マップには予め角度ごとの輝度情報が保持されている。そこで本実施形態では、角度情報（θ、φ）と環境マップの座標系を対応づけ、画角に応じた領域を設定することにより、カレント領域６０１を設定する。

　ステップＳ７０３において表示画像生成部４０７は、低解像度環境マップ５０３を参照し、カレント領域を切り出し、切り出した領域の輝度情報をＨＭＤ１０５の表示部２０１に表示するための射影変換を実行する。表示画像生成部４０７により生成された低解像度表示用画像データは、送信部４０８を介して、ＨＭＤ１０５に転送される。低解像度環境マップは既にメインメモリ１０２に展開されているため、高速に処理できる。また、低解像度環境マップはデータ容量が小さく、処理負荷も高くないために、観察者が視聴する領域の画像データを高速に表示可能となる。

　ステップＳ７０５において検出結果取得部４０１は、ＨＭＤ１０５の加速度センサ２０３から新たな加速度情報（ａθ、ａφ）が取得されたかどうかを判定する。加速度情報が更新されない場合はステップＳ７０６に進み、新たな加速度情報が取得された場合はステップＳ７１１に進む。なお、検出結果取得部４０１は、所定時間毎に加速度情報（ａθ、ａφ）を取得し、（ａθ、ａφ）＝（０，０）である場合はステップＳ７０６に進み、（ａθ、ａφ）≠（０，０）である場合はステップＳ７１１に進むようにしてもよい。

　ステップＳ７０６では、カレント領域６０１に対する表示用画像データを送信した後に、加速度情報（ａθ、ａφ）が取得されない場合、観察者の頭部に動きがなく、同じカレント領域６０１を視聴し続けていることを意味する。そこで必要解像度算出部４０５は、カレント領域６０１に表示可能であり、新たに表示用画像データの生成が必要な解像度を算出する。必要解像度情報算出部４０５は、解像度情報取得４０２からＨＭＤ１０５の表示部２０１に表示可能な最高解像度を示す解像度情報を取得する。必要解像度算出部４０５は、解像度情報が示す表示可能な最高解像度以下で、環境マップのうち最も高い解像度を必要解像度として決定する。

　ステップＳ７０７において表示画像生成部４０７は、必要解像度算出部７０６から得られる必要解像度を参照し、低解像度環境マップより高解像度の表示用画像データを生成する必要があるかどうかを判定する。必要解像度が低解像度環境マップ５０３以下である場合、解像度の変更はできないので、ステップＳ７２１に進む。必要解像度が低解像度環境マップ５０３の解像度より高い場合は、ステップＳ７０８に進む。

　ステップＳ７０８において表示画像生成部４０７は、必要解像度に応じた環境マップから、カレント領域６０１に対応するブロック画像のみを記憶装置１０３から読み出し、メインメモリ１０２に展開する。

　ステップＳ７０９において表示画像生成部４０７は、読み出したブロック画像からカレント領域６０１を切り出し、切り出した画像データを射影変換することにより、表示用画像データを生成する。

　ステップＳ７１０において表示画像生成部４０７は、表示用画像データを送信部４０８に出力し、送信部４０８はＨＭＤ１０５により高解像度な表示用画像データを転送する。その結果、観察者がカレント領域６０１を視聴し続けている場合は、より高解像度な映像を視聴することができる。

　次に、観察者の頭部が動き、ＨＭＤ１０５の加速度センサ２０３から新たな加速度情報（ａθ、ａφ）を取得（または（ａθ、ａφ）≠（０，０））した場合の処理について説明する。ステップＳ７１１においてターゲット領域決定部４０３は、加速度情報（ａθ、ａφ）に基づいて、ターゲット領域６０２を決定する。人間の視線はその構造上、図６（ｃ）に示すように、θ方向とφ方向の可動範囲によって限定されている。そこでターゲット領域決定部４０３は、図６（ｂ）に示すように予め保持している頭部の稼働範囲と加速度情報（ａθ、ａφ）とから、観察者の頭部の動きを予測し、ターゲット領域６０２を設定する。ターゲット領域は、カレント領域の中心座標（θc、φc）から一定時間Δt秒に加速度（aθ、aφ）で移動した移動量から算出する。Δt秒後のターゲット領域の中心座標（θt、φt）は、

により算出できる。この中心座標から画角に合わせた領域を設定する。Δtは、人間の頭部を稼働する平均時間として1秒を設定しておく。なお、（θt、φt）が頭部の可動範囲を超える場合は、可動範囲内にターゲット領域を再設定する。

　ステップＳ７１２において経路領域算出部４０４は、カレント領域６０１とターゲット領域６０２とから、２つの領域をつなぐ経路領域６０３を設定する。経路領域はカレント領域とターゲット領域の各頂点を直線でつないだ領域を、全て覆うブロック画像群を算出して決定する。

　ステップＳ７１３において表示画像生成部４０７は、メインメモリ１０２上の低解像度環境マップ５０３から、ターゲット領域６０２および経路領域６０３の画像データを切り出し、それぞれ射影変換をする。

　ステップＳ７１４において表示画像生成部６０２は、経路領域６０３の表示用画像データおよびターゲット領域６０２の表示用画像データを順に送信部４０８出力する。送信部４０８は角度情報に合わせて表示部２０１に各低解像度な表示用画像データを表示するよう制御する。

　ステップＳ７１５において必要解像度算出部４０５は、必要解像度を算出する。ターゲット領域６０２に対する必要解像度は、ステップ７０６と同様の方法により決定される。ステップＳ７１５において経路領域６０３に対する必要解像度の算出の詳細については、後述する。

　ステップＳ７１６において表示画像生成部７１６は、ステップＳ７０７と同様に、必要解像度算出部７０６から得られる必要解像度を参照し、低解像度環境マップより高解像度の表示用画像データを生成する必要があるかどうかを判定する。表示用画像データの変更があると判定した場合は、ステップＳ７１７に進む。

　ステップＳ７１７～ステップＳ７１９における表示画像生成部４０７の処理は、ステップＳ７０８～ステップＳ７１０と同様である。

　ステップＳ７２０においてカレント領域決定部４０９は、ＨＭＤ１０５の地磁気センサ２０４から所定の間隔で送信される角度情報（θ、φ）とＧＰＳセンサ２０５から送信される位置情報に基づいて、カレント領域６０１の位置を更新する。

　ステップＳ７２１において画像処理装置４００は、ＨＭＤ１０５における視聴が終了したかどうかを判定し、終了する場合は画像処理装置４００における処理を完了する。また、視聴が継続している場合は、ステップＳ７０５に戻り、観察者の頭部の動きに応じて、表示用画像データを生成する。

　図８は、Ｓ７１５における必要解像度取得部４０２による必要解像度の算出処理のフローチャートである。ステップＳ８０１において、ＨＭＤ１０５の表示部２０１の解像度が所定の閾値Ｒ以上であるかを判定する。表示部２０１の解像度の方が閾値Ｒ以上の場合、ステップＳ８０２に進む。表示部２０１の解像度が閾値Ｒ未満である場合、ステップＳ８０５に進む。

　ステップＳ８０２において、ＨＭＤ１０５から得られる加速度情報（ａθ、ａφ）に基づいて、加速度の絶対値が所定の閾値Ａ未満であるかどうかを判定する。頭部の動きが早い場合、観察者は、観察者の視線が視聴した方向に辿りつくまでの経路領域についてはあまり映像として視覚できないと推測できる。そこで、加速度の絶対値が閾値Ａ以上である場合、ステップＳ８０５に進み、経路領域に対しては比較的低い解像度を設定する。ステップＳ８０２において加速度の絶対値が閾値Ａ未満である場合は、ステップＳ８０３に進む。

　ステップＳ８０３において、ａθとａφの大きさを比較する。ａφの大きさがａφの大きさ未満である場合はステップＳ８０４に進み、ａθの大きさがａφの大きさ以上である場合はステップＳ８０５に進む。ステップＳ８０４において、経路領域６０３に対する解像度としてターゲット領域６０２に対応する解像度と同じ解像度を設定する。つまり、経路領域６０３に対する解像度は、表示部２０１が表示可能な解像度の環境マップのうち最も高い解像度が決定される。ステップＳ８０５においては、経路領域６０３に対する解像度として、ターゲット領域６０２に対応する解像度より、１段階解像度を低くした解像度が設定される。例えば本実施形態において、ターゲット領域６０２に対して高解像度環境マップ５０１と同じ解像度が決定されている場合、経路領域６０３に対する必要解像度は、中解像度環境マップ５０２と同じ解像度が決定される。これは、人間の頭部はθ方向の方がより可動範囲が広いため、広範囲の領域を先読みする必要が生じることを考慮している。すなわち頭部がθ方向に大きく動く場合は、生成する表示用画像データの大きさが大きくなる分、解像度を低くすることによりデータ容量を削減している。

　以上説明したように本実施形態によれば、ＨＭＤ１０５を装着した観察者が今後観察する領域をあらかじめ予測し、表示用画像データを生成する。予測に基づいて生成された表示用画像データは、ＨＭＤ１０５の表示部２０１に表示する画像の事前に生成されているため、表示部２０１は観察者の動きに合わせてリアルタイムに高解像度の映像を表示することができる。

　＜第２実施形態＞
　第１実施形態では、画像処理装置４００が生成した表示用画像データを随時ＨＭＤ１０５の表示部２０１に表示する形態について説明した。第２実施形態では、ターゲット領域６０３として先読みした画像データをキャッシュ（一時的にメインメモリ１０２に保持）および削除する手法について説明する。なお、第１実施形態と同一の構成については同一の符号を付し、説明を省略する。

　図９は、人間の頭部の動き特性を説明するための図である。はじめに、頭部９０１が視点位置９０２を向いているものとする。次に図９（ｂ）に示すように頭部９０１がθ方向に回転し、視点位置が視点位置９０３まで移動する。それ以上首が回転できないない位置まで到達すると、図９（ｃ）に示すように、頭部９０１は逆回転を行い、元の視点位置９０２に戻ろうとする可能性が高い特性がある。本実施形態では、この動き特性を利用した画像データのキャッシュ手法を説明する。

　図１０は、第２実施形態における処理の全体を示すフローチャートである。ステップＳ１００１において画像処理装置４００は、ＨＭＤ１０５から加速度センサ２０３が検出した加速度情報を取得する。

　ステップＳ１００２において画像処理装置４００は、角度情報に応じてステップ７０１からステップＳ７０４までの処理を実行し、観察者が視聴しているカレント領域６０１に表示用画像データを生成する。また、加速度情報に応じてステップＳ７１１からステップＳ７１９までの処理を実行することにより、加速度方向に応じて、ターゲット領域６０２の表示用画像データと経路領域６０３の表示用画像データを生成し、メインメモリ１０２にキャッシュする。画像処理装置４００は、少なくともＨＭＤ１０５から取得した加速度情報が示す方向が反転するまで、つまり逆方向の加速度情報が入力されるまで表示用画像データをメインメモリ１０２に保持させる。ステップＳ１００３において各領域に対応する表示用画像データを順にＨＭＤ１０５に転送し、ステップＳ１００４において受け取った順に表示用画像データを表示部２１０が表示する。この時、表示用画像データは、メインメモリ１０２に保持されたままである。

　ステップＳ１００５においてＨＭＤ１０５が新たな加速度情報を取得し、画像処理装置４００に転送する。ステップＳ１００６において、ＨＭＤ１０５から取得された加速度情報に基づいて、表示用画像データを生成する。ターゲット領域、経路領域や必要解像度を算出する工程は、第１実施形態と同様に実行する。ただし、生成したい表示用画像データがメインメモリ１０２にキャッシュされている場合は、新たに環境マップの切り出し、射影変換を行うことなく、メインメモリ１０２から表示用画像データを読み出す。生成したい表示用画像データがメインメモリ１０２に保存されていない場合は、第１実施形態と同様に、ターゲット領域および経路領域に対応する表示用画像データを生成する。ステップＳ１００８において表示用画像データがＨＭＤ１０５の表示部２０１に表示される。ステップＳ１００９において、メインメモリ１０２から削除する。

　以上により、人間の頭部の動き特性に合わせて、一度生成した表示用画像データが再度視聴される可能性を考慮して、先読みして生成した表示用画像データをキャッシュする。これにより、観察者の動きに合わせてよりリアルタイムかつ少ない処理負荷により高解像度の映像をリアルタイムに表示することができる。

　＜第３実施形態＞
　第２実施形態では、人間の頭部の動き特性に応じて表示用画像データを制御する方法について開示した。第３実施形態では、観察者の移動（歩行）に合わせて環境マップを切り替える処理について説明する。なお、第１実施形態と同一の構成については同一の符号を付し、説明を省略する。

　図１１は、人間の歩行に合わせた環境マップの切り替え方法を説明する概要図である。観察者１１０１がはじめに環境マップＡを観察しているものとする。観察者１１０１が前進した場合、観察者１１０１が観察する光景を変化させる必要がある。そのため、環境マップＡから環境マップＢに切り替える必要がある。このとき、観察者１１０１がある注視点１１０２を注視しながら、歩行する場合を考える。前述の実施形態において説明した通り、同じ視線方向の映像を視聴していると、最初は低解像度な環境マップに基づいて生成された表示用画像データが表示され、その後に高解像度な環境マップに基づいて生成された表示用画像データに切り替わる。従って観察者１１０１は既に高解像度の環境マップＡを観察しているので、歩行した結果、位置情報と角度情報に基づいて新たに環境マップＢの低解像度な表示用画像データに切り替わると、違和感を感じてしまう。そのため、この違和感を軽減する手法が必要である。

　図１２は、第３実施形態における処理の全体を示すフローチャートである。ステップＳ１２０１において、ＨＭＤ１０５の表示部２０１は注視点１００２における高解像度の環境マップＡに基づいて生成された表示用画像データを表示している。ステップＳ１００２では、加速度センサ２０３により加速度情報、磁気センサ２０４により角度情報、ＧＰＳセンサ２０５による位置情報を用いて観察者１１０１の歩行を検知し、その移動情報を動き情報として画像処理装置４００に送信する。

　ステップＳ１００３では、移動情報（方向、距離）に応じて観察者１１０１が移動した後の位置に対応する環境マップＢを選択する。ステップＳ１００４において、ＨＭＤ１０５は現在表示している注視点１００２における環境マップＡの解像度を画像処理装置４００に送信する。ステップＳ１００５においてＨＭＤ１０５は、ＣＰＵ（不図示）による制御のもと、現在表示している注視点１００２における環境マップＡに基づいて生成された表示用画像データを、観察者１１０１の移動情報に合わせて射影変換し表示する。一方ステップＳ１００６において画像処理装置４００は、ＨＭＤ１０５の表示している解像度に合わせて、読み出す環境マップＢの解像度を設定する。ステップＳ１００７において画像処理装置４００は、ステップ記憶装置１０３からＳ１０６において設定した解像度の環境マップＢの注視点１００２を中心とするカレント領域のブロック画像を読み出し、メインメモリ１０２に展開する。ステップＳ１００８において画像処理装置４００における表示画像生成部４０７は、読み出したカレント領域の画像データを射影変換し表示用画像データを生成する。ステップＳ１００９では、ＨＭＤ１０５の表示部２０１は、ステップＳ１００８において生成された表示用画像データを表示する。

　以上により、観察者が移動する場合においても、観察者が解像度の変化による違和感を感じることなくリアルタイムに高解像度の映像を表示できる。また、観察者の位置が変わったことにより視点位置に対応する環境マップが変わった場合にも、効率的により高解像度な画像データを生成することができる。

　＜その他の実施形態＞
　前述の実施形態では、観察者の頭部（または視線）の動きを検知するために、ＨＭＤ１０５に搭載された加速度センサを用いて頭部の加速度を検出し、加速度情報を用いる例を説明した。しかしながら、観察者の動きを取得する方法はこれに限らない。例えば、加速度ではなく頭部が動いた時の速度を検出する方法でもよいし、頭部の動きを示す情報としては加速度情報（ａθ、ａφ）ではなくベクトルによって表された情報を用いてもよい。

　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

Claims

　観察者の視線方向に応じて画像データを表示するための画像処理装置であって、
　解像度の異なる複数の環境マップを記憶する記憶手段と、
　前記観察者の動きを示す情報を動き情報として取得する取得手段と、
　前記観察者に表示しているカレント領域を保持する保持手段と、
　前記カレント領域と前記動き情報に基づいて、前記環境マップにおけるターゲット領域を決定するターゲット領域決定手段と、
　前記カレント領域から前記ターゲット領域に視線方向が変化する経路を含む領域を経路領域として決定する経路領域決定手段と、
　前記複数の環境マップのうち、前記経路領域および前記ターゲット領域それぞれに対応する解像度を設定する設定手段と、
　前記設定手段により設定された解像度の環境マップから前記経路領域および前記ターゲット領域それぞれに対応する画像データを読み出し、前記経路領域に表示するための画像データおよび前記ターゲット領域に表示するための画像データを生成する生成手段とを有することを特徴とする画像処理装置。
　前記設定手段は、前記動き情報から得られる前記観察者の動きの速度の大きさに基づいて、前記経路領域に対応する解像度を設定することを特徴とする請求項１に記載の画像処理装置。
　前記動き情報には、横方向の加速度を示す情報と縦方向の加速度を示す情報からなる加速度情報を含み、
　前記設定手段は、縦方向の加速度の方が横方向の加速度よりも大きい場合は第１の解像度を、横方向の加速度の方が縦方向の加速度よりも大きい場合は前記第１の解像度より低い第２の解像度と、前記経路領域に対応する解像度として設定することを特徴とする請求項２に記載の画像処理装置。
　前記経路領域決定手段は、縦方向に狭く横方向に広い領域を経路領域として設定することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
　前記設定手段は、前記画像データを表示する表示手段が表示可能な最高解像度を予め記憶し、前記ターゲット領域に対応する解像度として最高解像度を設定することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
　さらに、前記生成手段が生成した画像データを保持する保持手段を有し、
　前記保持手段は、前記取得手段が示す動き情報が逆方向の動きを示すまで、前記画像データを保持することを特徴とする請求項３の何れか一項に記載の画像処理装置。
　さらに、前記取得手段は、前記動き情報として前記観察者の移動に関する情報を示す移動情報を取得し、
　前記生成手段は、前記移動情報に応じて読み出す環境マップを切り替えることを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
　コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１乃至７の何れか一項に記載された画像処理装置として機能させることを特徴とするコンピュータプログラム。
　観察者の視線方向に応じて画像データを表示するための画像処理方法であって、
　前記観察者の動きを示す情報を動き情報として取得し、
　前記観察者に表示しているカレント領域を保持し、
　前記カレント領域と前記動き情報に基づいて、前記環境マップにおけるターゲット領域を決定し、
　前記カレント領域から前記ターゲット領域に視線方向が変化する経路を含む領域を経路領域として決定し、
　記憶手段に記憶された解像度の異なる複数の環境マップのうち、前記経路領域および前記ターゲット領域それぞれに対応する解像度を設定し、
　前記設定手段により設定された解像度の環境マップから前記経路領域および前記ターゲット領域それぞれに対応する画像データを読み出し、前記経路領域に表示するための画像データおよび前記ターゲット領域に表示するための画像データを生成することを特徴とする画像処理方法。