JP6923959B2

JP6923959B2 - 網膜走査型表示部を用いた画像表示装置およびその方法

Info

Publication number: JP6923959B2
Application number: JP2019538274A
Authority: JP
Inventors: 祥治山田; 勝山　俊夫; 俊夫勝山
Original assignee: University of Fukui
Current assignee: University of Fukui
Priority date: 2018-02-09
Filing date: 2019-01-25
Publication date: 2021-08-25
Anticipated expiration: 2039-01-25
Also published as: US11188149B2; WO2019155916A1; JPWO2019155916A1; CN111684336A; US20210080727A1

Description

本発明は、網膜走査型表示部を用いた画像の表示技術に関する。

従来から人（以下、利用者という）の視野をできるだけ多くカバーすることにより、利用者の没入感を高める表示装置が種々提案されている。例えば、特許文献１では、複数台の大型表示装置を用意し、利用者を取り囲むように配置することで、没入感を高めている。こうした装置構成では、液晶ディスプレイなどの表示装置と利用者との距離を近くすれば、比較的小さな表示装置でも視野の多くをカバーすることができるが、表示装置までの距離が小さくなると、臨場感は失われやすい。このため、利用者から一定の距離を確保した上で、大画面の表示を行なう構成が求められ、例えば特許文献２では、投写型表示装置と曲面の投写面とを利用して、利用者の視野の大部分を覆う没入感の高い構成が提案されている。

他方、ヘッドマウントディスプレイのように表示装置を眼に近接させて配置して視野のカバー率を高めると共に、形成する像を虚像とすることで像の位置を利用者から離し、表示装置の小型化と没入感の醸成とを両立させようとする技術も、種々提案されている（例えば、特許文献３）。

更に、こうした大型表示装置やヘッドマウントディスプレイにおいて、人間の視認能力が、視野の中心部分で高く周辺部分で低いことを考慮して、視野中心に表示される画像の解像度より周辺の解像度を粗くし、画像形成の負荷の軽減やレンダリング時間の短縮等を図るものも提案されている（特許文献４、５）。ヘッドマウントディスプレイには、特許文献３に例示されているように、液晶や有機ＥＬなどの微少な表示部に画像を形成し、この画像を光学系を用いて虚像として利用者に視認させるタイプの他、微少なレーザ光を光学系を用いて網膜に直接入射して、利用者から所定の距離だけ隔たった位置に合焦可能な画像を表示するタイプも知られている（例えば、特許文献６）。

特許第２７０８１８９号公報特許第３９５６５４３号公報特許第５９２０８９７号公報特許第３２４０３６２号公報特許第３１４３５５８号公報特開２０１７−１２２７７５号公報

しかしながら、こうした従来の表示装置では、以下の相反する要請が解決されていなかった。つまり、装置の小型化と、自然な現実世界の視認性の確保とを両立することは困難であった。例えば、特許文献１、２、５の手法では、表示装置が大型化してしまう。他方、特許文献３、４、６のようなヘッドマウントディスプレイでは、装置の小型化と没入感の確保とが可能となるものの、全視野が覆われてしまい、画像の描画範囲の広狭にかかわらず、現実世界を視認することが困難になってしまう。

本発明は、こうした課題を踏まえたものであり、以下の態様で実現することが可能である。

１つの実施態様として、利用者に対して、所定の画像を視認可能に表示する画像表示装置が提供される。この画像表示装置は、利用者の頭部に装着され、前記利用者の両眼の網膜位置にレーザ光を走査することにより、前記利用者の両眼の位置から第１距離だけ隔たった位置に合焦する第１画像を表示する網膜走査型表示部と；前記網膜走査型表示部を装着した前記利用者の瞳孔位置および視線の方向を検出する視線検出部と；前記利用者から、前記第１距離より短い第２距離だけ隔たった位置に設けられたパネルに、前記第１画像とは異なる第２画像を表示するパネル型表示部と；前記所定の画像から、前記検出した利用者の視線の方向に存在すると想定される部分を、前記第１画像として前記網膜走査型表示部に出力すると共に、前記所定の画像に対して前記第１画像と相補的な画像を、前記第２画像として前記パネル型表示部に出力する画像出力部とを備える。

この画像表示装置は、利用者に対して表示する所定の画像を、検出した利用者の視線の方向に存在すると想定される部分である第１画像と、これと相補的な第２画像とし、第１画像を、網膜走査型表示部によって利用者から第１距離に表示し、第２画像を、この第１距離より短い第２距離だけ利用者から隔たった位置に設けられたパネル型表示部に表示する。したがって、利用者は、その視線の方向であって、利用者から第１距離だけ隔たった位置に合焦する第１画像を見ることになり、同時に第１画像とは相補的な第２画像を、第１距離より短い第２距離に見ることになる。人の眼は、視線の方向、つまり中心視野領域において高い認識能力を持つ。したがって、利用者は合焦の位置の第１画像を明瞭な画像としてみることができ、これとは相補的な第２画像と合せて、広い範囲に表示される所定の画像と見ることができる。

本発明は、この他、画像表示方法や、画像表示装置の制御方法、あるいは上記の画像表示装置を内蔵したゲーム機や、大規模モニタ装置等、様々な態様で実施可能である。

第１実施形態の画像表示装置の概略構成図。網膜走査型表示部を中心に示す概略構成図。実施形態において、利用者から見た画像の一例を示す説明図。画像出力装置において実行される画像表示処理ルーチンを示すフローチャート。画像出力装置において実行される画像生成処理ルーチンを示すフローチャート。利用者からの見え方を模式的に示す説明図。利用者の視線の方向が移動した場合の利用者から見た画像の一例を示す説明図。第２実施形態を例示する説明図。第３実施形態を例示する説明図。

Ａ．実施形態のハードウェア構成：
第１実施形態の画像表示装置１０は、図１に示したように、利用者ＵＳＲの頭部に装着する網膜走査型表示部２０と、パネル型表示部５０と、網膜走査型表示部２０およびパネル型表示部５０に表示すべき画像データを出力する画像出力装置６０と、画像出力装置６０が表示用に処理する元データである仮想空間データを記憶する外部記憶装置９０とを備える。

画像出力装置６０は、制御を統御するＣＰＵ６１、メモリ６２、画像処理を行なう専用チップであるＧＰＵ６５、操作部６７、網膜走査型表示部２０との信号のやり取りを行なう網膜走査型表示部インタフェース７１、パネル型表示部５０との信号のやり取りを行なうパネル型表示部インタフェース７２、外部記憶装置９０との信号のやり取りを行なうストレージインタフェース７５等を備える。画像出力装置６０は、画像出力部として機能するだけでなく、後述する様に、視線検出部としての機能の一部も分担する。

各部の動作等については後述するが、簡略に全体の画像処理について説明すると、この実施形態の画像表示装置１０は、外部記憶装置９０に記憶した仮想空間データから、利用者ＵＳＲにより指定された空間のデータを、ストレージインタフェース７５を介して取り出し、これを、ＧＰＵ６５の画像変換能力を利用して、利用者ＵＳＲの位置および視線の方向に基づいて利用者ＵＳＲから見えている画像に変換する。画像の変換は、利用者ＵＳＲによる操作部６７の操作や、利用者ＵＳＲの視線の方向により、リアルタイムに変換される。画像出力装置６０は、変換した画像を振り分け、その一部を、網膜走査型表示部インタフェース７１を介して網膜走査型表示部２０に、また残部を、パネル型表示部インタフェース７２を介してパネル型表示部５０に、それぞれ出力し、両表示部２０，５０に表示させる。パネル型表示部５０に表示される画像は、網膜走査型表示部２０により表示される画像の残部なので、両画像は相補的な画像ということができる。

外部記憶装置９０に記憶された仮想空間データは、仮想的な３次元空間を表現したデータであり、画像表示の元となるデータである。こうした仮想空間データは、現実の地形や都市などに基づいたデータでもよいし、ゲームなどで用いる全く仮想的なデータでもよい。仮想空間データは、その仮想空間に存在する対象物の３次元データと座標関係を示すデータ、対象物の色彩や質感などを表わすデータなどを含んでよい。また、外部記憶装置９０は、画像出力装置６０に内蔵されていてもよいし、ネットワークを介して接続された他のサイトなどに設けられていてもよい。本実施形態では、仮想空間データは予め用意したが、空間の造形規則を与えて、リアルタイムに生成するようにしてもよいし、３次元カメラの撮像データを利用してもよい。

利用者ＵＳＲは、上述した仮想空間の内部にいるものとして、画像出力装置６０よる画像の生成と表示とが行なわれる。仮想空間内の最初の位置（デフォルトの位置）は、予め定めておいても良いし、利用者ＵＳＲが操作部６７を用いて指定するようにしてもよい。利用者の視線の方向は、後述するように、網膜走査型表示部２０によって検出される。利用者の位置の変更、つまり仮想的な空間の中で進んだり、曲がったりといった位置の変更は、網膜走査型表示部２０だけでは画像出力装置６０に与えることができない。このため、利用者ＵＳＲは、操作部６７を操作して、自己の位置の変化を入力する。例えば、操作部６７に前後左右の移動に対応された十字キーを設けたり、ジョイスティックを設けたり、あるいは２次元のタッチパッドを設けたりして、利用者ＵＳＲによる移動方向の入力を受け付ければよい。

網膜走査型表示部２０の構成と働きについて説明する。図２は、網膜走査型表示部２０の概略構成図である。網膜走査型表示部２０は、いわゆるシースルータイプの表示部であり、利用者ＵＳＲは、網膜走査型表示部２０を装着した状態でも外界を視認することができる。網膜走査型表示部２０は、中心にビデオカメラ２４を備え、その左右に、表示用の構成を、ほぼ対称に配置して備える。網膜走査型表示部２０では、透過型の透過表示部２１，２２、利用者ＵＳＲが頭部に装着するためのテンプル２８，２９のみならず、左右の眼球ＥＬ，ＥＲの方向を検出するアイカメラ２６，２７、透過表示部２１，２２内部に設けられた反射部３１，３２，反射部３１，３２に向けてレーザ光を射出する光学エンジン４１，４２などが、左右対称に設けられている。

光学エンジン４１，４２は、ＲＧＢの三色の光を発光する半導体レーザを内蔵し、半導体レーザからのＲＧＢの光を、合波器を用いて一つの導光路上に統合している。また、この導光路から射出する光を反射鏡に反射させて、反射部３１，３２に導いている。反射鏡の角度をアクチュエータにより変化させることで、射出されるレーザ光を走査し、この走査に合せて半導体レーザの出力強度を制御することにより、利用者ＵＳＲの左右眼ＥＬ，ＥＲの網膜上に直接画像を形成し、これを利用者に視認させる。光学エンジン４１，４２が内蔵する半導体レーザ、合波器、導光路、反射鏡などについては特に図示しないが、これらの構造は、例えば国際公開番号ＷＯ２０１５／１７０５０５号の公報などに詳しく説明されている。もとより、合波器を用いず、三原色のレーザ光を個別に、反射鏡を用いて、反射部に射出する構成を採用することも可能である。あるいは、光学エンジン４１，４２を透過表示部２１，２２よりも外側に設け、反射部３１，３２を用いず、直接左右眼ＥＬ，ＥＲにレーザ光を射出するようにしてもよい。

網膜走査型表示部２０が表示する画像については、後で詳しく説明するが、光学エンジン４１，４２から射出されるレーザ光により画像が形成されるのは、左右の眼ＥＬ，ＥＲの網膜の中心視野領域である。中心視野領域は、人の少なくとも網膜中心窩を含む領域である。人の眼は、この中心視野領域において高い認識能力を持つ。したがって、光学エンジン４１，４２により形成される画像は、鮮明に認識される。利用者ＵＳＲの両眼の隔たりなどは人により異なるので、網膜走査型表示部２０は、利用者ＵＳＲの頭部への装着時に、反射部３１，３２に反射したレーザ光が網膜の中心視野領域に到達するように、光学系のアライメントが調整されている。なお、後述するように、光学エンジン４１，４２により左右眼ＥＬ，ＥＲ用に生成される画像には、立体視のための視差が与えられているので、利用者ＵＳＲの眼のいわゆるピントは、左右の画像に含まれる視差情報に反応して、視差に対応した位置に調整される。このため、それ以外の位置に存在するもの、例えば透過表示部２１，２２をシースルーして見ているものについては、通常はピントが合わず、ぼけた状態となる。この点についても、後で詳しく説明する。

網膜走査型表示部２０の中心に設けられたビデオカメラ２４は、利用者ＵＳＲの前方の画像を撮像し、その画像信号を画像出力装置６０に出力する。ビデオカメラ２４は、利用者ＵＳＲの前方におかれるパネル型表示部５０に設けられた３つのマーカ５１〜５３を認識するために設けられている。マーカ５１〜５３は、図２および後述する図３に示したように、パネル型表示部５０の外縁を形成するフレームの３箇所に設けられている。３つのマーカの位置は、２つ以上が同じ位置に存在しないこと、３つのマーカが一直線上に並ばない位置であること、ビデオカメラ２４の撮像範囲に入ること、という条件を満たせば、その位置関係はどのようなものであっても差し支えない。本実施形態では、図３に示したように、パネル型表示部５０の左上、右上、左下にそれぞれ設けた。

画像出力装置６０は、このビデオカメラ２４からの映像に基づいて、マーカ５１〜５３の位置を解析し、網膜走査型表示部２０、ひいては利用者ＵＳＲとパネル型表示部５０の位置関係を特定することができる。ビデオカメラ２４を用いてマーカ５１〜５３を撮像する手法の場合、マーカ５１〜５３の位置（マーカ間の距離および配置）が分っていれば、ビデオカメラ２４が撮像したマーカ５１〜５３が含まれる映像を解析することで、網膜走査型表示部２０とパネル型表示部５０との位置関係（パネル型表示部５０までの距離およびパネル型表示部５０に対する網膜走査型表示部２０の３方向の姿勢）を求めることができる。こうした位置関係を求める処理は、網膜走査型表示部２０側で行なうものとすることも差し支えない。なお、ビデオカメラ２４に代えて、３軸のジャイロセンサを設け、利用者ＵＳＲの頭部の傾き、延いては網膜走査型表示部２０の傾きを検出し、これを画像出力装置６０に出力するものとしてもよい。この場合、パネル型表示部５０と網膜走査型表示部２０との距離は求められないので、デフォルトの位置を定めておき、これを初期値として使用するようにすればよい。こうした位置関係は、ＸＹＺの直交座標系で表現してもよいし、利用者ＵＳＲの頭部のいずれかの位置を原点とする極座標系で表現してもよい。

アイカメラ２６，２７は、利用者ＵＳＲの左右の眼球ＥＬ，ＥＲを撮像し、その信号を、画像出力装置６０に出力する。画像出力装置６０は、受け取った画像から眼球の瞳の位置と大きさを解析し、これにより、眼球の位置、即ち視線の方向を認識する。この場合の視線の方向とは、利用者ＵＳＲの頭部を基準とした方向である。したがって、画像出力装置６０は、このアイカメラ２６，２７からの信号を解析して得た視線の方向の情報と、既述したビデオカメラ２４からの信号を解析して得た利用者ＵＳＲの位置関係の情報とを併せることで、利用者ＵＳＲが見ている方向を特定することができる。ここで言う「利用者が見ている方法」とは、現実には、パネル型表示部５０に対する方向であり、仮想的には仮想空間内において、利用者ＵＳＲが仮想空間内で見ている方向である。上記のように、本実施形態では、アイカメラ２６，２７と、後述する画像出力装置６０において実行される処理（図４、ステップＳ１３０）とにより、視線検出部が実現されている。

Ｂ．画像表示処理：
以上説明した構成を用いて、画像表示装置１０が行なう画像表示処理について、図３、図４、図５を用いて説明する。図３は、本実施形態において、利用者ＵＳＲから見た画像の一例を示す説明図、図４、図５は、画像出力装置６０において実行される処理ルーチンを示すフローチャートである。画像出力装置６０が実行する処理の説明に先立って、利用者ＵＳＲにどのような映像が見えるかについて説明する。網膜走査型表示部２０を装着してパネル型表示部５０の前に立った利用者ＵＳＲには、網膜走査型表示部２０よる第１画像としての画像と、網膜走査型表示部２０の透過表示部２１，２２を透して認識できるパネル型表示部５０に表示された第２画像としての画像とが見える。網膜走査型表示部２０により表示される画像と、パネル型表示部５０に表示される画像とは、後述するように、別々に生成される。

このうち、網膜走査型表示部２０に表示される画像は、図３に示したように、利用者ＵＳＲからするとその中心視野に対応する領域（以下、中心領域という）ＣＳＡの画像である。網膜走査型表示部２０には、この中心視野に対応する中心領域ＣＳＡの画像以外は出力されないから、中心領域ＣＳＡ以外には画像がなく、利用者ＵＳＲからすれば、中心領域ＣＳＡ以外は、シースルーの状態となっている。この中心領域ＣＳＡ以外の領域であって、パネル型表示部５０の表示領域と重なる領域（以下、周辺領域という）ＢＳＡの画像は、パネル型表示部５０に出力される。両方の画像は重なっていないので、相補的な関係にある。したがって、利用者ＵＳＲにとっては、網膜走査型表示部２０に表示されている中心領域ＣＳＡの画像と、パネル型表示部５０に表示されている周辺領域ＢＳＡの画像とが、一続きの画像として、矛盾や輻輳のない画像として視認される。

利用者ＵＳＲが画像を見ている間、網膜走査型表示部２０に設けられたビデオカメラ２４は継続的に撮像を続けており、図３に例示したマーカ５１〜５３を撮像しいる。したがって、撮像されたマーカ５１〜５３を認識することにより、画像出力装置６０は、パネル型表示部５０を座標系の起点として、利用者ＵＳＲとパネル型表示部５０との位置関係、つまり距離と網膜走査型表示部２０の傾き（利用者ＵＳＲの頭部の姿勢）を知ることができる。また、網膜走査型表示部２０に設けられたアイカメラ２６，２７からの信号も画像出力装置６０に入力されており、画像出力装置６０は、利用者ＵＳＲの左右の眼ＥＬ，ＥＲの瞳孔の画像から利用者ＵＳＲの頭部を座標系の起点として、瞳孔位置および視線の方向を知ることができる。このため、両方の認識結果を利用することで、画像出力装置６０は、利用者ＵＳＲがパネル型表示部５０に対してどのような姿勢であり、どの方向を見ているかを知ることができる。なお、本実施形態では、視線検出部において、アイカメラ２６，２７が撮像した瞳孔の画像から、瞳孔位置と視線の方向とを求める方法で視線の方向を検出したが、瞳孔位置を専用のセンサ等により直接検出し、これから計算によって視線方向を求める方法で検出してもよい。

次に、図４，図５に示したフローチャートを参照して、画像出力装置６０が実行する画像表示処理ルーチンおよび画像生成処理ルーチンについて説明する。画像表示装置１０の画像出力装置６０は、電源が投入され、利用者ＵＳＲが網膜走査型表示部２０を装着すると、図４に示す画像表示処理ルーチンを実行する。この処理ルーチンを開始すると、画像出力装置６０のＣＰＵ６１は、まず初期化の処理を実行する（ステップＳ１００）。初期化の処理とは、画像処理に用いるメモリ空間の確保やＧＰＵ６５の設定、網膜走査型表示部２０，パネル型表示部５０および外部記憶装置９０との信号やデータのやり取りに必要な初期化処理などを言う。なお、利用者ＵＳＲが頭部に装着した網膜走査型表示部２０の光学系のアライメントは済んでおり、利用者ＵＳＲの眼の適切な位置に網膜走査による画像が形成されるものとする。

初期化の処理を終えると、ＣＰＵ６１は、実空間と仮想空間との初期対応付けの処理を行なう（ステップＳ１１０）。この処理では、利用者ＵＳＲが仮想空間のどこに位置し、どの方向を向いているかを設定し、利用者ＵＳＲが網膜走査型表示部２０を装着して存在している実空間と、外部記憶装置９０に記憶されている仮想空間との対応付けを行なう。仮想空間の中のどこに位置し、どの方向を向いているかは、予めデフォルトの位置と方向として決定しておいても良いし、利用者ＵＳＲが操作部６７を用いて、設定するものとしてもよい。その場合、最初の位置と方向は与えておき、そこから操作部６７を操作して対応付けを行なう。もとより、利用者ＵＳＲが画像表示装置１０の使用を開始する際に、「○○世界の××場所に東向きに立つ」といった形で仮想空間内の位置と方向とを指定し、その位置と方向とを、利用者ＵＳＲの実空間と対応付けるものとしてもよい。位置と方向の指定は、例えば音声認識を利用してもよいし、地図などを表示し、その地図上の一点および向きを指定するといった手法で指定してもよい。

続いて、画像出力装置６０は、網膜走査型表示部２０と信号のやり取りをして、網膜走査型表示部２０のビデオカメラ２４が撮像した映像からパネル型表示部５０に設けられたマーカ５１〜５３を読み取る処理を行なう（ステップＳ１２０）。更に、網膜走査型表示部２０のアイカメラ２６，２７からの信号を入力し、瞳孔の画像を読み取る処理を行なう（ステップＳ１３０）。この２つの映像から、画像出力装置６０は、利用者の実空間での位置と視線方向、つまりパネル型表示部５０に対してどのくらい離れており、パネル型表示部５０のどの辺りを見ているか、ということを知ることができるから、対応付けられた仮想空間の中で、どの位置からどの方向を見ているかを決定することができる（ステップＳ１４０）。

この対応付けに基づいて、画像出力装置６０は、次に画像生成処理（ステップＳ２００）と、両表示部２０，５０への画像信号の出力処理（ステップＳ３００）とを行なう。その後、利用者ＵＳＲによる画像表示装置１０の利用が終了したか否かを判断し（ステップＳ１５０）、使用が終了していなければ、ステップＳ１２０に戻って、マーカ５１〜５３の読み取りから処理を繰り返す。従って、利用者ＵＳＲがパネル型表示部５０に対する位置を変えたり、見ている方向を変えたりすれば、パネル型表示部５０に対する位置の変更、例えば近接や離間により、画像の大きさを変えるなどの処理を継続する。画像表示装置１０の使用の開始や終了は、操作部６７に設けたスイッチなどにより、容易に実現できる。

図４における画像生成処理（ステップＳ２００）について、図５を用いて説明する。この画像生成処理ルーチンが開始されると、ＣＰＵ６１は、まず、利用者ＵＳＲの現在の仮想空間での位置と視線方向に基づいて、外部記憶装置９０に記憶された仮想空間の３次元データにアクセスし、これを読み出す処理を行なう（ステップＳ２１０）。続いて、読み出した３次元データと、利用者ＵＳＲの現在の視線方向に基づき、利用者ＵＳＲの中心視野に対応する中心領域ＣＳＡを演算する（ステップＳ２２０）。中心領域ＣＳＡの演算とは、中心領域ＣＳＡの中心位置と大きさを求めることに相当する。大きさは、本実施形態では、予め定めた楕円または長円形の形状を定義する、例えば短径と長径として定義される。

その後、求めた中心領域ＣＳＡについて、ＣＰＵ６１は、ＧＰＵ６５に指示して高解像度の画像を生成する（ステップＳ２３０）。利用者ＵＳＲの仮想空間での位置と視線方向とは、図４のステップＳ１３０で求めているので、これに従い、中心領域ＣＳＡに対応した画像を生成することは容易である。このとき、ＧＰＵ６５は、仮想空間の３次元データに基づき、仮想空間内の３次元の奥行きを、両眼ＥＬ，ＥＲに形成される画像の視差に変換して、両眼ＥＬ，ＥＲ用の画像を別々に生成する。また、生成する画像の解像度は、画像の元となる３次元データをレンダリングする際のパラメータをＧＰＵ６５に与えることにより、設定する。中心領域ＣＳＡは、その周辺に広がる周辺領域ＢＳＡより狭いので、ＧＰＵ６５は、短時間のうちに、中心領域ＣＳＡに対応した両眼用の高解像度の画像を生成できる。この画像は、毎秒、６０フレーム程度で書き換えられるので、利用者ＵＳＲは、映像（動画）を見ていることになる。なお、画像の書き換え方法は、インタレースでもノンインタレースでもよい。

次に、ＣＰＵ６１は、利用者ＵＳＲの視線の移動量の大小について判断する（ステップＳ２４０）。視線の移動量とは、利用者ＵＳＲの視線方向の移動量を直前に高解像度の画像を生成した際の方向からの視線の角度の変化量θとして把握することができる。この角度θが大きい場合（初めて画像を生成する場合を含む）には、中心領域ＣＳＡ以外の周辺領域ＢＳＡについて、低解像度の画像を生成する処理を行なう（ステップＳ２５０）。更に、中心領域ＣＳＡと周辺領域ＢＳＡとの境界領域について画像を段階的に補正する処理を行なう（ステップＳ２６０）。この処理は、具体的には、中心領域ＣＳＡの周縁における解像度を、外側に向かって徐々に下げていく処理により実現できる。解像度を下げる処理は、ニアレストネイバー法、バイリニア法、ハイキュービック法など、各種の手法が知られている。これらの手法のいずれかを適用すればよい。単純に言えば、隣接する２以上の画素の階調値を、それらの画素の平均階調値に置き換えればよい。

他方、視線の移動量が小さいと判断した場合には（ステップＳ２４０）、周辺領域ＢＳＡについての新たな画像の生成を行なわず、境界領域に関する解像度の補正のみを行ない（ステップＳ２６０）、いずれの場合も、本処理ルーチンを終了する。

こうして、中心領域ＣＳＡに関する高解像度の画像の生成（ステップＳ２３０）と、周辺領域ＢＳＡに関する低解像度の画像の生成（ステップＳ２５０）とを行なった後、図４に示したステップＳ３００の処理、即ち網膜走査型表示部２０およびパネル型表示部５０への画像信号の出力処理が行なわれる。したがって、利用者ＵＳＲは、図３に示したように、中心領域ＣＳＡについては、網膜走査型表示部２０が表示する高解像度の画像を視認することができる。しかもこのとき、左右の眼の網膜に生成される画像には、奥行きに応じた視差が設けられているから、利用者ＵＳＲは、中心領域ＣＳＡについては、奥行きのある画像、即ち仮想空間を３次元的に認識する。

この様子を図６に例示した。今、仮想的な３次元空間には、対象物ＯＢＪ１〜ＯＢＪ５が存在しているものとする。パネル型表示部５０から少し離れたところに位置する利用者ＵＳＲは、仮想空間の中では対象ＯＢＪ５の方を向いているとする。このとき、画像出力装置６０は、利用者ＵＳＲの位置と視線の方向とを認識し、網膜走査型表示部２０に中心領域ＣＳＡに対応した画像を表示する。図６では、中心領域ＣＳＡに対応する範囲であって、利用者ＵＳＲから見える範囲ＣＳＢをクロスハッチングで示した。

画像出力装置６０は、クロスハッチングした範囲ＣＳＢを利用者ＵＳＲが見ているとして、この範囲ＣＳＢを利用者ＵＳＲの側から見た画像を生成し、これを網膜走査型表示部２０により表示する。この画像には視差情報が含まれているから、利用者ＵＳＲは、対象物ＯＢＪ５を利用者ＵＳＲ側から見た画像を視認し、画像に含まれる視差により、利用者ＵＳＲから隔たった位置ＤＡに対象物ＯＢＪ５が存在するよう視認する。このとき、パネル型表示部５０には対象物ＯＢＪ５に対応する画像は、中心領域ＣＳＡから外れた左端の画像以外は形成されない。

パネル型表示部５０には、中心領域ＣＳＡと相補的な関係にある周辺領域ＢＳＡの画像が形成される。この画像の形成位置は、各対象物ＯＢＪ１〜４を利用者ＵＳＲから見ているとして、これに対応するパネル型表示部５０の位置ＤＥ１〜４である。パネル型表示部５０のサイズが、例えばアスペクト比１６対９の４８インチの液晶表示装置であるとすると、利用者ＵＳＲがパネル型表示部５０の中心において５０センチ離れた場所に立っていれば、利用者ＵＳＲは、水平方向左右にはそれぞれ４７度、合計９４度の範囲までをパネル型表示部５０の画像として見ることができる。この範囲を図６では、角度αとして示した。なお、垂直方向上下には、同様にそれぞれ３１度、合計６２度の範囲までを、パネル型表示部５０の画像として見ることができる。利用者ＵＳＲは、網膜走査型表示部２０の透過表示部２１，２２を透して、このパネル型表示部５０上の画像を視認することができる。この画像は、パネル型表示部５０に表示されているので、奥行きのない、しかも低解像度の画像であるが、利用者ＵＳＲは、その視線方向を注視しているから、この程度の角度αの範囲に画像があれば、利用者ＵＳＲの没入感は十分に高い。

利用者ＵＳＲの左右眼ＥＬ，ＥＲのピントは、網膜走査型表示部２０によって網膜の中心視野に形成された画像に含まれる視差情報に応じて、仮想空間の奥行きに対応した場所に合わされるから、パネル型表示部５０に表示された周辺領域ＢＳＡの画像にはピントは合っていない。即ち、周辺領域ＢＳＡの画像は、利用者ＵＳＲにとってはぼけた画像となる。人の視認特性においては、中心視野から外れると空間分解能（視力）が急速に低下する。したがって、このように中心領域ＣＳＡと比べて解像度の低い画像が表示された周辺領域ＢＳＡについては、ピントが合っていなくても、特に認識に関して違和感を覚えにくい。しかも、中心領域ＣＳＡと周辺領域ＢＳＡとの境界領域では、段階的に解像度が変化するよう、中心領域ＣＳＡの周縁の画像が補正されているので、利用者ＵＳＲは、更に中心領域ＣＳＡと周辺領域ＢＳＡと画像の違いに違和感を覚え難い。

この状態で、利用者ＵＳＲが見る方向を変えると、その視線方向の変更は、ビデオカメラ２４より検出されたマーカ５１〜５３の位置の変更と、アイカメラ２６，２７により検出された眼球ＥＬ，ＥＲの動きの変化として、画像出力装置６０よって直ちに認識される。視線方向とは、単に見ている方向だけであってもよいが、左右の眼ＥＬ，ＥＲの瞳孔の位置から焦点の位置、つまりどの程度離れているところを見ているかも認識するものとすることできる。焦点の位置を認識すれば、認識した焦点の位置に合せて、左右の眼ＥＬ，ＥＲの網膜に形成する像の視差を調整することができる。

利用者ＵＳＲの見ている方向が分れば、図７に例示したように、網膜走査型表示部２０に表示する中心領域ＣＳＡに表示する画像は、仮想空間に内で利用者ＵＳＲが見ている方向に移動する。また、この移動に合せて、周辺領域ＢＳＡに表示する画像も、中心領域ＣＳＡの画像と相補的なものとして形成される。中心領域ＣＳＡが移動する場合、その中心領域ＣＳＡに形成される画像は、常に高解像度の画像であり、周辺領域ＢＳＡに形成される画像は、常に低解像度の画像である。

以上説明したように、上記実施形態の画像表示装置１０によれば、網膜走査型表示部２０は、利用者ＵＳＲの視線の方向である中心領域ＣＳＡに、高解像度の、しかも立体視される画像を表示し、パネル型表示部５０は、この中心領域ＣＳＡと相補的な関係にある周辺領域ＢＳＡに低解像度の画像を表示する。中心領域ＣＳＡは利用者ＵＳＲの視線の方向に追従して設定され、その領域の画像はこれに追従して更新される。従って、利用者ＵＳＲの中心視野に形成される画像は常に高解像度に保たれるので、利用者ＵＳＲとしては、仮想空間の鮮明な画像を見続けることができ、広い視野に亘って歪みや不連続な箇所が気にならず、自然な立体視が可能となる。その結果、仮想空間への高い没入感を継続的に味わうことができ、大きな臨場感を感じることができる。

また、本実施形態の画像表示装置によれば、利用者ＵＳＲの視野の大部分を、網膜走査型表示部２０が表示する画像とパネル型表示部５０に表示された画像で覆い、しかも網膜走査型表示部２０により利用者ＵＳＲが視認する画像が、利用者ＵＳＲの視線の方向の変化に応じて変化すると、パネル型表示部５０により表示される相補的な画像も変化する。このため、網膜走査型表示部２０によって利用者の網膜に直接表示されている画像と、利用者が見るパネル型表示部５０に表示されている画像との間に生じる違和感も抑制される。また、網膜走査型表示部２０とパネル型表示部５０とにより大量あるいは複雑な情報を提示することができる。

しかも、利用者ＵＳＲにとっての画像視認距離は、網膜走査型表示部２０により表示される中心領域ＣＳＡの画像によって決定されるから、パネル型表示部５０と利用者ＵＳＲとの距離を大きくする必要はない。パネル型表示部５０によって表示されている画像は、利用者ＵＳＲからすれば、常に周辺領域ＢＳＡとしての画像であり、パネル型表示部５０までの距離が短くて焦点が合っていなくても、没入感を妨げることはない。したがって、利用者ＵＳＲからパネル型表示部５０まで距離としては、数十センチあれば足り、パネル型表示部５０も含めた全体構成の小型化を図ることができる。

しかも、網膜走査型表示部２０で表示する画像は、中心領域ＣＳＡの画像のみにできるので、周辺領域ＢＳＡを含んだ全画像を形成する場合と比較すると、画像出力装置６０における高解像度の、かつ視差情報を含んだ画像の生成に要する時間を短縮することができる。また、網膜走査型表示部２０自体の表示領域を中心領域ＣＳＡに合わせて小さくすることも可能なので、網膜走査型表示部２０の光学エンジン４１，４２や反射部３１，３２などを小型化することができる。この結果、省資源や製造コストの低減などを図ることも可能である。

パネル型表示部５０により周辺領域ＢＳＡに表示される画像は、中心領域ＣＳＡに表示される画像とは相補的なものであり、かつ低解像度の画像である。従って、広い領域の画像の演算に要する時間を短縮することができる。しかも、このとき、図５に示したように、視線の移動量が大きくなければ、周辺領域ＢＳＡについて、画像の更新処理を行なわない。このため、演算処理を更に少なくすることができる。視線の移動量が小さいときは、周辺領域ＢＳＡの画像の変化は小さく、しかも人の視覚上の認識能力は中心以外では低いので、更新しなくても、利用者ＵＳＲが違和感を覚えることはない。

また、本実施形態の画像表示装置１０で用いた網膜走査型表示部２０は、シースルータイプなので、利用者ＵＳＲは、網膜走査型表示部２０の透過表示部２１，２２を透過して、パネル型表示部５０に表示された画像を見ている。従って、利用者ＵＳＲは、画像表示装置１０が表示する影像の世界に没入できる一方で、自分の身体を含む周辺現実世界の視認はほとんど阻害されないか、全く阻害されない。自然な視覚経験が可能なだけでなく、例えば緊急事態などが生じて、利用者ＵＳＲに何かを伝達しようとする人が視野に入れば、網膜走査型表示部２０を介してこれを視認することは容易である。

Ｃ．第２実施形態：
第１実施形態では、パネル型表示部として、表示面が平坦な液晶ディスプレイを用いた。これに対して、第２実施形態の画像表示装置１０Ａは、図８に示すように、第１実施形態で用いたものと同じ網膜走査型表示部２０と表示面を曲面としたパネル型表示部５０Ａとを備える。こうした曲面のディスプレイとしては、例えば有機ＥＬのように可撓性の発光面を形成できるものを利用して実現しても良いが、第２実施形態では、投写型の表示装置を用いた。図８に示した第２実施形態では、利用者ＵＳＲは、網膜走査型表示部２０を装着して、ドーム形状をしたパネル型表示部５０Ａの内部に位置する。この実施形態において、画像表示装置１０の基本的な構成は、上記実施形態と同様であり、網膜走査型表示部２０およびパネル型表示部５０Ａに表示すべき画像データを出力する画像出力装置と、画像出力装置が表示用に処理する元データである仮想空間データを記憶する外部記憶装置とが設けられている。また、網膜走査型表示部２０も変わるところはない。パネル型表示部５０Ａについては、投写型であること、および表示面がドーム形状をしている点で、相違する。

パネル型表示部５０Ａは、複数台の投写型表示装置ＰＪ１，ＰＪ２、・・を備え、画像出力装置６０から出力される画像を、ドーム５９の外側から投写する。ドーム５９は、背面投射型のスクリーンであり、利用者ＵＳＲは、投写型表示装置ＰＪ１等により投影された画像を見ることができる。

この第２実施形態でも、利用者ＵＳＲの中心視野を含む中心領域ＣＳＡには、網膜走査型表示部２０により高解像度の立体視用画像が利用者ＵＳＲの左右眼ＥＬ，ＥＲの網膜に形成され、パネル型表示部５０Ａにより低解像度の画像が、中心領域とは相補的な領域（周辺領域ＢＳＡ）に形成される。このため、第１実施形態と同様の効果を奏する上、更にドーム５９を用いていることから、利用者ＵＳＲの全視野に近い領域を覆って画像を表示でき、利用者ＵＳＲの没入感を高めることができる。しかも、利用者ＵＳＲにとっての画像視認距離は、網膜走査型表示部２０により表示される中心領域ＣＳＡの画像によって決定されるから、ドーム５９と利用者ＵＳＲとの距離を大きくする必要はない。パネル型表示部５０Ａによってドーム５９に表示されている画像は、利用者ＵＳＲからすれば、常に周辺領域ＢＳＡとしての画像であり、ドーム５９までの距離が短くて焦点が合っていなくても、没入感を妨げることはない。したがって、利用者ＵＳＲからドーム５９まで距離としては、数十センチあれば足りる。こうしたドーム５９の小型化を図れば、投写型表示装置ＰＪ１，ＰＪ２、・・の設置台数の低減や表示輝度などの表示能力の抑制などを図ることもでき、こうした点も含めて、装置全体の簡略化や小型化を図ることができる。

Ｄ．第３実施形態：
次に本発明の第３実施形態について説明する。図９は、第３実施形態の画像表示装置１０Ｂの概略構成を示す説明図である。この画像表示装置１０Ｂは、図９に示したように、利用者ＵＳＲの頭部に装着される網膜走査型表示部２０と、パネル型表示装置５０Ｂとを備える。第３実施形態でも、網膜走査型表示部２０およびパネル型表示部５０Ｂに表示すべき画像データを出力する画像出力装置と、画像出力装置が表示用に処理する元データである仮想空間データを記憶する外部記憶装置とが設けられていることは、第１，第２実施形態と同様である。

パネル型表示部５０Ｂは、利用者ＵＳＲの頭部に、網膜走査型表示部２０と共に設けられるプロジェクタ１００と、球形のドーム５８の内側に貼付された再帰性反射スクリーン１１０とから構成されている。再帰性反射スクリーン１１０は、表面に小さなガラスビーズを敷き詰めたスクリーンである。ガラスビーズは、屈折率と直径が、再帰正反射を起すように選択されている。こうしたガラスビーズを用いた再帰正反射材としては、露出レンズ型、封入レンズ型、カプセルレンズ型など、種々のものが知られている。本実施形態では、スクリーンをドーム５８の内側に貼付することから、柔軟性の高い露出レンズ型の再帰正反射材を用いた。もとより、ドーム５８と一体に製造するのであれば、露出レンズ型に限らず、封入レンズ型やカプセルレンズ型を用いることも可能である。あるいは、プリズム型の再帰正反射材を用いることも差し支えない。

網膜走査型表示部２０を用いて表示される画像は、第１画像であり、既述したように、利用者ＵＳＲからするとその中心視野に対応する中心領域ＣＳＡ（図３参照）の画像である。この画像は、利用者ＵＳＲの視線の方向Ａに常に表示される。図９では、この表示範囲を、範囲Ｂとして示した。もとより、範囲Ｂは、３次元的な範囲である。網膜走査型表示部２０には、この中心視野に対応する中心領域ＣＳＡの画像以外は出力されないから、中心領域ＣＳＡ以外には画像がなく、利用者ＵＳＲからすれば、中心領域ＣＳＡ以外は、シースルーの状態となっている。この中心領域ＣＳＡ以外の領域には、プロジェクタ１００から投影された第２画像としての画像が、再帰性反射スクリーン１１０に反射して、利用者ＵＳＲの視野に入る。つまり周辺領域ＢＳＡの画像は、プロジェクタ１００から投写された画像である。プロジェクタ１００から投写される画像の範囲を、図９では、範囲Ｃとして示した。網膜走査型表示部２０による画像と、プロジェクタ１００による画像は重なっておらず、相補的な関係にある。したがって、利用者ＵＳＲにとっては、網膜走査型表示部２０に表示されている中心領域ＣＳＡの画像と、プロジェクタ１００から投写され再帰性反射スクリーン１１０に反射して視認される周辺領域ＢＳＡの画像とが、一続きの画像として、矛盾や重複のない画像として視認される。

第３実施形態の画像表示装置１０Ｂは、パネル型表示装置５０Ｂとして、再帰性反射スクリーン１１０を用いているので、プロジェクタ１００から投写された光の大部分が、利用者ＵＳＲの頭部周辺に戻ってくる。従って、出力の小さなプロジェクタでも十分な明るさの第２画像の形成を、パネル型表示装置５０Ｂとして形成することができる。しかも、再帰性反射スクリーン１１０に画像を投写するプロジェクタ１００を利用者ＵＳＲの頭部に設けているので、利用者ＵＳＲの頭部位置が移動しても、反射光は効率よくＵＳＲの頭部周辺に集る。従って、利用者ＵＳＲが動いても、アライメントなどを修正する必要がない。

また、第３実施形態では、画像を表示する網膜走査型表示部２０およびパネル型表示部５０Ｂのプロジェクタ１００を、共に利用者ＵＳＲの頭部にまとめているので、画像出力装置６０等との接続、情報伝送や電源ラインなどの取り回しを、簡素なものにできる。ドーム５８側は、再帰性反射スクリーン１１０を設置するのみでよく、ドーム５８の移動や設置も容易である。また、網膜走査型表示部２０とプロジェクタ１００とが、共に利用者ＵＳＲの頭部に集められているので、第１画像と第２画像の配置を整合させることも容易である。ドーム５８の内側全面またはほぼ全面に再帰性反射スクリーン１１０を設置すれば、利用者ＵＳＲが、天頂から足下まで、ほぼ３６０度に亘って、第１および第２画像を視認できるようにすることも可能である。３６０度の視認を可能とするのに、プロジェクタ１００の台数を少なくでき、場合によっては、１台で済ませることができる。

プロジェクタ１００は１台ではなく、複数のプロジェクタ１００を配置して、第２画像が表示される範囲Ｃを拡げても差し支えない。この場合は、拡げた範囲Ｃに応じて、ドーム５８内の再帰性反射スクリーン１１０もドーム５８内に貼付しておけばよい。プロジェクタ１００は、網膜走査型表示部２０と一体に設けてもよいし、網膜走査型表示部２０とは別に、帽子形状のアダプタやベルトなどの補装具を用いるなどして、利用者ＵＳＲの頭部に設けるものとしてもよい。頭部の近くであれば、肩の上に搭載するようにしてもよい。プロジェクタ１００が小型になれば、網膜走査型表示部２０のセンタに、例えば第１実施形態で説明したビデオカメラ２４と並べて配置してもよい。また、テンプル２８，２９に内蔵してもよい。

もとより、プロジェクタ１００を利用者ＵＳＲとは別置きにすることも可能である。この場合は、利用者ＵＳＲの頭部の動きをビデオカメラなどで検出して、頭部の動きに合せて、３次元的にプロジェクタ１００から画像の投影方向を制御する機構を設ければよい。この場合、プロジェクタ１００は、直接再帰性反射スクリーン１１０に向けて第２画像を投写してもよいし、利用者ＵＳＲの頭部に設けた凸面鏡に向けて、第２画像を投写してもよい。後者の場合、凸面鏡で反射した画像が、更に再帰性反射スクリーン１１０に向けて投写される。こうすれば、投写方向に光が反射してくるという再帰性反射スクリーン１１０の特性を十分に活かすことができ、しかも利用者ＵＳＲの頭部に搭載する部材の重量を低減することができる。

更に第３実施形態では、利用者ＵＳＲが視認する第１画像は網膜走査型表示部２０により形成され、第２画像はＵＳＲ毎に用意されたプロジェクタ１００より投写され、再帰性反射スクリーン１１０に反射してほぼ全てが利用者ＵＳＲの頭部付近に戻ってくるから、一つのドーム５８を複数の利用者ＵＳＲが同時に使用することも可能である。再帰性反射スクリーン１１０の特性により、少し離れた場所にいる利用者ＵＳＲの頭部のプロジェクタ１００ら投写された画像は、隣の利用者ＵＳＲにはほとんど視認されないからである。

Ｅ．その他の実施形態：
上記実施形態の他、利用者に対して、所定の画像を視認可能に表示する画像表示装置として、以下の構成を採用することができる。この画像表示装置は、利用者の頭部に装着され、利用者の両眼の網膜位置にレーザ光を走査することにより、利用者の両眼の位置から第１距離だけ隔たった位置に合焦する第１画像を表示する網膜走査型表示部と；網膜走査型表示部を装着した利用者の瞳孔位置および視線の方向を検出する視線検出部と、利用者から、第１距離より短い第２距離だけ隔たった位置に設けられたパネルに、第１画像とは異なる第２画像を表示するパネル型表示部と、所定の画像から、検出した利用者の視線の方向に存在すると想定される部分を、第１画像として網膜走査型表示部に出力すると共に、所定の画像に対して第１画像と相補的な画像を、第２画像としてパネル型表示部に出力する画像出力部とを備えるものとして実現でき、更に以下の構成を採用してもよい。

例えば、この網膜走査型表示部は、利用者の少なくとも網膜中心窩を含む領域に第１画像を投映するものとしてもよい。網膜中心窩を含む領域は、上述のように、人の視覚においても最も解像度が高い範囲であり、ここに第１画像を表示することで、利用者に第１画像を明確に認識させることができる。

あるいはこうした画像表示装置において、視線検出部は、網膜走査型表示部を装着した利用者の頭部の少なくともパネル型表示部に対する位置および方向を検出する第１検出部と、網膜走査型表示部を装着した利用者の頭部を基準とした瞳孔位置および視線の方向を検出する第２検出部とを備えるものとしてもよい。この画像表示装置は、第１検出部と第２検出部とにより、網膜走査型表示部を装着した利用者の瞳孔位置および視線の方向を検出することができる。

ここで、第１検出部は、以下の少なくとも１つの構成を採用することができる。つまり、第１検出部は、
［１］網膜走査型表示部を装着した利用者に備えられ。利用者の位置および方向を検出する少なくとも３軸のジャイロセンサ、
［２］パネル型表示部に対する位置が既知の、かつ一直線上に存在しない３個以上のマーカの位置を読み取ることで、網膜走査型表示部を装着した利用者の位置および方向を検出する光学式読取装置、および
［３］パネル型表示部に対する位置が既知のコイルが発生する磁場の強さを読み取るピックアップコイルであって、直交して配置された３個のピックアップコイルによって、網膜走査型表示部を装着した利用者の頭部の位置および方向を読み取る磁気式読取装置
のうちに少なくとも一つとすることができる。

他方、第２検出部は、
［４］網膜走査型表示部に設けられ、利用者の眼球を撮像可能な位置に設けられたアイカメラ、
［５］利用者の眼球の表面を光学的にスキャンするセンサ
のうちの少なくとも一つとすることができる。第１，第２検出部について、いずれを採用するかは、コストや基材の大きさ、制御部との信号のやり取りの容易さなど、設計および製造上の要求に従って定めればよい。あるいはこれ以外の構成を採用しても差し支えない。

こうした画像表示装置において、パネル型表示部は、利用者から見た画角が、水平方向で６０度以上１８０度以下、垂直方向で４５度以上１２０度以下となるパネルサイズを備えるものとしてもよい。この角度範囲であれば、パネル型表示部の大きさを抑えて、利用者に十分な没入感を提供できる。

更に、こうした画像表示装置において、画像出力部は、網膜走査型表示部において利用者の両眼にレーザ光を用いて表示する第１画像を、両眼に視差を生じさせる立体視用の画像とすることができる。この場合、利用者は網膜走査型表示部を用いて立体視ができ、しかもパネル型表示部に表示する画像は立体視用の画像とする必要はない。このため、立体視用の画像の生成と広い範囲に相補的な画像を表示するという要請を両立することができる。もとより、第１画像は、立体視用の画像以外の画像としてもよい。

こうした画像表示装置において、画像出力部は、パネル型表示部に表示させる第２画像について、解像度、明度、彩度、鮮鋭度（画像のぼけていない程度）のうちの少なくとも一つのパラメータを、網膜走査型表示部に表示させる第１画像についてのパラメータよりも、小さい画像として出力するものとしてもよい。こうすれば、第２画像を形成する時間や処理の負荷を低減することができる。

上記の画像表示装置において、画像出力部は、第１画像と第２画像との境界では、第１画像側から第２画像側に向けて、上記のパラメータを漸次変化させるものとしてもよい。こうすれば、第１画像と第２画像との境界での画像の変化が滑らかなものとなる。

こうした画像表示装置において、所定の空間を表現する３次元データを記憶する記憶部と、利用者の所定の空間内での位置および視線方向の少なくとも一方を変更する操作部と、利用者の位置および視線方向の少なくとも一方の変更に伴って、利用者が所定の空間で視認すると想定される映像を、３次元データから、所定の画像として生成する画像生成部と、を備えるものとしてもよい。こうすれば、利用者はあたかも所定の空間の内部で、その空間内の事物を見ているように、第１画像と第２画像とを視認することができる。

更に、こうした画像表示装置において、所定の仮想空間にあるオブジェクト群を表現する３次元データを記憶する記憶部と、利用者が存在する実空間の座標系と所定の仮想空間の座標系との対応を設定する座標系対応設定部と、検出された瞳孔位置および視線方向を、設定された座標系対応に従って仮想空間の座標系における瞳孔位置及び視線方向に変換し、仮想空間における利用者が所定の仮想空間で視認すると想定される映像を、３次元データから、所定の画像として生成する画像生成部と、を備えるものとしてもよい。こうすれば、画像表示装置によって利用者は、仮想空間にあるオブジェクト群を含み、利用者が前記所定の仮想空間で視認すると想定される映像を視認することができる。したがってゲームなど、仮想空間を想定して行なわれる映像表示に対して利用者は高い没入感を持つことができる。

こうした画像表示装置は、上述したように、ゲーム機や娯楽シミュレータなどに用い、仮想的なゲームの世界などの映像や観光地、ミュージアムなどの映像を利用者に見せるといった使い方が可能である。また業務用のシミュレータにも用いることができる。業務用のシミュレータとしては、都市開発における都市景観の確認や、規模の大小を問わず構築物の内部や外部の視認、通常肉眼では監察できないような分子構造、例えばカーボンナノチューブやタンパク質などの３次元構造のデータを可視化するなどの使い方も可能である。また、プラントや各種インフラなどの状態をモニタする大型モニタディスプレイやこれらの設備等に対する遠隔操作の際のモニタディスプレイとしても利用可能である。この場合、既設の液晶ディスプレイなどを本発明のパネル型表示部として利用し、網膜走査型表示部と組み合わせて画像表示装置を構成すれば、既存設備の有効利用を図ることができる。

以上本発明の実施形態について説明したが、この発明は、これらの実施形態に限定されず、種々の形態で実施可能である。本明細書において、必須であると記載されていない構成は、これを削除した形態で、１つの発明として成り立ち得る。また、ハードウェアとして説明した構成の一部は、ソフトウェアとして実現可能である。他方、ソフトウェアにより実現されている機能や構成の少なくとも一部は、ハードウェアによって実現可能である。

産業上の利用分野

本発明は、画像処理装置やゲーム機、仮想現実の表示装置などに利用可能である。

１０…画像表示装置
２０…網膜走査型表示部
２１，２２…透過表示部
２４…ビデオカメラ
２６…アイカメラ
２８，２９…テンプル
３１，３２…反射部
４１，４２…光学エンジン
５０，５０Ａ…パネル型表示部
５１〜５３…マーカ
５９…ドーム
６０…画像出力装置
６１…ＣＰＵ
６２…メモリ
６５…ＧＰＵ
６７…操作部
７１…網膜走査型表示部インタフェース
７２…パネル型表示部インタフェース
７５…ストレージインタフェース
９０…外部記憶装置
ＢＳＡ…周辺領域
ＣＳＡ…中心領域
ＥＬ，ＥＲ…左右眼
ＵＳＲ…利用者

Claims

利用者に対して、所定の画像を視認可能に表示する画像表示装置であって、
利用者の頭部に装着され、前記利用者の両眼の網膜位置にレーザ光を走査することにより、前記利用者の両眼の位置から第１距離だけ隔たった位置に合焦する第１画像を表示する網膜走査型表示部と、
前記網膜走査型表示部を装着した前記利用者の瞳孔位置および視線の方向を検出する視線検出部と、
前記利用者から、前記第１距離より短い第２距離だけ隔たった位置に設けられたパネルに、前記第１画像とは異なる第２画像を表示するパネル型表示部と、
前記所定の画像から、前記検出した利用者の視線の方向に存在すると想定される部分を、前記第１画像として前記網膜走査型表示部に出力すると共に、前記所定の画像に対して前記第１画像と相補的な画像を、前記第２画像として前記パネル型表示部に出力する画像出力部と
を備える画像表示装置。
前記網膜走査型表示部は、前記利用者の少なくとも網膜中心窩を含む領域に前記第１画像を投映する、請求項１に記載の画像表示装置。
請求項１または請求項２に記載の画像表示装置であって、
前記視線検出部は、前記網膜走査型表示部を装着した利用者の頭部の少なくとも前記パネル型表示部に対する位置および方向を検出する第１検出部と、前記網膜走査型表示部を装着した前記利用者の前記頭部を基準とした瞳孔位置および視線の方向を検出する第２検出部とを備える
画像表示装置。
前記パネル型表示部は、前記利用者から見た画角が、水平方向で６０度以上１８０度以下、垂直方向で４０度以上１２０度以下となるパネルサイズを備える請求項１から請求項３のいずれか一項に記載の画像表示装置。
前記画像出力部は、前記網膜走査型表示部において前記利用者の前記両眼に前記レーザ光を用いて表示する第１画像は、前記両眼に視差を生じさせる立体視用の画像である、請求項１から請求項４のいずれか一項に記載の画像表示装置。
請求項１から請求項５のいずれか一項に記載の画像表示装置であって、
前記画像出力部は、前記パネル型表示部に表示させる前記第２画像について、解像度、明度、彩度、鮮鋭度（画像のぼけていない程度）のうちの少なくとも一つのパラメータが、前記網膜走査型表示部に表示させる前記第１画像についての前記パラメータよりも、小さい画像として出力する
画像表示装置。
前記画像出力部は、前記第１画像と前記第２画像との境界では、前記第１画像側から前記第２画像側に向けて、前記パラメータを漸次変化させる、請求項６記載の画像表示装置。
前記パネル型表示部は、
前記パネル表面に再帰性反射部材が設置されたスクリーンと、
前記スクリーンに向かって、前記利用者の前記頭部近傍から前記第２画像を投写するプロジェクタと
を備える請求項１から請求項７のいずれか一項に記載に画像表示装置。
請求項１から請求項８のいずれか一項に記載の画像表示装置であって、
所定の空間を表現する３次元データを記憶する記憶部と、
前記利用者の前記所定の空間内での位置および視線方向の少なくとも一方を変更する操作部と、
前記利用者の前記位置および前記視線方向の少なくとも一方の変更に伴って、前記利用者が前記所定の空間で視認すると想定される映像を、前記３次元データから、前記所定の画像として生成する画像生成部と、
を備えた画像表示装置。
請求項１から請求項８のいずれか一項に記載の画像表示装置であって、
所定の仮想空間にあるオブジェクト群を表現する３次元データを記憶する記憶部と、
前記利用者が存在する実空間の座標系と前記所定の仮想空間の座標系との対応を設定する座標系対応設定部と、
前記検出された瞳孔位置および視線方向を、前記設定された座標系対応に従って仮想空間の座標系における瞳孔位置および視線方向に変換し、仮想空間における利用者が前記所定の仮想空間で視認すると想定される映像を、前記３次元データから、前記所定の画像として生成する画像生成部と、
を備えた画像表示装置。
利用者に対して、所定の画像を視認可能に表示する画像表示方法であって、
前記利用者の視線の方向を検出し、
前記所定の画像から、前記検出した利用者の視線の方向に存在する想定される部分を第１画像とし、前記所定の画像に対して前記第１画像と相補的な画像を第２画像とし、
前記利用者の頭部に装着された網膜走査型表示部から、前記利用者の両眼の網膜位置にレーザ光を走査することにより、前記利用者の両眼の位置から第１距離だけ隔たった位置に前記第１画像を合焦させて表示し、
前記利用者から、前記第１距離より短い第２距離だけ隔たった位置に設けられたパネル型表示部のパネル表面に、前記第２画像を表示する
画像表示方法。