JP7150134B2 - ヘッドマウントディスプレイおよび画像表示方法 - Google Patents

Description

この発明は、視線に対応する視野で画像を表示するヘッドマウントディスプレイおよび画像表示方法に関する。

対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザの視線方向に応じた画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

表示装置の種類や視点の自由度によらず、視野が変化したり表示世界が動いていたりする場合、画像表示には高い応答性が求められる。一方でよりリアルな画像表現を実現するには、解像度を高めたり複雑な計算が必要になったりして画像処理の負荷が増大する。そのため視野や表示世界の動きに対し表示が追いつかず、結果として臨場感が損なわれてしまうこともあり得る。

本発明はこうした課題に鑑みてなされたものであり、その目的は、画像表示の応答性と品質を両立させることのできる技術を提供することにある。

上記課題を解決するために、本発明のある態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、接眼レンズを介して表示画像を鑑賞させるヘッドマウントディスプレイであって、接眼レンズが生じさせる画像歪みに応じて、逆の歪みが与えられた表示画像のデータを取得する画像取得部と、表示のタイミングまたはヘッドマウントディスプレイ固有の情報に応じて表示画像を補正するリプロジェクション部と、補正された表示画像を出力する表示部と、を備えたことを特徴とする。

本発明の別の態様は、画像表示方法に関する。この画像表示方法は、接眼レンズを介して表示画像を鑑賞させるヘッドマウントディスプレイが、接眼レンズが生じさせる画像歪みに応じて、逆の歪みが与えられた表示画像のデータを取得するステップと、表示のタイミングまたはヘッドマウントディスプレイ固有の情報に応じて表示画像を補正するステップと、補正された表示画像を出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、画像表示の応答性と品質を両立させることができる。

本実施の形態のヘッドマウントディスプレイの外観例を示す図である。 本実施の形態の画像処理システムの構成例を示す図である。 本実施の形態の画像生成装置がヘッドマウントディスプレイに表示させる画像世界の例を説明するための図である。 ヘッドマウントディスプレイに表示させる画像を生成するまでの一般的な処理手順を説明するための図である。 一般的なビュースクリーンと本実施の形態の歪み画像に対応するスクリーンの関係を説明するための図である。 本実施の形態の画像生成装置の内部回路構成を示す図である。 本実施の形態のヘッドマウントディスプレイの内部回路構成を示す図である。 本実施の形態における画像生成装置の機能ブロックの構成を示す図である。 本実施の形態において画像生成装置が表示画像を生成する処理手順を示すフローチャートである。 本実施の形態において歪み画像生成部が歪み画像の画素値を決定する手法を説明するための図である。 様々な態様における表示画像の描画から表示までの時間経過を説明するための図である。 本実施の形態において画素ごとにビュースクリーンを修正する態様を説明するための図である。 本実施の形態において、ステレオカメラによる撮影画像を表示に含める態様を説明するための図である。 本実施の形態において撮影画像を表示させる場合の遅延時間について説明するための図である。 本実施の形態において歪み画像生成部が歪み画像を生成する際、アンチエイリアシングを同時に行う場合の処理内容を説明するための図である。 本実施の形態において歪み画像生成部が色収差を補正した歪み画像を生成する態様を説明するための図である。 本実施の形態における、表示画像を調整する機能を有するヘッドマウントディスプレイの機能ブロックの構成を示す図である。 本実施の形態においてリプロジェクション部が、ヘッドマウントディスプレイの位置や姿勢の情報に基づき表示画像を補正する態様を説明するための図である。 図１８で示したリプロジェクションによる画像の変遷を模式的に示す図である。 本実施の形態においてリプロジェクション部が、表示画像の色収差を補正する場合の画像の変遷を模式的に示す図である。 本実施の形態においてリプロジェクション部が、ヘッドマウントディスプレイの位置や姿勢の情報に基づく補正と色収差の補正の双方を実施する場合の、画像の変遷を模式的に示す図である。 本実施の形態において、ヘッドマウントディスプレイにリプロジェクション部を設けることによって実現できる処理のバリエーションを説明するための図である。 ヘッドマウントディスプレイを装着したユーザの視線の方向の変化を例示する図である。 本実施の形態の、瞳の位置に応じて色収差の補正を調整する態様における、ヘッドマウントディスプレイの機能ブロックの構成を示す図である。 本実施の形態において、歪みパラメータ記憶部に格納するデータと補正の調整手法の例を説明するための図である。 図２５の構成によって実現できる、各色の画像を瞳の位置に応じて補正してなる表示画像の鑑賞態様を概念的に示す図である。

本実施の形態では、ユーザはディスプレイパネルに表示された画像を、接眼レンズを介して鑑賞することを想定する。この限りにおいて画像を表示させる装置の種類は特に限定されないが、ここではヘッドマウントディスプレイを例に説明する。図１はヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。

出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する接眼レンズを備える。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ１００はモーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。

この例でヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。撮影した画像を即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像上に仮想オブジェクトを描画すれば拡張現実を実現できる。

図２は、本実施の形態における画像処理システムの構成例を示す。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインターフェースにより画像生成装置２００に接続される。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。

画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるように表示画像を生成してヘッドマウントディスプレイ１００に出力する。この限りにおいて画像を表示する目的は様々であってよい。例えば画像生成装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界が実世界かに関わらず観賞や情報提供のために静止画像または動画像を表示させてもよい。ユーザの視点を中心に広い画角でパノラマ画像を表示すれば、表示世界に没入した感覚を与えることができる。

なお画像生成装置２００の機能の一部または全てを、ヘッドマウントディスプレイ１００の内部に設けてもよい。画像生成装置２００の全ての機能をヘッドマウントディスプレイ１００に内蔵させた場合、図示する画像処理システムが１つのヘッドマウントディスプレイ１００により実現される。

図３は、本実施の形態で画像生成装置２００がヘッドマウントディスプレイ１００に表示させる画像世界の例を説明するための図である。この例ではユーザ１２が仮想空間である部屋にいる状態を作り出している。仮想空間を定義するワールド座標系には図示するように、壁、床、窓、テーブル、テーブル上の物などのオブジェクトを配置している。画像生成装置２００は当該ワールド座標系に、ユーザ１２の視点の位置や視線の方向に応じてビュースクリーン１４を定義し、そこにオブジェクトの像を表すことで表示画像を描画する。

ユーザ１２の視点の位置や視線の方向（以後、これらを包括的に「視点」と呼ぶ場合がある）を所定のレートで取得し、これに応じてビュースクリーン１４の位置や方向を変化させれば、ユーザの視点に対応する視野で画像を表示させることができる。視差を有するステレオ画像を生成し、表示パネルの左右の領域にそれぞれ表示させれば、仮想空間を立体視させることもできる。これによりユーザ１２は、あたかも表示世界の部屋の中にいるような仮想現実を体験することができる。

図４は、図３で示した形態において、ヘッドマウントディスプレイに表示させる画像を生成するまでの一般的な処理手順を説明するための図である。まずユーザの視点に対応するビュースクリーンに、仮想世界に存在するオブジェクトを射影することにより、ユーザの視野に対応する画像１６を生成する。この処理は実際には、仮想世界を定義するワールド座標系におけるオブジェクトの頂点座標をビュースクリーンの座標系に変換したうえ、オブジェクトを構成する面にテクスチャをマッピングする処理となる。当該画像は本来、ユーザが視認すべき像を表す。

立体視させる場合は、左右の目の間隔に応じた視差分だけ画像１６中の像を横方向にずらすか、画像１６を各目に対し生成することにより、左目用画像１８ａ、右目用画像１８ｂからなるステレオ画像を生成する。さらにフォビエイテッドレンダリング（Foveated Rendering）を採用する場合は、ユーザが注視している一部領域の画像について、画像１６より高い解像度の画像２０を生成する。フォビエイテッドレンダリングは、視野のうち中心窩に対応する領域に比べその外側の像はぼやけて見えるという人の視覚特性を利用し、注視点近傍の領域を高い解像度、それ以外を低い解像度で表すことにより、処理負荷やデータ量を軽減させる技術である。

そして左目用画像１８ａ、右目用画像１８ｂにそれぞれ注視領域の画像２０を合成したうえ、接眼レンズによる歪みに合わせて逆補正することで、最終的な表示画像２２を生成する。ここで逆補正とは、接眼レンズを介して見たときに元の画像１６が視認されるように、レンズによる歪みと逆方向に、画像をあらかじめ歪ませておく処理である。例えば画像の四辺が糸巻き状に凹んで見えるレンズの場合、図示するように画像を樽型に湾曲させておく。以後、レンズに対応する歪みが与えられた画像を「歪み画像」と呼ぶ。

図５は、一般的なビュースクリーンと歪み画像に対応するスクリーンの関係を説明するための図である。ビュースクリーン１４は、図４における画像１６を生成するためのスクリーンであり、スクリーン２６は、仮に歪み画像を射影により生成するとしたときのスクリーンを表す。図では両スクリーンを、ユーザの視点２４とともに側面から見た状態を示している。

人が視認すべき像を表すためのビュースクリーン１４は、例えば視点２４から視線方向に伸びる光軸ｏを中心に１２０°程度の画角を有する平面で構成される。そしてオブジェクト１５の像は、光軸ｏから垂直方向の距離によらず、視点２４とビュースクリーン１４との距離に応じた縮尺率で一様に縮小された状態で表される。これを一般に中心射影と呼ぶ。一方、樽型の歪み画像は魚眼レンズによる撮影画像と同様の性質を有し、結果としてスクリーン２６は図示するように湾曲した形状となる。ただしスクリーン２６の詳細な形状はレンズの設計に依存する。

図から明らかなように、光軸ｏの近傍の角度範囲２８では両スクリーンの対応する領域の面積差が小さいのに対し、角度範囲が光軸ｏから離れるほど面積差が広がる。このため、画像の中心領域３４では中心射影の画像と歪み画像で像の大きさにほぼ差がないのに対し、周縁領域３２ａ、３２ｂでは、中心射影で描画した像が、歪み画像では著しく縮小されてしまう。つまり図４で示した一般的な処理手順により生成した中心射影の画像の一部は、表示画像には反映されない無駄な情報を含んでいるといえる。

そこで、最初から画像平面上の領域によって解像度を異ならせて描画すれば処理を効率化させることができる。しかしながら上述のフォビエイテッドレンダリングによれば、中心領域３４を別途高解像度で描画する処理が必要になる。そこで本実施の形態では、ビュースクリーン１４上の各画素の、レンズ歪みによる変位先を特定したうえ、当該変位先の色を該当画素の画素値とすることで歪み画像を直接描画する。この処理は、概念的にはスクリーン２６上に画像を描画していることと同等であり、結果として中心領域は高解像度、周縁領域は低解像度の画像が生成される。

図６は、画像生成装置２００の内部回路構成を示している。画像生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インターフェース２２８が接続されている。

入出力インターフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００へデータを出力する出力部２３６、ヘッドマウントディスプレイ１００からデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。

ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像生成装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、描画時点のタイムスタンプを伴って出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図７はヘッドマウントディスプレイ１００の内部回路構成を示している。ヘッドマウントディスプレイ１００は、ＣＰＵ１２０、メインメモリ１２２、表示部１２４、音声出力部１２６を含む。これらの各部はバス１２８を介して相互に接続されている。バス１２８にはさらに入出力インターフェース１３０が接続されている。入出力インターフェース１３０には、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部１３２、およびモーションセンサ１３４が接続される。

ＣＰＵ１２０は、バス１２８を介してヘッドマウントディスプレイ１００の各部から取得した情報を処理し、画像生成装置２００から取得した表示画像や音声のデータを表示部１２４や音声出力部１２６に供給する。メインメモリ１２２はＣＰＵ１２０における処理に必要なプログラムやデータを格納する。ただし実行するアプリケーションや装置の設計によっては、画像生成装置２００がほぼ全ての処理を行い、ヘッドマウントディスプレイ１００では画像生成装置２００から送信されたデータを出力するのみで十分な場合がある。この場合、ＣＰＵ１２０やメインメモリ１２２は、より簡易なデバイスで置き換えることができる。

表示部１２４は、液晶パネルや有機ＥＬパネルなどの表示パネルで構成され、ヘッドマウントディスプレイ１００を装着したユーザの眼前に画像を表示する。上述のとおり、左右の目に対応する領域に一対の視差画像を表示することにより立体視を実現してもよい。表示部１２４はさらに、ヘッドマウントディスプレイ１００装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを含む。

音声出力部１２６は、ヘッドマウントディスプレイ１００の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。通信部１３２は、画像生成装置２００との間でデータを送受するためのインターフェースであり、Bluetooth（登録商標）などの既知の無線通信技術を用いて実現できる。モーションセンサ１３４はジャイロセンサおよび加速度センサを含み、ヘッドマウントディスプレイ１００の角速度や加速度を取得する。センサの出力値は通信部１３２を介して画像生成装置２００に送信される。

図８は、本実施の形態における画像生成装置２００の機能ブロックの構成を示している。画像生成装置２００は上述のとおり、電子ゲームを進捗させたりサーバと通信したりする一般的な情報処理を行ってよいが、図８では特に、表示画像を生成する機能に着目して示している。なお図８で示される画像生成装置２００の機能のうち少なくとも一部を、ヘッドマウントディスプレイ１００に実装してもよい。あるいは、画像生成装置２００の少なくとも一部の機能を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。

また図８および後述する図１７に示す機能ブロックは、ハードウェア的には、図６または図７に示したＣＰＵ、ＧＰＵ、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像生成装置２００は、ヘッドマウントディスプレイ１００から送信されるデータを取得する入力データ取得部２６０、ユーザの視点に係る情報を取得する視点情報取得部２６１、表示対象の空間を構築する空間構築部２６２、視点に対応するビュースクリーンを設定するビュースクリーン設定部２６４、ビュースクリーンの画素ごとに歪みによる変位先を決定しその色を画素値とすることで歪み画像を生成する歪み画像生成部２６６、歪み画像のデータをヘッドマウントディスプレイ１００に出力する出力部２６８を備える。画像生成装置２００はさらに、空間の構築に必要なオブジェクトモデルに係るデータを記憶するオブジェクトモデル記憶部２５４、および、レンズ歪みに係るデータを記憶する歪みパラメータ記憶部２５６を備える。

入力データ取得部２６０は図６の入力部２３８、ＣＰＵ２２２などで構成され、ヘッドマウントディスプレイ１００から送信される、モーションセンサの計測値や、ステレオカメラ１１０が撮影した画像などのデータを所定のレートで取得する。視点情報取得部２６１は図６のＣＰＵ２２２などで構成され、ユーザの視点の位置や視線の方向を所定のレートで取得する。例えばヘッドマウントディスプレイ１００のモーションセンサの計測値に基づき頭部の位置や姿勢を特定する。ヘッドマウントディスプレイ１００の外部に図示しない発光マーカーを設け、その撮影画像を図示しない撮像装置から取得して解析することで、頭部の位置や姿勢の情報を取得してもよい。

あるいはステレオカメラ１１０の撮影画像に基づきＳＬＡＭなどの技術により頭部の位置や姿勢を取得してもよい。このように頭部の位置や姿勢を取得できれば、ユーザの視点の位置および視線の方向はおよそ特定できる。後述のとおり画素の走査時間を考慮して、１フレームを描画する間にビュースクリーンの位置や姿勢を変化させる態様においては、視点情報取得部２６１は、過去の視点の動きから以後の視点の動きを予測する。なおユーザの視点に係る情報を取得したり予測したりする手段として様々に考えられることは当業者には理解されるところである。例えばヘッドマウントディスプレイ１００の筐体１０８の内部に、ユーザの注視点を追跡する注視点追跡カメラを備え、その撮影結果に基づき視点を取得したり予測したりしてもよい。

空間構築部２６２は、図６のＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６などで構成され、表示対象のオブジェクトが存在する空間の形状モデルを構築する。図３で示した例では、室内を表す壁、床、窓、テーブル、テーブル上の物などのオブジェクトを、仮想空間を定義するワールド座標系に配置する。個々のオブジェクトの形状に係る情報はオブジェクトモデル記憶部２５４から読み出す。空間構築部２６２が構築する空間は固定としてもよいしゲームなどの進捗に応じて変化させてもよい。

ビュースクリーン設定部２６４は、図６のＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６などで構成され、視点情報取得部２６１が取得した視点の情報に応じてビュースクリーンを設定する。すなわち頭部の位置や顔面の向く方向に対応させてスクリーン座標を設定することにより、ユーザの位置や向く方向に応じた視野で、表示対象の空間がスクリーン平面に描画されるようにする。ここで設定するビュースクリーンは、ヘッドマウントディスプレイ１００の表示パネルの平面に対応し、画素のマトリクスを定義するものである。

歪み画像生成部２６６は、図６のＧＰＵ２２４、メインメモリ２２６などで構成され、ヘッドマウントディスプレイ１００の接眼レンズに応じた歪み画像を、表示画像として所定のレートで生成する。具体的には上述のとおり、ビュースクリーンにマトリクス状に定義した画素ごとに、レンズを介して見た時に対象画素がどの位置に変位するかを特定し、当該変位先の色を画素値として決定する。ここで変位先の色は、レイトレーシングにより決定する。すなわち視点から変位先を通る仮想的な光線（レイ）を発生させ、反射、透過、屈折などのインタラクションを考慮して追跡し、到達先の色情報を取得する。

レイトレーシングを採用することにより、画素ごとに独立した処理が可能となる。なおレイトレーシング自体は広く知られた技術であり、細かくはレイマーチング、パストレーシング、フォトンマッピングなど様々なモデルが提案されているが、そのいずれを採用してもよい。以後、モデルによらず、レイを発生させ３次元空間でのインタラクションを考慮して色情報を得る手法を「レイトレーシング」と総称する。

画素の変位方向や変位量（以後、「変位ベクトル」と呼ぶ）の分布は、ヘッドマウントディスプレイ１００に実装される接眼レンズに依存するため、歪みパラメータ記憶部２５６には接眼レンズの歪みに係るデータを格納しておく。なお描画対象は３次元オブジェクトに限らず、別途撮影されたパノラマ画像などでもよいし、ステレオカメラ１１０が撮影しているリアルタイムの画像でもよい。

パノラマ画像の場合は、仮想世界にユーザの視点を中心とした天空を配置し、その内面にパノラマ画像をマッピングすれば、その他の処理は３次元オブジェクトと同様である。ステレオカメラ１１０が撮影した画像は元々、その時点での視点に対応する視野を有するため、歪み画像生成部２６６はレイを発生させることなく、撮影画像のうち変位先にある画素の値を、ビュースクリーン上の画素値として決定すればよい。

ここで撮影画像は一般に、カメラのレンズによる歪みが補正された中心射影の画像である。そのため図５で示した原理と同様に、ヘッドマウントディスプレイ１００に表示される際は周縁部の情報が無駄となる。そこでステレオカメラ１１０の撮影画像を表示に含める場合は、カメラのレンズによる歪みを補正する前の画像を用いることで、撮影画像に対する補正処理を省略できる。ただしこのときのビュースクリーン上の画素の変位先は、ヘッドマウントディスプレイ１００の接眼レンズによる歪みのほかに、ステレオカメラ１１０のレンズによる歪みも考慮する必要がある。

したがって歪みパラメータ記憶部２５６には、ステレオカメラ１１０のレンズの歪みに係る情報も格納しておく。表示画像を立体視させる場合、歪み画像生成部２６６は、左目用、右目用のそれぞれに対し表示画像を生成する。すなわち左目を視点とし左目用の接眼レンズを想定した歪み画像と、右目を視点として右目用の接眼レンズを想定した歪み画像を生成する。

出力部２６８は、図６のＣＰＵ２２２、メインメモリ２２６、出力部２３６などで構成され、歪み画像生成部２６６が生成した歪み画像のデータを、タイムスタンプを伴ってヘッドマウントディスプレイ１００に順次送出する。立体視させる場合、出力されるデータは、画像の左半分に左目用の歪み画像、右半分に右目用の歪み画像が配置されたデータとなる。後述するように当該データを画素値が決定した画素列ごとに送信し、ヘッドマウントディスプレイにおいても取得した画素列を即時表示させることにより、極めて低い遅延時間での表示が可能となる。

次に、これまで述べた構成によって実現できる画像生成装置の動作について説明する。図９は、本実施の形態において画像生成装置２００が表示画像を生成する処理手順を示すフローチャートである。このフローチャートは、画像生成装置２００とヘッドマウントディスプレイ１００の通信が確立され、画像生成装置２００に対し処理を開始させるユーザ操作がなされたときなどに開始される。上述のとおり図示する表示処理と並行して電子ゲームなど各種情報処理がなされてもよい。まず空間構築部２６２は、表示対象のオブジェクトが存在する３次元空間をワールド座標系に構築する（Ｓ１０）。

一方、視点情報取得部２６１は、モーションセンサの計測値に基づきユーザ頭部の位置や姿勢を取得することで、その時点での視点の位置や視線の方向を特定する（Ｓ１２）。次にビュースクリーン設定部２６４は、視点に対応するようにビュースクリーンを設定する（Ｓ１４）。続いて歪み画像生成部２６６は、ビュースクリーン上の画素のうち対象画素を１つ設定し（Ｓ１６）、レンズを介して見たとき当該画素が視覚上、どの位置に変位するかを特定する（Ｓ１８）。

そして歪み画像生成部２６６は、変位先の画素を通過するレイを発生させ、レイトレーシングにより決定した色情報を対象画素の画素値とする（Ｓ２０）。Ｓ１８、Ｓ２０の処理を、ビュースクリーン上の全ての画素について繰り返す（Ｓ２２のＮ、Ｓ１６）。全画素の画素値を決定したら（Ｓ２２のＹ）、出力部２６８は当該データを表示画像のデータとしてヘッドマウントディスプレイ１００に出力する（Ｓ２４）。表示を終了させる必要がなければ、次の視点情報を取得したうえで表示画像の生成、出力処理を繰り返す（Ｓ２６のＮ、Ｓ１２～Ｓ２４）。表示処理を終了させる必要が生じたら全ての処理を終了させる（Ｓ２６のＹ）。

図１０は、歪み画像生成部２６６が歪み画像の画素値を決定する手法を説明するための図である。一般的なレイトレーシングでは、図の左側に示すように、視点４０からレイＲを発生させ、それが到達するオブジェクト４２の色や材質、光源の位置などを考慮した物理計算により画素値を決定する。このようにして描画される画像４４ａは、図４で示した中心射影の画像１６と同等となる。一方、本実施の形態ではレンズを介して画像４４ａが視認されるように、歪み画像４４ｂを直接描画する。

すなわち歪み画像生成部２６６は、ビュースクリーンの対象画素Ａが、レンズを介して見た時にどの位置に変位するかを計算し、変位先の画素Ｂを通る、視点４０からのレイにより得られる色情報を、対象画素Ａの画素値とする。そのようにして描画される画像４４ｂと、中心射影の画像４４ａとの関係は、一般的なカメラのレンズによって歪みのある撮影画像と、歪みを補正した画像との関係に等しい。したがって位置座標（ｘ，ｙ）の対象画素に対する変位ベクトル（Δｘ，Δｙ）は、次の一般式で算出できる。

ここでｒはレンズの光軸から対象画素までの距離、（Ｃｘ，Ｃｙ）はレンズの光軸の位置である。またｋ_１、ｋ_２、ｋ_３、・・・はレンズ歪み係数でありレンズの設計に依存する。補正の次数は特に限定されない。歪み画像生成部２６６は、対象画素Ａの位置座標（ｘ，ｙ）に対し式１により変位ベクトル（Δｘ，Δｙ）を算出し、変位先である位置座標（ｘ＋Δｘ，ｙ＋Δｙ）の画素Ｂに対するレイトレーシングにより、対象画素Ａの画素値を決定する。なお対象画素の変位先がビュースクリーンの範囲から外れる場合は、画素値を０などの所定値とする。

その後、歪み画像生成部２６６は、決定した画素値に対しガンマ補正など必要な処理を適宜実施する。このようにして決定した、画像４４ｂの画素値のデータを、画素列単位でヘッドマウントディスプレイ１００に順次出力することにより、画像４４ａのような中心射影の画像を一旦、生成してから逆補正する場合と比較し、遅延時間を大幅に抑えることができる。また中心射影の画像を格納するためのメモリ領域が必要なくなる。なお歪みパラメータ記憶部２５６には、歪み係数ｋ_１、ｋ_２、ｋ_３、・・・を格納してもよいし、変位ベクトルをあらかじめ計算してビュースクリーン平面にマッピングしたデータを格納しておいてもよい。

後者の場合、歪み画像生成部２６６は対象画素の位置座標に基づき歪みパラメータ記憶部２５６を参照し、変位ベクトルを取得することにより変位先の位置座標を取得する。ステレオカメラ１１０の撮影画像を表示に含める場合、上述のとおりカメラのレンズによる歪みを考慮する必要がある。すなわち式１により中心射影の画像への変位先が得られるため、それをさらにカメラのレンズ歪みの分だけ変位させる。この場合、あらかじめ変位ベクトルを演算しておきマップとして準備しておくことにより、歪み画像生成部２６６の処理の負荷を軽減させることができる。

図１１は、様々な態様における表示画像の描画から表示までの時間経過を説明するための図である。図の縦軸が画像の縦方向に対応し、その各位置における画素列が描画されてから表示されるまでの時間を横軸に示している。まず（ａ）は、画像生成装置２００が全ての画素の画素値を並列に決定するが、伝送は上の列からなされ、ヘッドマウントディスプレイ１００において１フレーム分の画像のデータがフレームバッファに格納されてから表示される方式を示している。

この場合、画素の位置によらず同時刻の情報が表されるが、伝送時間のほかに、画像生成装置２００から１フレーム分のデータを送出するための時間と、ヘッドマウントディスプレイ１００のフレームバッファに１フレーム分のデータを格納するための時間が必要となり、画像全体で描画から表示までに遅延時間Ｌａが生じる。

（ｂ）は、画像生成装置２００が画像の上側から画素値を決定し、決定した順に伝送する一方、ヘッドマウントディスプレイ１００においては、１フレーム分の画像のデータがフレームバッファに格納されてから表示される方式を示している。この場合、画像生成装置２００がいかに直近の情報を画素値に反映させても、ヘッドマウントディスプレイ１００側では結局、フレームバッファに１フレーム分のデータを格納するための時間が必要となる。結果として描画から表示までに要する時間は画像上の位置によって異なり、最下段は伝送時間に近いＬｂ’ですむものの、上段ほど遅延時間Ｌｂが長くなる。

（ｃ）は、画像生成装置２００が画像の上側から画素値を決定し、決定した順に伝送するとともに、ヘッドマウントディスプレイ１００においても、取得した画素列順に表示する方式を示している。この場合、描画から表示までの遅延時間Ｌｃは画像上の位置によらず、原理上、伝送時間のみでよくなる。なお図示した例は全て、描画した画像を伝送する処理のみを考慮しているが、中心射影の画像を描画したうえ、それを一旦フレームバッファに格納し歪み画像に変換してから送信する場合は、遅延時間がさらに延びることになる。

（ｂ）や（ｃ）の方式で描画される画像は、画素を走査する時間により、１フレームの全体として見たとき、位置によって表示される色情報に時間差がある。しかしながら（ｃ）に示すように、画素列単位で即時に伝送して表示するようにすると、位置によらず低遅延で最新の情報を表示させることができる。

人が注視できる領域は表示画像のごく一部に限られるため、視野やオブジェクトに動きのある画像の場合は特に（ｃ）の方式を採用することにより、ユーザは画像のどこを見ても最新の状態を視認できることになる。（ｃ）の方式を実現するには、例えば行ごとに即時出力できる電界放出ディスプレイ（ＦＥＤ：Field Emission Display）のようなラインバッファ対応のディスプレイを採用する。さらに描画時の時間経過を考慮してより正確に画素値を決定するため、好適には１フレームの描画期間にビュースクリーンを設定し直す。すなわち図９のＳ１２における視点情報の取得と、Ｓ１４におけるビュースクリーンの設定処理を、Ｓ２２のＮにおける対象画素ごとのループ処理の一部とする。

図１２は、画素ごとにビュースクリーンを修正する態様を説明するための図である。ビュースクリーンは基本的に、ユーザの視点情報（視点の位置および視線の方向）と頭部の傾き角（首のかしげ角）によって決定され、それらは上述のとおりヘッドマウントディスプレイ１００に内蔵するモーションセンサの計測値などに基づいて取得できる。すなわち視点を頂点、視線を軸とする視錐台の底面を、頭部の傾き角だけ回転させることにより、視点に応じたビュースクリーンが設定される。この計算は実際には、ビュー行列の生成、変換によって実現されるが一般的な処理のためここでは説明を省略する。

視点情報等がフレーム単位で得られる場合、フレーム内での対象画素の位置に基づき、その画素値を決定する時刻におけるそれらのパラメータを内挿により推定できる。図は１フレーム分の画素の走査時間を２次元平面で表しており、横方向ｗ画素、縦方向ｈ画素の画像自体の走査期間に、水平帰線期間Ｂｈ、垂直帰線期間Ｂｖを加えたものである。１フレームを描画する時間を１とすると、１画素分を描画する時間ｄｔは次のようになる。
ｄｔ＝１／（（ｗ＋Ｂｈ）・（ｈ＋Ｂｖ））

対象画素Ａの位置座標を（ｘ，ｙ）とすると、当該フレームの描画開始時刻から対象画素Ａの描画までの時間ｔ（ｘ，ｙ）は次のようになる。
ｔ（ｘ，ｙ）＝ｘ・ｄｔ＋ｙ・（ｗ＋Ｂｈ）・ｄｔ
したがって、当該フレームの描画開始時刻、および次のフレームの描画開示時刻における、視点情報等の値をそれぞれｖ（０）、ｖ（１）とすると、対象画素Ａにおけるそれらの値Ｖは次のように求められる。
Ｖ＝ｖ（０）・（１－ｔ（ｘ，ｙ））＋ｖ（１）・ｔ（ｘ，ｙ）
ただし次のフレームの描画開示時刻における値ｖ（１）は、それまでの各パラメータの変化に基づき視点情報取得部２６１が予測する。

ビュースクリーン設定部２６４は、対象画素ごとにそれを描画する時刻における視点情報等の値を上式により推定し、それに対応するようにビュースクリーンを設定し直す。歪み画像生成部２６６は修正されたビュースクリーン上に対象画素を設定し、上述と同様にレンズ歪みを考慮した変位先を通るように、その時刻に推定された視点からのレイを生成して画素値を決定する。これにより、画素の描画時点での最新の色情報を表示画像に反映させることができる。

図１３は、ステレオカメラ１１０による撮影画像を表示に含める態様を説明するための図である。図示する表示対象の空間５２には、３次元オブジェクト５４、５６や２次元オブジェクト、すなわち別途生成された画像５８とともに、便宜上、撮影画像６０を含めている。なおステレオカメラの撮影画像をステレオ画像として表す場合は当然、それぞれの画像平面がペアで必要となるが、図では簡単のためそのうち片方のみを示している。

これまで述べたように、視点５０に対し、ビュースクリーン６２を設定する。ビュースクリーン６２上の各画素の描画時刻は、その位置座標によって異なる。ビュースクリーン６２自体も、視点５０の動きに応じて変動する。左上の画素の描画時刻をｓ、右下の画素の描画時刻をｅ、中間の画素の描画時刻をｔとすると、表示画像における画素値Ｒ（ｓ）、・・・、Ｒ（ｔ）、・・・Ｒ（ｅ）は、表示対象の全ての物の、時刻ｓ、・・・、ｔ、・・・、ｅにおける状態を反映したものとすることが望ましい。このため好適には、ステレオカメラ１１０にローリングシャッターセンサを採用する。

ローリングシャッターセンサは、左上の画素からラスタ順に画素を走査して輝度値を検出するイメージセンサである。ローリングシャッターセンサによる撮影と、表示画像の描画処理との間で、画素の走査の同期をとることにより、撮影により検出された輝度が即時に表示画像の画素値に反映される。これを図１１の（ｃ）で示したように即時に表示させれば、ステレオカメラ１１０による撮影からヘッドマウントディスプレイ１００での表示までの遅延時間を最小限に抑えることができる。

例えばステレオカメラ１１０のレンズと、ヘッドマウントディスプレイ１００の接眼レンズの歪み係数に大きな差がなければ、各時刻ｓ、・・・、ｔ、・・・ｅにおいて走査されるビュースクリーン６２上の画素の位置と、レンズ歪みを補正しない撮影画像６０において同時刻に走査される画素の位置はおよそ対応する。撮影画像６０の各時刻における対応する画素の輝度値をＣ（ｓ）、・・・、Ｃ（ｔ）、・・・Ｃ（ｅ）とすると、ビュースクリーン６２上の画素値Ｒ（ｓ）、・・・、Ｒ（ｔ）、・・・Ｒ（ｅ）は次のように決定できる。
Ｒ（ｓ）＝Ｃ（ｓ）＋Ｔｓ（ｔ１（ｓ），ｔ２（ｓ），ｔ３（ｓ））
Ｒ（ｔ）＝Ｃ（ｔ）＋Ｔｔ（ｔ１（ｔ），ｔ２（ｔ），ｔ３（ｔ））
Ｒ（ｅ）＝Ｃ（ｅ）＋Ｔｅ（ｔ１（ｅ），ｔ２（ｅ），ｔ３（ｅ））

ここでＴｓ、Ｔｔ、Ｔｅは時刻ｓ、ｔ、ｅにおけるビュースクリーン６２に対し、括弧内のオブジェクトのうちレイが到達するオブジェクトの色を決定する関数である。ｔ１、ｔ２、ｔ３は、括弧内の時刻におけるオブジェクト５４、５６、５８の状態を示す。また和は、撮影画像６０とオブジェクトの像の合成を意味する。このように、ビュースクリーン６２の位置や姿勢に加え、オブジェクトの状態や撮影画像６０の輝度値についても、各画素の描画時刻ｓ、・・・、ｔ、・・・、ｅにおけるものを即時に反映させることにより、ユーザには常に最新の状態を見せることができる。

図１４は、本実施の形態において撮影画像を表示させる場合の遅延時間について説明するための図である。図の左側は、表示画像のビュースクリーン７０とステレオカメラ１１０のスクリーン７２の関係を例示している。表示画像を歪み画像、撮影画像をカメラのレンズ歪みの補正前の画像とすると、ビュースクリーン７０とカメラのスクリーン７２は図示するように類似の形状となる。

図の右側の（ａ）に示す従来技術では、そのように撮影された歪みのある画像８０を一旦、歪み補正により中心射影の画像８２に変換し、さらにそれを補正して、表示用の歪み画像８４を生成する。例えば画像８０の端に近い領域８６は、拡大され領域８８とされたあと、再度縮小され領域９０となる。また中心射影の画像８２の１行分の領域８８を生成するには、元の画像８０の複数行分のデータが必要であり、表示時には画像８４の複数行分に分散するため、画素列ごとに処理を完結させることができない。

一方、（ｂ）に示す本実施の形態は、表示画像のビュースクリーン７０とステレオカメラ１１０のスクリーン７２の類似性を利用し処理を効率化している。すなわち撮影時の歪みのある画像９２から、中心射影の画像への変換なく直接、表示用の歪み画像９４を生成する。これにより、レンズ間の歪み係数の差が小さければ、画像９２の１行分のデータから表示画像９４の１行分のデータを生成できる。結果として、（ａ）の態様の遅延時間Ｌｄと比較し、格段に短い遅延時間Ｌｅで表示が可能である。また、必要なラインバッファの数も抑えることができる。

図１５は、歪み画像生成部２６６が歪み画像を生成する際、アンチエイリアシングを同時に行う場合の処理内容を説明するための図である。図はビュースクリーンの一部を示している。１画素分の領域のｘ軸方向、ｙ軸方向の幅をそれぞれΔｘ、Δｙとする。ここで位置座標（ｘ，ｙ）における画素値を決定する場合、その周囲の４点に対し上述同様に画素値を決定する。すなわち各点からの歪みによる変位先に対しレイトレーシングにより得られた色情報を画素値とする。

例えば図示するように（ｘ±Δｘ／２，ｙ±Δｙ／２）の４点を設定し、それぞれの画素値Ｃ_００、Ｃ_０１、Ｃ_１０、Ｃ_１１が得られたとすると、位置座標（ｘ，ｙ）の画素値Ｃを４点の画素値の平均値として次のように求める。
Ｃ＝（Ｃ_００＋Ｃ_０１＋Ｃ_１０＋Ｃ_１１）／４
上記計算を図９のＳ２０で実施すれば、ジャギーの少ない歪み画像を直接描画できることになる。

図１６は、歪み画像生成部２６６が色収差を補正した歪み画像を生成する態様を説明するための図である。レンズの色収差により、式１の歪み係数ｋ１、ｋ２、ｋ３、・・・は色によって異なる。そこで歪み画像生成部２６６は、赤、緑、青それぞれに準備した歪み係数を用いて、歪み画像を色ごとに描画する。すなわち歪みによる対象画素の変位先を色ごとに特定し、当該変位先に対しレイトレーシングにより得られた色情報のうち対応する色成分の輝度を、対象画素の当該色の画素値とする。ここで赤、緑、青は、表示画像や表示パネルの画素の色を表現する原色の一例に過ぎず、それ以外の色の組み合わせであってもよい。

同図は図１５と同様、ビュースクリーンの一部を示している。ここで位置座標（ｘ，ｙ）の画素値を決定する場合、（ａ）に示す態様では、その周囲の（ｘ±Δｘ／２，ｙ±Δｙ／２）なる４点に対し上述同様に画素値を決定する。図示する例では、表示パネルがベイヤ配列で画素を表現することを想定している。この場合、赤の歪み画像は赤の領域１５４の画素値、緑の歪み画像は緑の領域１５０、１５６の画素値、青の歪み画像は青の領域１５２の画素値に基づき生成することで、表示時の色ずれが生じにくい。ベイヤ配列以外の配列でも同様である。すなわち、前記歪み画像生成部２６６は、原色ごとに異なる位置に対象画素を設定する。

そのようにして得られた赤の画素値をＣ_１０（Ｒ）、緑の画素値をＣ_００（Ｇ）およびＣ_１１（Ｇ）、青の画素値をＣ_０１（Ｂ）とすると、位置座標（ｘ，ｙ）に対する赤、緑、青の画素値Ｃ（Ｒ）、Ｃ（Ｇ）、Ｃ（Ｂ）を次のように求める。
Ｃ（Ｒ）＝Ｃ_１０（Ｒ）
Ｃ（Ｇ）＝（Ｃ_００（Ｇ）＋Ｃ_１１（Ｇ））／２
Ｃ（Ｂ）＝Ｃ_０１（Ｂ）

（ｂ）に示す態様では、位置座標（ｘ，ｙ）の周囲に設定する４点を、レンズ中心１５８から座標（ｘ，ｙ）への方位に依存して決定する。すなわち原点（０，０）から座標（ｘ，ｙ）へ向かうベクトルｖの方向にある２点１６０、１６２と、座標（ｘ，ｙ）を通りベクトルｖの垂直線上にある２点１６４、１６６を設定する。座標（ｘ，ｙ）から４点までの距離は、例えば（ａ）の場合と同様とする。各点に対し得られる各色の画素値から、位置座標（ｘ，ｙ）に対する画素値を決定する手法は（ａ）の場合と同様である。歪みの大きさは、レンズ中心からの距離に依存するため、（ｂ）のように設定した４点は、歪みによる変位との親和性が高い。

これまで述べたように、画像生成装置２００側で生成した歪み画像を、ヘッドマウントディスプレイ１００の表示パネルに即時表示させれば、描画から表示までの遅延時間を最小限に抑えることができる。一方、ヘッドマウントディスプレイ１００が、表示のタイミングやディスプレイ固有の情報に基づき、表示前の最終調整を行うことにより、画像の精度を高めたり、画像生成装置２００が行う処理の自由度を向上させたりすることもできる。

図１７は、表示画像を調整する機能を有するヘッドマウントディスプレイ１００の機能ブロックの構成を示している。ヘッドマウントディスプレイ１００は、画像生成装置２００から表示画像のデータを取得する表示画像取得部１７０、ヘッドマウントディスプレイ１００の位置や姿勢の情報を取得する位置姿勢情報取得部１７２、レンズ歪みに係るデータを記憶する歪みパラメータ記憶部１７４、表示画像を調整するリプロジェクション部１７６、および表示パネルとその駆動機構を含む表示部１７８を備える。

表示画像取得部１７０は、図７の通信部１３２およびＣＰＵ１２０で構成され、好適には画像生成装置２００が上述のようにして生成した、歪み画像のデータを取得する。図１１の（ｃ）に示したように、画像の１行ごとに、生成された画素列をストリームデータとして取得し、以後の処理を順次実施することにより、表示までの遅延を最小限に抑えることができる。ただし表示画像取得部１７０は、図４に示したような一般的な技術により生成された表示画像のデータを取得してもよい。

位置姿勢情報取得部１７２は、図７のモーションセンサ１３４で実現でき、ヘッドマウントディスプレイ１００の位置や姿勢をタイムスタンプと共に所定のレートで取得する。リプロジェクション部１７６は、図７のＣＰＵ１２０、メインメモリ１２２で構成され、表示画像取得部１７０が取得した表示画像に対し、表示のための最終調整を施す。具体的には、リプロジェクション部１７６は、位置姿勢情報取得部１７２から出力される、ヘッドマウントディスプレイ１００の最新の位置や姿勢に対応するように画像を補正する。あるいはリプロジェクション部１７６は、画像生成装置２００の代わりに色収差を補正したり、表示に好適なフレームレートとなるようにフレームを補間したりする。

リプロジェクション部１７６は、そのうち１つのみを実施してもよいし、２つ以上を組み合わせて実施してもよい。ここでリプロジェクション部１７６は、画像生成装置２００から受け取ったタイムスタンプと、位置姿勢情報取得部１７２が情報を取得した時点のタイムスタンプとの差分に基づいて画像を補正する。表示部１７８は、図７の表示部１２４により構成され、リプロジェクション部１７６が最終調整した画像を順次表示する。

図１８は、リプロジェクション部１７６が、ヘッドマウントディスプレイ１００の位置や姿勢の情報に基づき表示画像を補正する態様を説明するための図である。（ａ）は画像生成装置２００が生成する表示画像とユーザの頭部の側面図を模式的に示している。画像生成装置２００の歪み画像生成部２６６は、例えば６０ｆｐｓや１２０ｆｐｓなどのレートで、表示画像のフレームを順次生成する。図では横方向を時間軸として、各フレームが時系列順に生成されることを、概念的に示している。また各フレームがこれまで述べたような歪み画像であることを、面の湾曲で示している。

画像生成装置２００は、時刻Ｔにおける、ヘッドマウントディスプレイ１００の位置や姿勢の情報を取得して、それから得られる視点情報等に合致するようにビュースクリーンを設定したうえで表示画像を描画する。図示する例では、ヘッドマウントディスプレイ１００の５軸のモーションセンサにより、画像の上下左右、ピッチ角、ヨー角、ロール角の位置姿勢データ１８２ａが測定され、それに応じた表示画像が生成されていることを示している。

このデータをヘッドマウントディスプレイ１００に伝送すると、実際の表示時刻である時刻ｔは当然、画像描画時の時刻Ｔより遅くなる。そこで（ｂ）に示すように、ヘッドマウントディスプレイ１００において、表示時刻により近い時刻ｔにおける位置姿勢データ１８２ｂを用いて表示画像を補正する。このように、一旦生成された表示画像を、好適に調整したうえで表示パネルに映し出すことを、本実施の形態では「リプロジェクション」と呼ぶ。リプロジェクションの結果である画像１８４を表示させることにより、ユーザの動きに対し高い応答性で画像を表示させることができる。

図１９は、図１８で示したリプロジェクションによる画像の変遷を模式的に示している。上述のとおり画像生成装置２００からは、時刻Ｔの位置姿勢情報に基づいて描画された表示画像１８６を伝送する。なお表示画像１８６は実際には、赤、緑、青の３チャネルのデータで構成されることを３つの画像で示している。各色の画像は、好適には図１６を参照して説明したように色収差が補正されている。

するとリプロジェクション部１７６は、最新時刻ｔの位置姿勢情報を位置姿勢情報取得部１７２から取得し、それに応じて各色の画像を補正する。上述の５軸のセンサを用いる場合、上下左右の並進運動に応じて表示画像を対応する方向に変位させ、ピッチ角、ヨー角の回転運動により、画像中の位置に依存する規則で拡大したり縮小したりして画像１８８ａを生成する。さらにロール角の回転運動により画像を面方向に回転させて画像１８８ｂを生成する。これらの処理を各色の画像に施することにより、時刻ｔに対応する最終的な表示画像１９０を生成する。

なお視点を規定する位置姿勢情報に基づき画像を補正する演算は、実際には、適切な変換行列を用いてなされる一般的な処理でよい。ヘッドマウントディスプレイ１００におけるリプロジェクションは、画像生成装置２００における表示画像の生成と独立した処理のため、双方の処理頻度を独立に設定することができる。例えば表示画像を６０ｆｐｓで生成しておき、リプロジェクション時にフレームを補間することにより、１２０ｆｐｓで表示させることもできる。これを踏まえると、実際に表示される画像の品質を維持しつつ、画像生成装置２００側での処理内容の自由度を高められる。

すなわち表示画像の生成頻度を低くすることが許容されるため、歪み画像を直接描画せずに、一旦、中心射影の画像を生成した後、逆補正して表示画像を生成する手法とも組み合わせることができる。つまり表示画像の各フレームの生成に時間を要しても、ヘッドマウントディスプレイ１００においてフレームを補間しながら表示することにより、高フレームレートでの表示を実現できる。

図２０は、リプロジェクション部１７６が、表示画像の色収差を補正する場合の画像の変遷を模式的に示している。この場合、画像生成装置２００からは、色収差を補正する前の表示画像１９２を伝送する。例えばＹＣｂＣｒの色空間の輝度Ｙに対し準備された歪み係数を式１に導入することにより生成した、各色の歪み画像を伝送する。するとリプロジェクション部１７６は、各色の実際の歪み係数を用いて取得した変位ベクトルから、輝度Ｙの歪み係数を用いて取得した変位ベクトルを差し引いた差分ベクトルを画素ごとに計算し、各色の画像１９２の画素を差分ベクトル分だけ変位させることにより色収差を補正する。すなわち画像生成装置２００が表示画像に与えた歪みを、表示画像に与えられている補正量を差し引いて画素を変位させることにより、色ごとに修正する。

輝度Ｙ、赤、緑、青の歪み係数を用いて得られる、位置座標（ｘ，ｙ）の画素の変位ベクトルをＤＹ（ｘ，ｙ）、ＤＲ（ｘ，ｙ）、ＤＧ（ｘ，ｙ）、ＤＢ（ｘ，ｙ）とすると、赤、緑、青の元の画像１９２からの各画素の差分ベクトルΔＲ（ｘ，ｙ）、ΔＧ（ｘ，ｙ）、ΔＢ（ｘ，ｙ）は次のように表せる。
ΔＲ（ｘ，ｙ）＝ＤＲ（ｘ，ｙ）－ＤＹ（ｘ，ｙ）
ΔＧ（ｘ，ｙ）＝ＤＧ（ｘ，ｙ）－ＤＹ（ｘ，ｙ）
ΔＢ（ｘ，ｙ）＝ＤＢ（ｘ，ｙ）－ＤＹ（ｘ，ｙ）

リプロジェクション部１７６は、差分ベクトルΔＲ（ｘ，ｙ）、ΔＧ（ｘ，ｙ）、ΔＢ（ｘ，ｙ）分だけ各画素を変位させて得られた補正後の画像１９４ａ、１９４ｂ、１９４ｃを最終的な画像として、表示部１７８の表示パネルに表示させる。なお画像生成装置２００において歪み画像を生成する際に用いる歪み係数は輝度Ｙのものに限らない。例えば緑の歪み係数を用いて歪み画像を生成してもよい。この場合、元の画像１９２のうち緑の画像については色収差の補正まで完了しているため、さらなる補正の必要はない。

そこでリプロジェクション部１７６は、赤および青の差分ベクトルΔＲ（ｘ，ｙ）、ΔＢ（ｘ，ｙ）を次のように計算し、赤および青の色収差を補正し表示させる。
ΔＲ（ｘ，ｙ）＝ＤＲ（ｘ，ｙ）－ＤＧ（ｘ，ｙ）
ΔＢ（ｘ，ｙ）＝ＤＢ（ｘ，ｙ）－ＤＧ（ｘ，ｙ）
そのほか画像生成装置２００では、理想面レンズの歪み係数を用いて歪み画像を生成しておき、ヘッドマウントディスプレイ１００において実際のレンズに合わせた補正をしてもよい。

歪みパラメータ記憶部１７４には、実際のレンズの歪み係数を格納しておき、リプロジェクション部１７６が差分ベクトルをその場で算出してもよいし、差分ベクトルを事前に計算し画素の位置と対応づけたマップを色ごとに格納して、リプロジェクション部１７６が参照できるようにしてもよい。

図２１は、リプロジェクション部１７６が、ヘッドマウントディスプレイ１００の位置や姿勢の情報に基づく補正と色収差の補正の双方を実施する場合の、画像の変遷を模式的に示している。この場合、画像生成装置２００からは、時刻Ｔの位置姿勢情報に基づいて描画された、色収差を補正する前の表示画像１９６を伝送する。するとリプロジェクション部１７６は、最新時刻ｔの位置姿勢情報を位置姿勢情報取得部１７２から取得し、図１９で示したように各色の画像を補正する（Ｓ３０）。

次にリプロジェクション部１７６は、各色の歪み係数により得られる変位ベクトルから、元の画像１９６を描画したときに求めた変位ベクトルを差し引いた差分ベクトルを計算し、図２０に示したようにして色収差を補正する（Ｓ３２）。これを最終的な画像として、表示部１７８の表示パネルに表示させる。このように、ヘッドマウントディスプレイ１００の位置姿勢の変化に基づく補正と色収差の補正をヘッドマウントディスプレイ１００において最終調整として実施することにより、頭部の動きに対し高い応答性が得られるとともに、画像生成装置２００における処理を簡略化したり、フレームレートや処理内容の自由度を上げたりすることができる。

図２２は、ヘッドマウントディスプレイ１００にリプロジェクション部１７６を設けることによって実現できる処理のバリエーションを説明するための図である。例えば従来の中心射影の方式で、低解像度の全体画像３１０ｂと高解像度の中心領域の画像３１０ａを生成して合成するフォビエイテッドレンダリングを考える。一般には画像の合成、歪み補正、表示といった一連の処理をシーケンシャルに実施するため、それらのフレームレートは当然、共通となる。

一方、本実施の形態においてヘッドマウントディスプレイ１００にリプロジェクション部１７６を設けたことにより、上述のとおり表示画像の生成処理のレートを表示と独立に設定できる。そのため、全体画像を描画したうえ高解像度の中心領域をさらに描画することにより１フレームを生成するのに要する時間が増えても、表示時にはフレームレートを上げることができる。

歪画像を直接描画する態様においても、フォビエイテッドレンダリングを採用することが考えられる。すなわち低解像度の全体画像３１４ａと高解像度の中心領域の画像３１４ｂをそれぞれ、図１０で説明した手法により歪み画像として直接描画する。歪み画像自体が元来、中心領域において高解像度になる特性を有するが、フォビエイテッドレンダリングを採用すると、全体画像３１４ａの解像度をさらに抑えるなどの効率化を図れる。

なおこの手法は画素ごとのレイトレーシングのため、全体画像３１４ａのうち、中心領域の画像３１４ｂを合成する領域については描画を省略することができる。この場合も、画像生成装置２００における表示画像の生成レートは、実際の表示のレートと独立に設定できる。また人の視覚特性として、視野のうち中心窩の外側の領域では動きに対する感度が高いことが知られている。したがって全体画像３１４ａのフレームレートを、中心領域の画像３１４ｂのフレームレートより高く設定することが考えられる。いずれにしろ画像生成装置２００の処理と独立に、様々な表示レートに対応できるため、将来、表示パネルの駆動が高速化しても容易に対応させることができる。

これまでの説明では、ユーザはレンズの中心付近を見ていることを前提としていた。この場合、画像の歪みは、式１のようにレンズの光軸からの距離で定まり、補正量は光軸に対し対称な特性となる。一方、視線が動きレンズ中心から離れると、瞳孔に入射する光の経路が変化するため、色収差を補正するための計算式が変化する。

図２３は、ヘッドマウントディスプレイを装着したユーザの視線の方向の変化を例示している。図の上段は、ユーザの瞳３２２とレンズ３２０を側面から見た状態を示している。図の下段は各状態における、表示パネル３２４上のユーザの注視点３２６を示している。（ａ）に示すように、ユーザの瞳３２２がレンズ３２０の光軸ｏ近傍にあるとき、すなわち注視点３２６が表示パネル３２４の中心近傍にあるときは、光軸からの距離によって補正量が決定する。

一方、（ｂ）に示すように瞳３２２が上を向き、注視点３２６が表示パネルの上方に移動したり、（ｃ）に示すように瞳３２２が下を向き、注視点３２６が表示パネルの下に移動したりすると、各色成分の光路が変化することから補正のための計算式が変化する。このため、ある歪み係数を用いて式１により補正した同じ画像を見たとき、（ａ）の状態では適正に見えていた像が、（ｂ）や（ｃ）では色がずれて見えることになる。

そこで好適には、注視点３２６の情報を用いて、色収差の補正に用いるパラメータを瞳３２２の位置に応じて調整する。図２４は、瞳の位置に応じて色収差の補正を調整する態様における、ヘッドマウントディスプレイの機能ブロックの構成を示している。図１７に示したヘッドマウントディスプレイ１００と同じ機能を有するブロックについては同じ符号を付し説明を省略する。

この態様におけるヘッドマウントディスプレイ１００ａは、図１７と同様、表示画像取得部１７０と表示部１７８を備える。またヘッドマウントディスプレイ１００ａは、ユーザの注視点の位置情報を取得する注視点取得部３７２、注視点の位置に応じたパラメータにより表示画像の色収差を補正するリプロジェクション部３７６、および補正に用いるパラメータを記憶する歪みパラメータ記憶部３７４を備える。

注視点取得部３７２は注視点検出器により実現される。注視点検出器は、眼球に照射した赤外線の反射を検出するなどして、人が見ている対象物のうち注視しているポイントを検出する一般的な装置である。リプロジェクション部３７６は、補正部として、注視点の位置、またはその予測値に応じて、用いるパラメータを変化させたうえで表示画像の色収差を補正する。歪みパラメータ記憶部３７４は、注視点の位置と補正に用いるパラメータとの対応を表すデータを格納する。

この限りにおいてデータの形式は特に限定されないが、本実施の形態では、歪みパラメータ記憶部３７４は、注視点の代表的な位置（代表値、代表点）に対応づけて、画像平面に変位ベクトルの分布を表した変位ベクトルマップを格納する。なおリプロジェクション部３７６は、図１７に示したリプロジェクション部１７６の機能を兼ね備えていてもよい。この場合、ヘッドマウントディスプレイ１００ａにはさらに、位置姿勢情報取得部１７２を含めてよい。

図２５は、歪みパラメータ記憶部３７４に格納するデータと補正の調整手法の例を説明するための図である。この例では、表示パネル３８０における注視点の５つの代表点３８２ａ、３８２ｂ、３８２ｃ、３８２ｄ、３８２ｅに対し、変位ベクトルマップを準備している。各位置の変位ベクトルマップ３８４ａ、３８４ｂ、３８４ｃ、３８４ｄ、３８４ｅはそれぞれ、赤用、緑用、青用の３つのマップで構成される。中央の注視点３８２ａに対応づけられる変位ベクトルマップ３８４ａは、レンズに応じた歪み係数を式１に代入して算出される変位ベクトル（Δｘ，Δｙ）の分布を表したデータとなる。

上端中央、左端中央、下端中央、左端中央の注視点３８２ｂ、３８２ｃ、３８２ｄ、３８２ｅに対応づけられる変位ベクトルマップ３８４ｂ、３８４ｃ、３８４ｄ、３８４ｅは、各注視点から眼球へ到達する光の経路を、各色の波長ごとに計算することで導出した変位ベクトルの分布を表す。このような色収差の数値計算自体は、レンズ設計の分野では一般的なものである。本実施の形態ではその分布を、画像平面上に表したマップとして記憶しておく。

なお変位ベクトルマップ３８４ａなどにおいて変位ベクトルを対応づける単位は、最も詳細には１画素ごとであるが、それより広い面積に対し１つの変位ベクトルを対応づけてもよい。例えば画像平面を縦方向、横方向に所定数分割してなる画素ブロックごとに変位ベクトルを対応づけてもよい。また１つのマップ中の位置によって、変位ベクトルを対応づける面積を異ならせてもよい。例えば色収差が顕著になりやすい画像端に近づくほど面積を小さく、細かい単位で変位ベクトルと対応づけることにより、詳細に補正できるようにしてもよい。

リプロジェクション部１７６は、実際の注視点あるいはその予測値が代表点と一致する場合は、それに対応づけられた変位ベクトルマップを参照して色収差を補正する。注視点が代表点以外にあるときは基本的に、代表点からの距離に応じて補間した変位ベクトルマップに基づき色収差を補正する。例えば２つの代表点３８２ｂ、３８２ｅをｍ：ｎに内分する位置に注視点３８６がある場合、変位ベクトル（Δｘ，Δｙ）を画素ごとに次のように決定する。
Δｘ＝（ｎ／ｍ＋ｎ）Δｘ_１＋（ｍ／ｍ＋ｎ）Δｘ_２
Δｙ＝（ｎ／ｍ＋ｎ）Δｙ_１＋（ｍ／ｍ＋ｎ）Δｙ_２
ここで（Δｘ_１，Δｙ_１）、（Δｘ_２，Δｙ_２）はそれぞれ、代表点３８２ｂ、３８２ｅに対応づけられた変位ベクトルマップのうち、対応する画素の変位ベクトルである。

隣り合う３点の代表点を頂点とする三角形の領域内に注視点がある場合も同様に、３点の代表点からの距離に応じた重みで、画素ごとに変位ベクトルの重みづけ平均をとる。ただし代表点の位置設定や、任意の位置の注視点に対する変位ベクトルマップの求め方をこれらに限定する趣旨ではない。例えば注視点が画面中央近傍にあるとき、上述のように色収差はそれほど顕著でないため、中央を含む所定範囲の領域３８８では変位ベクトルの補間計算を行わず、代表点３８２ａに対応づけられた変位ベクトルマップ３８４ａをそのまま用いてもよい。その他の代表点についても、補間計算をしない領域をそれぞれ設けてよい。

図２６は、図２５の構成によって実現できる、各色の画像を瞳の位置に応じて補正してなる表示画像の鑑賞態様を概念的に示している。図では、瞳（例えば瞳３９２）の位置が異なるユーザの顔（例えば顔３９０）を５通り例示している。瞳には、表示パネルに表された画像（例えば画像３９４）の光がレンズを透過して入射する。瞳の位置に応じて色収差の補正に用いるパラメータを切り替えると、画像上の像の領域が色によって異なる方向および量で、微小に変位する。図では像の領域を、赤を破線、緑を実線、青を一点鎖線の楕円で表象しており、瞳の位置によって異なる態様でずれているのがわかる。

このように補正された赤、緑、青の画像を重ねて見ることにより、瞳の位置によらず、入射する光が表す像に色ずれが生じないようにできる。これにより、拡大率の高い接眼レンズを導入して広い視野で画像を鑑賞できるようにしても、視線の動きによって色収差が視認されるのを防ぐことができる。なお、周辺領域に物体が存在しなかったり、周波数の高い像が表れていたりして色収差が目立ちにくい画像の場合、視線の動きに応じた補正の調整の必要性が薄れることが考えられる。したがって画像の内容を解析し、その結果に応じて、色収差の補正を調整するか否かを切り替えてもよい。

また、注視点に基づき変位ベクトルマップを切り替えて色収差を補正する処理は、画像生成装置２００において歪み画像生成部２６６が実施してもよい。この場合、画像生成装置２００は、注視点の位置情報をヘッドマウントディスプレイ１００から取得する。そして画像生成装置２００において色収差の補正まで行った表示画像をヘッドマウントディスプレイ１００に送信する。

このとき歪み画像生成部２６６は、注視点に応じて切り替えた変位ベクトルマップを用いて、図１６において説明したように、変位先に対するレイトレーシングにより各色の画素値を決定する。またヘッドマウントディスプレイ１００では、色収差の補正まで行った表示画像に対し、上述したようにヘッドマウントディスプレイ１００の最新の位置姿勢に基づく補正を行ってもよいし、フレームを補間してもよい。

以上述べた本実施の形態によれば、接眼レンズを介して画像を鑑賞する表示形態において、レンズを介して見た時に歪みのない画像が視認されるように、元から歪みを与えた画像を直接描画する。具体的には、レンズ歪みによる画素の変位先に対しレイトレーシングを行うことにより得た色情報を、変位前の画素の画素値とする。これにより、中心射影の画像を補正する従来の手法と比較し、描画処理の効率が上がるとともに、必要なメモリ容量を節約できる。

また画素ごとに独立した描画が可能なため、画素列順に即時に伝送でき、描画から表示までの遅延時間を格段に抑えることができる。さらに、ヘッドマウントディスプレイに表示画像を最終調整する機能を設けることにより、例えば頭部の最新の位置姿勢情報を用いて画像を補正でき、ユーザの動きに対し高い応答性で違和感のない表示を実現できる。また色収差の補正やフレームレートの調整を、画像生成装置での表示画像の生成処理と独立させることにより、実際に表示される画像の品質を維持しつつ、画像生成装置での処理の負荷を軽減させたり、処理内容の自由度を高めたりすることができる。

さらに、表示パネルに対する注視点の位置に応じて、色収差の補正に調整を加える。これにより、接眼レンズに対する瞳の位置の変化によって光路が変化し、色ずれが視認されるのを防ぐことができる。以上述べた特徴によって、ユーザやオブジェクトの動きに対する応答性と画像の品質を両立させることができる。このことは、操作入力からの高速表示が求められるｅスポーツの分野では特に有効である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００ ヘッドマウントディスプレイ、 １２０ ＣＰＵ、 １２２ メインメモリ、 １２４ 表示部、 １３２ 通信部、 １３４ モーションセンサ、 ２００ 画像生成装置、 １７０ 表示画像取得部、 １７２ 位置姿勢情報取得部、 １７４ 歪みパラメータ記憶部、 １７６ リプロジェクション部、 １７８ 表示部、 ２２２ ＣＰＵ、 ２２４ ＧＰＵ、 ２２６ メインメモリ、 ２３６ 出力部、 ２３８ 入力部、 ２５４ オブジェクトモデル記憶部、 ２６０ 入力データ取得部、 ２６１ 視点情報取得部、 ２６２ 空間構築部、 ２６４ ビュースクリーン設定部、 ２６６ 歪み画像生成部、 ２６８ 出力部、 ３７２ 注視点取得部、 ３７４ 歪みパラメータ記憶部、 ３７６ リプロジェクション部。

以上のように本発明は、ヘッドマウントディスプレイ、ゲーム装置、画像表示装置、携帯端末、パーソナルコンピュータなど各種情報処理装置や、それらのいずれかを含む画像処理システムなどに利用可能である。

Claims (7)

1. 接眼レンズを介して表示画像を鑑賞させるヘッドマウントディスプレイであって、
   前記接眼レンズが生じさせる画像歪みに応じた逆の歪みであり、表示画像のデータを構成する原色に共通の歪みが与えられた表示画像のデータを、外部の装置から通信を介して取得する画像取得部と、
   前記ヘッドマウントディスプレイ固有の情報に応じて、前記表示画像に与えられている歪みを、実装されている前記接眼レンズの歪み係数に基づく前記原色ごとの歪みに修正する補正を行うリプロジェクション部と、
   補正された表示画像を出力する表示部と、
   を備えたことを特徴とするヘッドマウントディスプレイ。
2. 前記ヘッドマウントディスプレイの位置及び姿勢の情報を取得する位置姿勢情報取得部をさらに備え、
   前記リプロジェクション部は、表示のタイミングにおける位置及び姿勢の情報に対応するように、前記表示画像を補正することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記リプロジェクション部は、前記原色ごとに、前記接眼レンズの歪みに対応する補正量を画素単位で取得し、前記表示画像に与えられている補正量を差し引いて画素を変位させることにより、原色ごとに補正を行うことを特徴とする請求項１または２に記載のヘッドマウントディスプレイ。
4. 前記接眼レンズの歪みに対応する補正量と補正方向を表す変位ベクトルを、前記表示画像の画像平面に画素ごとに表した変位ベクトルマップを格納する歪みパラメータ記憶部をさらに備え、
   前記リプロジェクション部は、前記変位ベクトルマップを参照することにより、前記表示画像を補正することを特徴とする請求項３に記載のヘッドマウントディスプレイ。
5. 前記リプロジェクション部は、前記画像取得部が取得した前記表示画像のフレームを時間に対して補間し、所定のフレームレートとすることを特徴とする請求項１から４のいずれかに記載のヘッドマウントディスプレイ。
6. 接眼レンズを介して表示画像を鑑賞させるヘッドマウントディスプレイが、
   前記接眼レンズが生じさせる画像歪みに応じた逆の歪みであり、表示画像のデータを構成する原色に共通の歪みが与えられた表示画像のデータを、外部の装置から通信を介して取得するステップと、
   前記ヘッドマウントディスプレイ固有の情報に応じて、前記表示画像に与えられている歪みを、実装されている前記接眼レンズの歪み係数に基づく前記原色ごとの歪みに修正する補正を行うステップと、
   補正された表示画像を出力するステップと、
   を含むことを特徴とする画像表示方法。
7. 接眼レンズを介して表示画像を鑑賞させるヘッドマウントディスプレイが備えるコンピュータに、
   前記接眼レンズが生じさせる画像歪みに応じた逆の歪みであり、表示画像のデータを構成する原色に共通の歪みが与えられた表示画像のデータを、外部の装置から通信を介して取得する機能と、
   前記ヘッドマウントディスプレイ固有の情報に応じて、前記表示画像に与えられている歪みを、実装されている前記接眼レンズの歪み係数に基づく前記原色ごとの歪みに修正する補正を行う機能と、
   補正された表示画像を出力する機能と、
   を実現させることを特徴とするコンピュータプログラム。

Images