WO2022054118A1

WO2022054118A1 - 画像表示システム、ヘッドマウントディスプレイ、および画像表示方法

Info

Publication number: WO2022054118A1
Application number: PCT/JP2020/033858
Authority: WO
Inventors: 徹悟稲田; 章男大場
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2020-09-08
Filing date: 2020-09-08
Publication date: 2022-03-17
Also published as: JPWO2022054118A1; US20230289929A1

Abstract

画像生成装置は、シーンデータ３０を用い、ＲＧＢの原色に共通の歪みを与えた歪み画像５０を直接描画し（Ｓ２２）、描画した画素列順にヘッドマウントディスプレイに送信する（Ｓ２４）。ヘッドマウントディスプレイは、ラインバッファに格納した歪み画像の部分データ５６のうち、接眼レンズの色収差に依存する、ＲＧＢごとに異なる位置から色情報を取得することにより、異なる歪みを有するＲＧＢの部分データ５８ａ、５８ｂ、５８ｃを生成し、表示パネルに即時出力する。

Description

画像表示システム、ヘッドマウントディスプレイ、および画像表示方法

　本発明は、接眼レンズを介して鑑賞する画像を表示する画像表示システム、ヘッドマウントディスプレイ、および画像表示方法に関する。

　対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えば仮想３次元空間を表示対象とし、ヘッドマウントディスプレイを装着したユーザの視線方向に応じた画像が表示されるようにすることでＶＲ（仮想現実）を実現する電子コンテンツが知られている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

　表示装置の種類や視点の自由度によらず、視野が変化したり表示世界が動いていたりする場合、画像表示には高い応答性が求められる。一方でよりリアルな画像表現を実現するには、解像度を高めたり複雑な計算が必要になったりして画像処理の負荷が増大する。そのため視野や表示世界の動きに対し表示が追いつかず、臨場感が損なわれたり映像酔いを引き起こしたりすることもあり得る。

　本発明はこうした課題に鑑みてなされたものであり、その目的は、画像表示の応答性と品質を両立させることのできる技術を提供することにある。

　本発明のある態様は画像表示システムに関する。この画像表示システムは、接眼レンズを介して鑑賞するために、表示対象のソース画像に接眼レンズの収差による変化と逆の変化を与えた歪み画像を表示する画像表示システムであって、原色によらず共通の歪みを有する歪み画像を描画する画像生成装置と、接眼レンズの色収差に応じ、歪み画像の異なる位置から原色ごとにサンプリングした結果に基づき画素値を決定し表示パネルに出力する表示装置と、を備えたことを特徴とする。

　本発明の別の態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、接眼レンズを介して鑑賞するために、表示対象のソース画像に接眼レンズの収差による変化と逆の変化を与えた歪み画像を表示するヘッドマウントディスプレイであって、原色によらず共通の歪みを有する歪み画像のデータを取得する画像データ取得部と、接眼レンズの色収差に応じ、歪み画像の異なる位置から原色ごとにサンプリングした結果に基づき画素値を決定し表示パネルに出力する表示部と、を備えたことを特徴とする。

　本発明のさらに別の態様は画像表示方法に関する。この画像表示方法は、接眼レンズを介して鑑賞するために、表示対象のソース画像に接眼レンズの収差による変化と逆の変化を与えた歪み画像を表示する画像表示システムにおいて、原色によらず共通の歪みを有する歪み画像を描画するステップと、接眼レンズの色収差に応じ、歪み画像の異なる位置から原色ごとにサンプリングした結果に基づき画素値を決定し表示パネルに出力するステップと、を含むことを特徴とする

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

　本発明によれば、画像表示の応答性と品質を両立させることができる。

本実施の形態におけるヘッドマウントディスプレイの外観例を示す図である。本実施の形態における画像処理システムの構成例を示す図である。本実施の形態で画像生成装置がヘッドマウントディスプレイに表示させる画像世界の例を説明するための図である。図３で示した形態において、ヘッドマウントディスプレイに表示させるまでの一般的な画像の変遷を示す図である。本実施の形態の歪み画像における色ずれを説明するための図である。接眼レンズの色収差を考慮した歪み画像を表示する一般的な処理手順を示す図である。接眼レンズの色収差を考慮した歪み画像を表示する別の処理手順を示す図である。本実施の形態において接眼レンズの色収差を考慮した歪み画像を表示する処理手順を示す図である。本実施の形態における画像生成装置の内部回路構成を示す図である。本実施の形態におけるヘッドマウントディスプレイの内部構成を例示する図である。本実施の形態における画像生成装置およびヘッドマウントディスプレイの機能ブロックの構成を示す図である。本実施の形態において歪み画像生成部が歪み画像の画素値を決定する手法を説明するための図である。本実施の形態のヘッドマウントディスプレイにおける画素値のサンプリング処理を説明するための図である。

　本実施の形態では、ユーザは表示パネルに表示された画像を、接眼レンズを介して鑑賞することを想定する。この限りにおいて画像を表示させる装置の種類は特に限定されないが、ここではヘッドマウントディスプレイを例に説明する。図１はヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。

　出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する接眼レンズを備える。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ１００はモーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出する。

　この例でヘッドマウントディスプレイ１００は、筐体１０８の前面にステレオカメラ１１０を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。撮影した画像を即時に表示させれば、ユーザが向いた方向の実空間の様子がそのまま見える、いわゆるビデオシースルーを実現できる。さらに撮影画像に写っている実物体の像上に仮想オブジェクトを描画すればＡＲ（拡張現実）を実現できる。

　図２は、本実施の形態における画像処理システムの構成例を示す。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインターフェースにより画像生成装置２００に接続される。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。

　画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるように表示画像を生成してヘッドマウントディスプレイ１００に出力する。この限りにおいて画像を表示する目的は様々であってよい。例えば画像生成装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界が実世界かに関わらず観賞や情報提供のために静止画像または動画像を表示させてもよい。ユーザの視点を中心に広い画角でパノラマ画像を表示すれば、表示世界に没入した感覚を与えることができる。

　なお画像生成装置２００の機能の一部または全てを、ヘッドマウントディスプレイ１００の内部に設けてもよい。画像生成装置２００の全ての機能をヘッドマウントディスプレイ１００に内蔵させた場合、図示する画像処理システムが１つのヘッドマウントディスプレイ１００により実現される。

　図３は、本実施の形態で画像生成装置２００がヘッドマウントディスプレイ１００に表示させる画像世界の例を説明するための図である。この例ではユーザ１２が仮想空間である部屋にいる状態を作り出している。仮想空間を定義するワールド座標系には図示するように、壁、床、窓、テーブル、テーブル上の物などのオブジェクトを配置している。画像生成装置２００は当該ワールド座標系に、ユーザ１２の視点の位置や視線の方向に応じてビュースクリーン１４を定義し、そこにオブジェクトの像を表すことで表示画像を描画する。

　ユーザ１２の視点の位置や視線の方向（以後、これらを包括的に「視点」と呼ぶ場合がある）を所定のレートで取得し、これに応じてビュースクリーン１４の位置や方向を変化させれば、ユーザの視点に対応する視野で画像を表示させることができる。視差を有するステレオ画像を生成し、表示パネルの左右の領域にそれぞれ表示させれば、仮想空間を立体視させることもできる。これによりユーザ１２は、あたかも表示世界の部屋の中にいるような仮想現実を体験することができる。

　図４は、図３で示した形態において、ヘッドマウントディスプレイ１００に表示させるまでの一般的な画像の変遷を示している。まずユーザの視点に対応するビュースクリーンに、仮想世界に存在するオブジェクトを射影することにより、ユーザの視野に対応する画像１６が生成される。立体視させる場合は、左右の目の間隔に応じた視差分だけ画像１６中の像を横方向にずらすか、画像１６を各目に対し生成することにより、左目用画像１８ａ、右目用画像１８ｂからなるステレオ画像を生成する。

　そして左目用画像１８ａ、右目用画像１８ｂのそれぞれについて、接眼レンズによる歪曲収差や色収差に合わせて逆補正することで、最終的な表示画像２２が生成される。ここで逆補正とは、接眼レンズを介して見たときに元の画像１６が視認されるように、レンズの収差による変化と逆の変化を与えることにより、画像をあらかじめ歪ませたり原色（ＲＧＢ）ごとに画素をずらしたりしておく処理である。例えば画像の四辺が糸巻き状に凹んで見えるレンズの場合、図示するように画像を樽型に湾曲させておく。以後、接眼レンズに対応する歪みや色ずれが与えられた画像を「歪み画像」と呼ぶ。

　図５は、歪み画像における色ずれを説明するための図である。この例で歪み画像２４は、白黒の市松模様の床を有する室内を表している。図示するように、歪み画像２４には、接眼レンズの特性上、周辺部に向かうほど大きい度合いで歪みが与えられる。接眼レンズの色収差により、歪みの与えられ方はＲ（赤）、Ｇ（緑）、Ｂ（青）の原色によって異なる。結果として、歪み画像２４においては周辺部に向かうほど大きな色ずれが生じる。例えば歪み画像２４の右下の領域を拡大した画像２６に示すように、本来は白と黒の境界を表す箇所２８において、色が徐々に変化する。

　すなわち図の上段に表すように、白から黒へ切り替わる境界がＲＧＢで異なることにより、例えば本来、黒の領域であるべき部分に赤が最大輝度で残るなどして、白や黒以外の色が生じる結果となる。このように色がずれた歪み画像２４を、接眼レンズを介して見ることにより、色収差によって色の変化が正しい位置に修正され、色ずれのない画像が視認される。歪み画像２４は、例えば歪みのない画像を一旦生成し、原色ごとに収差に応じた異なる度合いで画像を歪ませることによって生成できる。

　図６は、接眼レンズの色収差を考慮した歪み画像を表示する一般的な処理手順を示している。まず画像生成装置は、仮想世界を表す３次元情報などのシーンデータ３０をビュースクリーンに射影するなどして、歪みのない画像３２を生成する（Ｓ１０）。この画像は図４の画像１６に対応し、各画素がずれなくＲＧＢの画素値を有する一般的な画像である。次に画像生成装置は、ＲＧＢの３プレーンのそれぞれについて、色収差に応じた異なる歪みの度合いで画像を歪ませる（Ｓ１２）。

　これにより、像に微小なずれのあるＲＧＢそれぞれの歪み画像３４ａ、３４ｂ、３４ｃが生成される。これらの歪み画像を画素値の要素とする画像を表示画像３６として表示パネルに出力することにより（Ｓ１４）、図５の歪み画像２４のような色ずれのある画像が表示される。図２で示した画像処理システムであれば、画像生成装置２００がＲＧＢの歪み画像３４ａ、３４ｂ、３４ｃを生成し、表示画像のデータとして送信することにより、ヘッドマウントディスプレイ１００は送信されたデータをそのまま表示できる。

　しかしながらこのような処理手順によれば、まず歪みのない画像３２をフレームバッファに格納し、そこから各色の値を読み出したうえで歪み画像３４ａ、３４ｂ、３４ｃに変形させる、という処理が必要になる。そのためバッファに供する記憶領域を１フレーム分以上、確保する必要があるうえ、メモリアクセスのために時間を要し、ヘッドマウントディスプレイ１００に出力するまでの遅延が長くなる。

　図７は、接眼レンズの色収差を考慮した歪み画像を表示する別の処理手順を示している。この場合も画像生成装置は、シーンデータ３０をビュースクリーンに射影するなどして歪みのない画像３２を生成する（Ｓ１０）。一方、この例では、画像生成装置２００は歪みのない画像３２のデータをヘッドマウントディスプレイにそのまま送信し、ヘッドマウントディスプレイにおいて歪曲収差と色収差に応じた歪みを与える。

　すなわち画像生成装置は、歪みのない画像３２のデータを、描画した画素列順にヘッドマウントディスプレイに送信する（Ｓ１６）。図では画素列が時間差をもって送信されることを、部分データ３８ａ、３８ｂ、３８ｃ、・・・をずらして描くことで示している。ヘッドマウントディスプレイ１００は送信された画素列のデータをラインバッファに格納したうえ、歪曲収差と色収差を踏まえた位置からサンプリングすることで、表示画像３６の画素値を決定し表示パネルに表す（Ｓ１８、Ｓ２０）。

　サンプリング処理においてヘッドマウントディスプレイは、図の上段に示すように、ラインバッファに格納した歪みのない画像の部分データ４０のうち、色収差に依存する、ＲＧＢごとに異なる位置から色情報を取得する。これにより、異なる歪みを有するＲＧＢの部分データ４２ａ、４２ｂ、４２ｃが生成され表示される。なお図では部分データ４０、４２ａ、４２ｂ、４２ｃを、画像上の格子単位の幅で表象しているが、実際には画素の行単位でデータが更新あるいは出力され得る。後に説明する図８も同様である。

　このようにすると図６の手順と比較し、画像生成装置において、中間データを１フレーム分格納するためのバッファメモリや、当該メモリへのアクセス処理を省略できる。一方、ヘッドマウントディスプレイ１００において色ごとの歪みを与えて出力するには、サンプリング先の領域のデータを全てラインバッファに保持しておく必要がある。例えば歪みのある表示画像のうち画素列４４を出力するには、歪みのない画像のサンプリング先４６のデータが必要になる。図示するようにサンプリング先４６を結ぶ線は、与える歪みに応じて湾曲していることから、表示画像を１行分出力するのに必要なデータはｙ_０行分の画素列となる。

　レンズの特性上、必要な行数は画像の上端や下端に向かうほど多くなり、さらにＲＧＢによっても異なり得る。結果として、必要となる最大行数を格納できるラインバッファを準備する必要があり、ヘッドマウントディスプレイ１００内でのメモリコストが増大する。また読み出しに係る処理時間が増え、画像データを受信してから表示するまでの遅延につながる。そこで本実施の形態では、画像生成装置２００において、ＲＧＢの３プレーンの全てに同じ歪みを与えておき、ヘッドマウントディスプレイ１００においては残りの歪みのみを与える。

　図８は、本実施の形態において接眼レンズの色収差を考慮した歪み画像を表示する処理手順を示している。この例で画像生成装置２００は、シーンデータ３０から直接、ＲＧＢに共通の歪みを与えた歪み画像５０を生成する。例えば画像生成装置２００は、ＲＧＢのうちＧのプレーンに与えるべき歪みを全てのプレーンに与えた歪み画像５０を生成する。そして画像生成装置２００は、歪み画像５０のデータを、描画した画素列順にヘッドマウントディスプレイに送信する（Ｓ２４）。

　歪み画像５０を直接描画することにより、歪みのない画像を一時保存するためのフレームバッファは必要なくなる。また全てのプレーンに同じ歪みを与えたうえで、描画した順に出力することにより、描画から出力までの遅延時間を抑えることができる。図では画素列が時間差をもって送信されることを、部分データ５２ａ、５２ｂ、５２ｃ、・・・をずらして描くことで示している。ただし実際の送信は画素列単位でよい。

　ヘッドマウントディスプレイ１００は送信された画素列のデータをラインバッファに格納したうえ、そこからサンプリングすることで、表示画像３６の画素値を決定し表示パネルに表す（Ｓ２６、Ｓ２８）。図７の手順と同様、サンプリング処理においてヘッドマウントディスプレイ１００は、図の上段に示すように、ラインバッファに格納した部分データ５６のうち、色収差に依存する、ＲＧＢごとに異なる位置から色情報を取得する。これにより、異なる歪みを有するＲＧＢの部分データ５８ａ、５８ｂ、５８ｃが生成され表示される。

　一方、本実施の形態では、元から歪みが与えられた画像がラインバッファに格納されているため、表示画像の画素列とサンプリング先の位置との差が、図７の場合より格段に小さくなる。例えば画像生成装置２００においてＧに対応する歪みを与えた場合、ヘッドマウントディスプレイ１００では、Ｇのプレーンについてはラインバッファにおける同じ位置の画素値を取得しそのまま出力すればよくなる。ＲおよびＢのプレーンについては、Ｇの歪みとの差分だけ変位させた先の色情報を取得すればよい。例えば、図において表示画像のうち画素列６０を出力する場合、元の歪み画像のうちサンプリング先６２のデータが必要となるが、当該サンプリング先６２は直線に近い分布となるため、必要となるｙ_１行分の画素列は、図７の場合より明らかに少なくなる。

　結果として、画像生成装置２００におけるフレームバッファやヘッドマウントディスプレイ１０におけるラインバッファなど、システム全体で確保すべきメモリの容量を削減できる。またメモリアクセスに要する時間を軽減でき、画像生成装置２００内部での段階を経た画像生成を簡略化することとの相乗効果で、描画から表示までを低遅延化できる。なお画像生成装置２００でＲＧＢの画像ブレーンに共通に与える歪みは、ＲあるいはＢに対応するものでもよいし、それ以外の所定のものでもよい。ただしＲＧＢのいずれかの歪みを与えておくと、ヘッドマウントディスプレイ１００において当該色の画素値についてはそのまま出力できる点で有利となる。

　図９は、画像生成装置２００の内部回路構成を示している。画像生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インターフェース２２８が接続されている。

　入出力インターフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００へデータを出力する出力部２３６、ヘッドマウントディスプレイ１００からデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。

　ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像生成装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、その結果を出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

　図１０は、ヘッドマウントディスプレイ１００の内部構成を例示している。制御部１５０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。ステレオカメラ１１０は、撮影画像のデータを所定のレートで制御部１５０に供給する。表示パネル１５２は液晶や有機ＥＬなどの発光パネルとその制御機構で構成され、制御部１５０から画像信号を受け取り表示する。

　通信制御部１５４は、図示しないネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１５０から入力されるデータを外部に送信する。通信制御部１５４はまた、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、外部からデータを受信し、制御部１５０に出力する。記憶部１６０は、制御部１５０が処理するデータやパラメータ、操作信号などを一時的に記憶する。

　モーションセンサ１６２は、ヘッドマウントディスプレイ１００の回転角や傾きなどの姿勢情報を計測し、制御部１５０に逐次供給する。外部入出力端子インターフェース１６４は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインターフェースである。外部メモリ１６６は、フラッシュメモリなどの外部メモリである。制御部１５０は、画像や音声データを表示パネル１５２や図示しないイヤホンやスピーカーに供給して出力させたり、通信制御部１５４に供給して外部に送信させたりすることができる。

　図１１は、本実施の形態における画像生成装置２００およびヘッドマウントディスプレイ１００の機能ブロックの構成を示している。画像生成装置２００は上述のとおり、電子ゲームを進捗させたりサーバと通信したりする一般的な情報処理を行ってよいが、図１１では特に、表示画像を生成する機能に着目して示している。なお図１１で示される画像生成装置２００の機能のうち少なくとも一部を、ヘッドマウントディスプレイ１００に実装してもよい。あるいは、画像生成装置２００の少なくとも一部の機能を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。

　また図１１に示す機能ブロックは、ハードウェア的には、図９または１０に示したＣＰＵ、ＧＰＵ、制御部、各種メモリ、センサなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　画像生成装置２００は、ヘッドマウントディスプレイ１００から送信されるデータを取得する入力データ取得部２６０、ユーザの視点に係る情報を取得する視点情報取得部２６１、表示対象の空間を表した歪み画像を生成する歪み画像生成部２６６、歪み画像のデータをヘッドマウントディスプレイ１００に出力する出力部２６８を備える。画像生成装置２００はさらに、表示対象のシーンデータを記憶するシーンデータ記憶部２５４、および、画像生成装置２００で与えるべき歪みの情報を記憶する歪み情報記憶部２５６を備える。

　入力データ取得部２６０は図９の入力部２３８、ＣＰＵ２２２などで構成され、ヘッドマウントディスプレイ１００から送信される、モーションセンサの計測値や、ステレオカメラ１１０が撮影した画像などのデータを所定のレートで取得する。視点情報取得部２６１は図９のＣＰＵ２２２などで構成され、ユーザの視点の位置や視線の方向を所定のレートで取得する。例えば視点情報取得部２６１は、ヘッドマウントディスプレイ１００のモーションセンサの計測値に基づき頭部の位置や姿勢を特定する。ヘッドマウントディスプレイ１００の外部に図示しない発光マーカーを設け、視点情報取得部２６１が、その撮影画像を図示しない撮像装置から取得して解析することで、頭部の位置や姿勢の情報を取得してもよい。

　あるいは視点情報取得部２６１は、ステレオカメラ１１０の撮影画像に基づきＳＬＡＭなどの技術により頭部の位置や姿勢を取得してもよい。このように頭部の位置や姿勢を取得できれば、ユーザの視点の位置および視線の方向はおよそ特定できる。なお視点情報取得部２６１は、過去の視点の動きに基づき、ヘッドマウントディスプレイ１００において画像が表示されるタイミングでの視点の位置や視線の方向を予測してもよい。ユーザの視点に係る情報を取得したり予測したりする手段として、この他にも様々に考えられることは当業者には理解されるところである。

　歪み画像生成部２６６は、図６のＧＰＵ２２４、メインメモリ２２６などで構成され、視点情報取得部２６１が取得、あるいは予測した視点や視線に対応する視野で表示対象の空間を表した画像を所定のレートで描画する。この画像は、ゲームなどの情報処理を行った結果であってもよい。シーンデータ記憶部２５４には、画像描画に必要なオブジェクトモデルのデータやシーンの進捗に係る情報を格納しておく。歪み画像生成部２６６は、シーンデータ記憶部２５４に格納されたデータや、必要に応じてヘッドマウントディスプレイ１００から送信された撮影画像のデータなどを用いて、上述のとおり、ＲＧＢの別なく共通の歪みを有する画像を直接描画する。

　歪み画像生成部２６６が描画に用いる手法は特に限定されず、レイトレーシングやラスタライズなどのいずれであってもよい。歪み情報記憶部２５６には、歪み画像生成部２６６が画像に与える歪みに係る情報を格納しておく。例えば歪み情報記憶部２５６は、歪み画像の平面における各画素が、歪みのない画像平面におけるどの位置に対応するかを表す変位ベクトルマップを格納する。これにより歪み画像生成部２６６は、歪み画像の平面における画素ごとに、歪みのない画像の対応する位置に表されるべき像の色をレイトレーシングなどによって求め、元の画素の画素値とする。

　ここで「歪みのない画像」は実際に生成されるものではなく、従来手法により色情報を取得するための媒介として対応点の位置座標のみ利用する。つまり歪み画像生成部２６６は、歪み画像の画素値を、対応点における色情報を直接取得することにより決定する。上述のとおり歪み画像生成部２６６が与える歪みはＲＧＢで共通とする。したがって歪み情報記憶部２５６には、変位ベクトルマップなどの歪みを表すデータを１種類、格納する。例えば情報記憶部２５６には、Ｇの歪みを表すデータを格納する。

　表示画像を立体視させる場合、歪み画像生成部２６６は、左目用、右目用のそれぞれに対し歪み画像を生成する。すなわち左目を視点とし左目用の接眼レンズを想定した歪み画像と、右目を視点として右目用の接眼レンズを想定した歪み画像を生成する。出力部２６８は、図６のＣＰＵ２２２、メインメモリ２２６、出力部２３６などで構成され、歪み画像生成部２６６が生成した歪み画像のデータをヘッドマウントディスプレイ１００に順次送出する。ここで出力部２６８は、歪み画像生成部２６６が所定の画素列順に決定した画素値のデータを、その順序で即時出力してよい。立体視させる場合、出力されるデータは、画像の左半分に左目用の歪み画像、右半分に右目用の歪み画像が配置されたデータとなる。

　ヘッドマウントディスプレイ１００は、表示画像の生成に用いる各種データを画像生成装置２００に送信する出力データ送信部２７２、画像生成装置２００から送信された歪み画像のデータを取得する画像データ取得部２７０、送信された歪み画像に、さらに必要な歪みを与える差分歪み付与部２７４、ヘッドマウントディスプレイ１００で与えるべき歪みの情報を記憶する歪み情報記憶部２７６、および、最終的な歪み画像を表示する表示部２７８を備える。

　出力データ送信部２７２は、図１０のステレオカメラ１１０、モーションセンサ１６２、通信制御部１５４などで構成され、ステレオカメラ１１０が撮影した画像やモーションセンサ１６２の計測値など、表示画像の生成に必要なデータを所定のレートで画像生成装置２００に送信する。画像データ取得部２７０は、図１０の通信制御部１５４、制御部１５０などで構成され、画像生成装置２００から送信された歪み画像のデータを取得する。この際、画像データ取得部２７０は、画像生成装置２００がラスタ順などで送出した画素値のデータを順次取得し、差分歪み付与部２７４に供給する。

　差分歪み付与部２７４は、図１０の制御部１５０、記憶部１６０などで構成され、画像生成装置２００から送信された歪み画像に、必要に応じて残りの歪みを付与する。詳細には差分歪み付与部２７４は、画像生成装置２００から送信された歪み画像のデータを画素列単位で一時保存するラインバッファ２８０と、表示パネルに出力する画素順あるいは画素列順に、ラインバッファ２８０に格納されたデータをサンプリングして画素値を決定するサンプリング部２８２と、を備える。元の画像にＧの歪みが与えられている場合、１行の画素列を表示する際のＧの成分のサンプリング先は、同じ位置の画素列１行分である。ＲやＢの成分のサンプリング先は、Ｇの歪みとの差分を反映した、いくらか湾曲した形状で分布する。

　このときサンプリング部２８２は、サンプリング先の周囲にある複数の画素の値を補間することにより色情報を決定し、表示画像のＲおよびＢの画素値とする。歪み情報記憶部２７６には差分歪み付与部２７４が画像に与えるべき歪みに係る情報を格納しておく。すなわち画像生成装置２００が与えた歪みと、本来ＲＧＢのそれぞれのプレーンに与えるべき歪みとの差分に係る情報を格納しておく。

　歪みに係る情報は例えば、最終的な表示画像の平面における各画素が、画像生成装置２００から送信された歪み画像のどの位置に対応するかを表す差分ベクトルマップとする。これによりサンプリング部２８２は、表示部２７８に出力すべき行と、ラインバッファ２８０に格納されている行との対応に基づき、ＲＧＢごとに適切な位置から色情報を取得する。ラインバッファ２８０は、出力対象の行からサンプリング位置までの最大のずれ量を包含する行数の歪み画像のデータを格納する。

　表示部２７８は、図１０の制御部１５０、表示パネル１５２などで構成され、差分歪み付与部２７４が取得したＲＧＢの画素値に対応する輝度で、対応する素子を発光させることにより、最終的な歪み画像を表示する。ここで差分歪み付与部２７４が、表示パネルへの出力対象の行に対し、サンプリングにより順次画素値を決定し、表示部２７８が、画素値の決定とともに当該行の出力を開始することで、サンプリングから表示までを低遅延で行える。

　図１２は、歪み画像生成部２６６が歪み画像の画素値を決定する手法を説明するための図である。図の左側に示すように一般的な画像７０ａの場合、表示対象のオブジェクト７２をビュースクリーンに射影したり、視点から発生させた光線が到達するオブジェクト７２の色を計算したりして画素値を決定する。一方、本実施の形態では接眼レンズを介して画像７０ａが視認されるように、歪み画像７０ｂを直接描画する。

　すなわち歪み画像生成部２６６は、歪み画像７０ｂの対象画素Ａが、レンズを介して見た時にどの位置に変位するかを計算し、変位先の画素Ｂの色情報を対象画素Ａの画素値とする。そのようにして描画される歪み画像７０ｂと、歪みのない画像７０ａとの関係は、一般的なカメラのレンズによって歪みが生じた撮影画像と、歪みを補正した画像との関係に等しい。したがって位置座標（ｘ，ｙ）の対象画素に対する変位ベクトル（Δｘ，Δｙ）は、次の一般式で算出できる。

　ここでｒはレンズの光軸から対象画素までの距離、（Ｃｘ，Ｃｙ）はレンズの光軸の位置である。またｋ_１、ｋ_２、ｋ_３、・・・はレンズ歪み係数でありレンズの設計や光の波長帯に依存する。補正の次数は特に限定されない。歪み画像生成部２６６は、対象画素Ａの位置座標（ｘ，ｙ）に対し式１により求められた変位ベクトル（Δｘ，Δｙ）を参照し、変位先である位置座標（ｘ＋Δｘ，ｙ＋Δｙ）の画素Ｂについて一般的な手法で画素値を求め、それを対象画素Ａの画素値とする。例えば視点から画素Ｂを通る光線を発生させ、オブジェクト７２上での到達点の色を導出することにより、画素Ｂ、ひいては画素Ａの画素値を決定する。

　上述のとおり、歪み画像の平面の各画素に対し変位ベクトル（Δｘ，Δｙ）を対応づけた変位ベクトルマップをあらかじめ生成し、歪み情報記憶部２５６に格納しておく。これにより歪み画像生成部２６６は、ラスタ順など所定の順序で歪み画像の画素値を決定していくことができる。なお式１は、接眼レンズによる歪みを補正するための代表的な数式であるが、本実施の形態で実施する歪みの演算をこれに限定する主旨ではない。また歪み情報記憶部２５６に格納する歪みの情報の形式も特に限定されない。

　ヘッドマウントディスプレイ１００の差分歪み付与部２７４は、ＲＧＢ本来の変位ベクトルから、画像生成装置２００で歪みを与える際に使用した変位ベクトルを差し引いた、差分ベクトルの分だけずれた位置から色情報を取得する。ここでＲＧＢ本来の変位ベクトルとは例えば、Ｒ、Ｇ、Ｂ、それぞれのレンズ歪み係数を式１に代入することで得られる値である。

　位置座標（ｘ，ｙ）の画素に対し、画像生成装置２００で用いられた変位ベクトルをＤＯ（ｘ，ｙ）、ＲＧＢ本来の変位ベクトルをＤＲ（ｘ，ｙ）、ＤＧ（ｘ，ｙ）、ＤＢ（ｘ，ｙ）とすると、ＲＧＢの差分ベクトルΔＲ（ｘ，ｙ）、ΔＧ（ｘ，ｙ）、ΔＢ（ｘ，ｙ）は次のように表せる。
　ΔＲ（ｘ，ｙ）＝ＤＲ（ｘ，ｙ）－ＤＯ（ｘ，ｙ）
　ΔＧ（ｘ，ｙ）＝ＤＧ（ｘ，ｙ）－ＤＯ（ｘ，ｙ）
　ΔＢ（ｘ，ｙ）＝ＤＢ（ｘ，ｙ）－ＤＯ（ｘ，ｙ）

　例えば画像生成装置２００において、Ｇに対応する歪みを与えた場合、ＤＯ（ｘ，ｙ）＝ＤＧ（ｘ，ｙ）となる。したがって各色の差分ベクトルは次のようになる。
　ΔＲ（ｘ，ｙ）＝ＤＲ（ｘ，ｙ）－ＤＧ（ｘ，ｙ）
　ΔＧ（ｘ，ｙ）＝０
　ΔＢ（ｘ，ｙ）＝ＤＢ（ｘ，ｙ）－ＤＧ（ｘ，ｙ）

　ヘッドマウントディスプレイ１００の歪み情報記憶部２７６には、上記のような差分ベクトルを、表示画像の各画素に対応づけた差分ベクトルマップを格納しておく。これにより差分歪み付与部２７４は、表示対象の画素に対応する位置の色情報を、ラインバッファから適切にサンプリングできる。

　図１３は、ヘッドマウントディスプレイ１００における画素値のサンプリング処理を説明するための図である。図の左はラインバッファ７４、右は表示画像の１行分の画素列７６を模式的に示しており、１つの矩形が１画素の領域を表す。この例でラインバッファ７４は、歪み画像の３行分の画素列を格納する。表示画像の画素列７６のうち画素７８の画素値を決定する際、差分歪み付与部２７４はまず、当該画素の位置に対応づけられた色ごとの差分ベクトルΔＲ、ΔＧ、ΔＢを、歪み情報記憶部２７６から取得する。

　そして差分歪み付与部２７４は、ラインバッファ７４において、差分ベクトル分だけずれた位置の色情報を取得する。ここで差分ベクトルによる変位先、すなわちサンプリング位置は、画素領域の中心とは限らない。図では、Ｒ、Ｇ、Ｂのサンプリング位置８０ａ、８０ｂ、８０ｃを例示している。ラインバッファ７４に格納された歪み画像にＧの歪みが与えられていれば、ΔＧ＝０のため、そのサンプリング位置８０ｂは同じ位置の画素領域の中心となる。したがって差分歪み付与部２７４は、サンプリング位置８０ｂのＧの値をそのまま読み出し、表示画像における画素７８のＧ成分の画素値とする。

　一方、Ｒのサンプリング位置８０ａとＢのサンプリング位置８０ｃは、別の位置の画素領域のうち中心から外れた位置にある。このような場合、差分歪み付与部２７４は、ニアレストネイバー法、バイリニア法、バイキュービック法など一般的な手法によりサンプリング位置８０ａ、８０ｃのＲ成分、Ｂ成分を補間により求める。これにより、表示画像における画素７８の画素値が決定される。表示部２７８は、このように決定された画素値に対応する輝度で表示パネルの各行を順次発光させることにより、最終的な歪み画像が表示される。

　以上述べた本実施の形態によれば、接眼レンズを介して画像を鑑賞する形式の画像表示システムにおいて、接眼レンズの歪曲収差および色収差に応じた逆補正を、描画処理と組み合わせて２段階で行う。具体的には、表示画像の描画時にＲＧＢで共通の歪みを与えておき、表示パネルへの出力時に、残りの歪みを与えるように画素値のサンプリングを行う。これにより、歪みのない画像を一旦生成し、色ごとに歪みを与えるのと比較し、中間データを一時保存するための記憶領域や、メモリアクセスを含む処理のコストを削減できる。

　またシステム全体において、歪み画像の状態で処理が進捗するため、表示パネルへの出力時に、対象画素の位置とサンプリング位置との差を小さくできる。これにより、表示前に必要な記憶領域を節約でき、メモリコストや読み出し処理に要する負荷を軽減できる。結果として、レイトレーシングなどにより高画質の画像を描画する場合であっても、描画から表示までを低遅延で行える。

　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　１００　ヘッドマウントディスプレイ、　１５０　制御部、　１５２　表示パネル、　１５４　通信制御部、　１６０　記憶部、　２００　画像生成装置、　２２２　ＣＰＵ、　２２４　ＧＰＵ、　２２６　メインメモリ、　２３４　記憶部、　２３６　出力部、　２５４　シーンデータ記憶部、　２５６　歪み情報記憶部、　２６０　入力データ取得部、　２６１　視点情報取得部、　２６６　歪み画像生成部、　２６８　出力部、　２７０　画像データ取得部、　２７２　出力データ送信部、　２７４　差分歪み付与部、　２７６　歪み情報記憶部、　２７８　表示部。

　以上のように本発明は、画像生成装置、ヘッドマウントディスプレイ、ゲーム装置、画像表示装置、携帯端末、パーソナルコンピュータなど各種情報処理装置や、それらのいずれかを含む画像処理システムなどに利用可能である。

Claims

　接眼レンズを介して鑑賞するために、表示対象のソース画像に前記接眼レンズの収差による変化と逆の変化を与えた歪み画像を表示する画像表示システムであって、
　原色によらず共通の歪みを有する歪み画像を描画する画像生成装置と、
　前記接眼レンズの色収差に応じ、前記歪み画像の異なる位置から原色ごとにサンプリングした結果に基づき画素値を決定し表示パネルに出力する表示装置と、
　を備えたことを特徴とする画像表示システム。
　前記表示装置は、
　前記歪み画像の所定行数のデータを一時保存するバッファメモリと、
　表示パネルに出力する画素順または画素列順に、前記バッファメモリに格納されたデータをサンプリングして画素値を決定するサンプリング部と、
　を備えたことを特徴とする請求項１に記載の画像表示システム。
　前記表示装置は、
　前記画像生成装置において前記歪み画像に与えられた歪みと、前記色収差に応じて原色ごとに与えるべき歪みとの差分に係る情報を格納する歪み情報記憶部を備えることを特徴とする請求項１または２に記載の画像表示システム。
　前記画像生成装置は、
　前記歪み画像の平面における各画素と、歪みのない画像の平面における対応する位置との関係を表す歪み情報を格納した歪み情報記憶部と、
　前記歪み情報を参照し、前記歪み画像の画素値を、前記対応する位置の色情報を直接取得することにより決定する歪み画像生成部と、
　画素値が決定された順に、前記歪み画像のデータを前記表示装置に出力する出力部と、
　を備えたことを特徴とする請求項１から３のいずれかに記載の画像表示システム。
　前記歪み画像生成部は、原色のうちの１つの色の収差に対応する歪みを有する前記歪み画像を描画することを特徴とする請求項４に記載の画像表示システム。
　前記表示装置は、前記１つの色の画素値として、前記歪み画像の同じ位置の当該色の成分を読み出し出力することを特徴とする請求項５に記載の画像表示システム。
　接眼レンズを介して鑑賞するために、表示対象のソース画像に前記接眼レンズの収差による変化と逆の変化を与えた歪み画像を表示するヘッドマウントディスプレイであって、
　原色によらず共通の歪みを有する歪み画像のデータを取得する画像データ取得部と、
　前記接眼レンズの色収差に応じ、前記歪み画像の異なる位置から原色ごとにサンプリングした結果に基づき画素値を決定し表示パネルに出力する表示部と、
　を備えたことを特徴とするヘッドマウントディスプレイ。
　接眼レンズを介して鑑賞するために、表示対象のソース画像に前記接眼レンズの収差による変化と逆の変化を与えた歪み画像を表示する画像表示システムにおいて、
　原色によらず共通の歪みを有する歪み画像を描画するステップと、
　前記接眼レンズの色収差に応じ、前記歪み画像の異なる位置から原色ごとにサンプリングした結果に基づき画素値を決定し表示パネルに出力するステップと、
　を含むことを特徴とする画像表示方法。
　接眼レンズを介して鑑賞するために、表示対象のソース画像に前記接眼レンズの収差による変化と逆の変化を与えた歪み画像を表示させるコンピュータに、
　原色によらず共通の歪みを有する歪み画像のデータを取得する機能と、
　前記接眼レンズの色収差に応じ、前記歪み画像の異なる位置から原色ごとにサンプリングした結果に基づき画素値を決定し表示パネルに出力する機能と、
　を実現させることを特徴とするコンピュータプログラム。