JP6934957B2

JP6934957B2 - 画像生成装置、基準画像データ生成装置、画像生成方法、および基準画像データ生成方法

Info

Publication number: JP6934957B2
Application number: JP2019559911A
Authority: JP
Inventors: 鈴置　雅一; 雅一鈴置; 雄気唐澤
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2017-12-19
Filing date: 2017-12-19
Publication date: 2021-09-15
Anticipated expiration: 2037-12-19
Also published as: US20210193083A1; WO2019123547A1; JPWO2019123547A1; US11430412B2

Description

この発明は、視点に応じた表示画像を生成する画像生成装置、それに用いるデータを生成する基準画像データ生成装置、および、それらの装置で実現される画像生成方法、基準画像データ生成方法に関する。

対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

表示装置の種類によらず、自由視点に対応する画像表示技術においては、視点の動きに対する表示の変化に高い応答性が求められる。一方で、画像世界の臨場感を高めるには、解像度を高くしたり複雑な計算を実施したりする必要が生じ、画像処理の負荷が増大する。そのため視点の移動に対し表示が追いつかず、結果として臨場感が損なわれてしまうこともあり得る。

本発明はこうした課題に鑑みてなされたものであり、その目的は、視点に対する画像表示の応答性と画質を両立させることのできる技術を提供することにある。

上記課題を解決するために、本発明のある態様は画像生成装置に関する。この画像生成装置は、表示対象のオブジェクトを含む空間を所定の基準視点から見たときの像を表す基準画像のデータを格納する基準画像データ記憶部と、視点に係る情報を取得する視点情報取得部と、空間を当該視点から見たときのオブジェクトの像の位置および形状を表示画像の平面に表す射影部と、表示画像においてオブジェクトの像を構成する画素の値を、基準画像における同じ像を表す画素の値を用いて決定する画素値決定部と、表示画像のデータを出力する出力部と、を備え、基準画像データ記憶部は、対応する基準視点からの視野のうち画像のデータを持たない無効の領域を含む基準画像のデータを格納し、画素値決定部は、オブジェクトの像を構成する画素の値を決定する際、同じ像が有効な領域に表れている基準画像を選択することを特徴とする。

ここで「所定の基準視点」とは、前記空間に１つ以上の所定数、所定の位置座標または所定の分布規則で設定される視点であり、個数や位置は、固定であっても空間内で生じる変化などに応じて時間変化させてもよい。

本発明の別の態様は、基準画像データ生成装置に関する。この基準画像データ生成装置は、表示対象のオブジェクトを含む空間を任意視点から見たときの画像を生成するのに用いる、当該空間を所定の基準視点から見たときの像を表す基準画像のデータを生成する基準画像データ生成装置であって、複数の基準視点に対応する視野で、複数の基準画像を描画する基準画像描画部と、オブジェクト上の同じポイントが複数の基準画像に表れている場合に、いずれかの基準画像からその像のデータを削除するデータ削除部と、基準画像においてデータが削除された領域に、その旨の識別情報を対応づけるインデクスデータを生成し、基準画像と対応づけて出力するインデクスデータ生成部と、を備えたことを特徴とする。

本発明のさらに別の態様は、画像生成方法に関する。この画像生成方法は、表示対象のオブジェクトを含む空間を表す表示画像を生成する画像生成方法であって、視点に係る情報を取得するステップと、空間を前記視点から見たときのオブジェクトの像の位置および形状を表示画像の平面に表すステップと、空間を所定の基準視点から見たときの像を表す基準画像のデータを格納するメモリから当該基準画像のデータを読み出し、表示画像においてオブジェクトの像を構成する画素の値を、基準画像における同じ像を表す画素の値を用いて決定するステップと、表示画像のデータを出力するステップと、を含み、メモリは、対応する基準視点からの視野のうち画像のデータを持たない無効の領域を含む基準画像のデータを格納し、オブジェクトの像を構成する画素の値を決定するステップは、同じ像が有効な領域に表れている基準画像を選択することを特徴とする。

本発明のさらに別の態様は、基準画像データ生成方法に関する。この基準画像データ生成方法は、表示対象のオブジェクトを含む空間を任意視点から見たときの画像を生成するのに用いる、当該空間を所定の基準視点から見たときの像を表す基準画像のデータを生成する基準画像データ生成装置が、複数の基準視点に対応する視野で、複数の基準画像を描画するステップと、オブジェクト上の同じポイントが複数の基準画像に表れている場合に、いずれかの基準画像からその像のデータを削除するステップと、基準画像においてデータが削除された領域に、その旨の識別情報を対応づけるインデクスデータを生成し、基準画像のデータと対応づけて出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、視点に対する画像表示の応答性と画質を両立させることができる。

本実施の形態のヘッドマウントディスプレイの外観例を示す図である。本実施の形態の情報処理システムの構成図である。本実施の形態の画像生成装置がヘッドマウントディスプレイに表示させる画像世界の例を説明するための図である。本実施の形態の情報処理装置の内部回路構成を示す図である。本実施の形態における画像生成装置の機能ブロックを示す図である。本実施の形態における、基準画像のデータを生成する装置の機能ブロックを示す図である。本実施の形態における基準視点の設定例を示す図である。本実施の形態における画素値決定部が、表示画像の画素値の決定に用いる基準画像を選択する手法を説明するための図である。本実施の形態における画素値決定部が、表示画像の画素値を決定する手法を説明するための図である。本実施の形態において画像生成装置が視点に応じた表示画像を生成する処理手順を示すフローチャートである。本実施の形態において複数の基準視点からのオブジェクトの見え方を模式的に示す図である。本実施の形態において、基準画像のデータの一部を削除する機能を有する基準画像生成装置における、基準画像生成部の機能ブロックの構成を示す図である。本実施の形態において基準画像から一部のデータを削除する様子を模式的に示す図である。本実施の形態において基準画像生成装置の基準画像データ生成部がデータの削除を含め基準画像データを生成する処理手順を示すフローチャートである。本実施の形態において画像生成装置の画素値決定部が、一部のデータが削除されている基準画像を用いて画素値を決定する処理手順を示すフローチャートである。本実施の形態において他のオブジェクトの映り込みを考慮したときの画像描画手法を説明するための図である。本実施の形態においてオブジェクト表面における映り込みを正確に表現する態様における、画像生成装置の画素値決定部の機能ブロックの構成を示す図である。本実施の形態において１つの基準画像を用いて映り込み色成分を決定する手法を説明するための図である。図１８で示した手法によって参照される、基準画像上の位置を模式的に示す図である。本実施の形態において、オブジェクトが近い位置に存在することを考慮したときの、映り込み色成分を決定する手法を説明するための図である。本実施の形態において、反射ベクトルに平行なベクトルを、基準視点を中心に転回することによる、基準画像上での探索の様子を示す図である。本実施の形態において、鏡面反射率が大きいオブジェクトの近傍に２つの基準視点が設定されている場合に、単純にそれらを参照して表示画像を描画した場合の問題点について説明するための図である。本実施の形態において、オブジェクトに映り込んで見える別のオブジェクト上のポイントを推定する手法を説明するための図である。本実施の形態において、映り込んで見えるオブジェクトが、推定された位置に存在しない場合を例示する図である。本実施の形態において、映り込んで見えるオブジェクトが、２度目の推定により得られた位置に存在しない場合を例示する図である。本実施の形態において画像生成装置の画素値決定部が、映り込みを考慮して画素値を決定する処理手順を示すフローチャートである。

本実施の形態は基本的に、ユーザの視点に応じた視野で画像を表示する。その限りにおいて画像を表示させる装置の種類は特に限定されず、ウェアラブルディスプレイ、平板型のディスプレイ、プロジェクタなどのいずれでもよいが、ここではウェアラブルディスプレイのうちヘッドマウントディスプレイを例に説明する。

ウェアラブルディスプレイの場合、ユーザの視線は内蔵するモーションセンサによりおよそ推定できる。その他の表示装置の場合、ユーザがモーションセンサを頭部に装着したり、注視点検出装置を用いたりすることで視線を検出できる。あるいはユーザの頭部にマーカーを装着させ、その姿を撮影した画像を解析することにより視線を推定してもよいし、それらの技術のいずれかを組み合わせてもよい。

図１は、ヘッドマウントディスプレイ１００の外観例を示す。ヘッドマウントディスプレイ１００は、本体部１１０、前頭部接触部１２０、および側頭部接触部１３０を含む。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。ヘッドマウントディスプレイ１００に内蔵または外付けされたモーションセンサにより、ヘッドマウントディスプレイ１００を装着したユーザの頭部の回転角や傾きといった姿勢情報を計測することができる。

ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ装置」の一例である。ウェアラブルディスプレイ装置には、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドホン、ヘッドセット（マイクつきヘッドホン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなど任意の装着可能なディスプレイ装置が含まれる。

図２は、本実施の形態に係る情報処理システムの構成図である。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインタフェース２０５により画像生成装置２００に接続される。画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像生成装置２００に提供してもよい。

画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるように表示画像を生成してヘッドマウントディスプレイ１００に出力する。この限りにおいて画像を表示する目的は様々であってよい。例えば画像生成装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界が実世界かに関わらず観賞用として静止画像または動画像を表示させてもよい。表示装置をヘッドマウントディスプレイとした場合、視点を中心に広い角度範囲でパノラマ画像を表示できるようにすれば、表示世界に没入した状態を演出することもできる。

図３は、本実施の形態で画像生成装置２００がヘッドマウントディスプレイ１００に表示させる画像世界の例を説明するための図である。この例ではユーザ１２が仮想空間である部屋にいる状態を作り出している。仮想空間を定義するワールド座標系には図示するように、壁、床、窓、テーブル、テーブル上の物などのオブジェクトを配置している。画像生成装置２００は当該ワールド座標系に、ユーザ１２の視点の位置や視線の方向に応じてビュースクリーン１４を定義し、そこにオブジェクトの像を射影することで表示画像を描画する。

ユーザ１２の視点の位置や視線の方向（以後、これらを包括的に「視点」と呼ぶ場合がある）を所定のレートで取得し、これに応じてビュースクリーン１４の位置や方向を変化させれば、ユーザの視点に対応する視野で画像を表示させることができる。視差を有するステレオ画像を生成し、ヘッドマウントディスプレイ１００において左右の目の前に表示させれば、仮想空間を立体視させることもできる。これによりユーザ１２は、あたかも表示世界の部屋の中にいるような仮想現実を体験することができる。なお図示する例では表示対象を、コンピュータグラフィックスを前提とする仮想世界としたが、パノラマ写真など実世界の撮影画像としたり、それと仮想世界とを組み合わせたりしてもよい。

このような表示に臨場感を持たせるためには、表示対象の空間で生じる物理現象をできるだけ正確に反映させることが望ましい。例えばオブジェクト表面での拡散反射や鏡面反射、環境光など、目に到達する様々な光の伝播を正確に計算することにより、視点の動きによるオブジェクト表面の色味や輝度の変化をよりリアルに表現することができる。これを実現する代表的な手法がレイトレーシングである。しかしながら自由視点を許容する環境では特に、そのような物理計算を高精度に行うことにより、表示までに看過できないレイテンシが生じることが考えられる。

そこで本実施の形態では、特定の視点から見た画像を前もって取得しておき、任意の視点に対する表示画像の画素値の決定に利用する。すなわち表示画像に像として表れるオブジェクトの色を、前もって取得しておいた画像の対応する箇所から抽出することで決定する。以後、事前の画像取得において設定する視点を「基準視点」、基準視点から見た事前に取得する画像を「基準画像」または「基準視点の画像」と呼ぶ。表示画像の描画に用いるデータの一部を、基準画像として事前に取得しておくことにより、視点の移動から表示までのレイテンシを抑えられる。また基準画像の生成段階においては基本的に時間的な制約がないため、レイトレーシングなどの物理計算を、時間をかけて高精度に行うことができる。

基準視点を、表示時の視点に想定される可動範囲に分散させて複数個設定し、それぞれについて基準画像を準備しておけば、複数の視点から見た同じオブジェクトの色味を加味して、表示時の視点に応じたオブジェクトをより高精度に表現できる。より具体的には、表示時の視点が基準視点の一つと一致しているとき、当該基準視点に対応する基準画像の画素値をそのまま採用できる。表示時の視点が複数の基準視点の間にあるとき、当該複数の基準視点に対応する基準画像の画素値を合成することにより、表示画像の画素値を決定する。

図４は画像生成装置２００の内部回路構成を示している。画像生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インタフェース２２８が接続されている。

入出力インタフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インタフェースや、有線又は無線ＬＡＮのネットワークインタフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００などの表示装置へデータを出力する出力部２３６、ヘッドマウントディスプレイ１００からデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。

ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより画像生成装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図５は、本実施の形態における画像生成装置２００の機能ブロックの構成を示している。画像生成装置２００は上述のとおり、電子ゲームを進捗させたりサーバと通信したりする一般的な情報処理を行ってよいが、図５では特に、視点に応じた表示画像のデータを生成する機能に着目して示している。なお図５で示される画像生成装置２００の機能のうち少なくとも一部を、ヘッドマウントディスプレイ１００に実装してもよい。あるいは、画像生成装置２００の少なくとも一部の機能を、ネットワークを介して画像生成装置２００に接続されたサーバに実装してもよい。

また図５および後述する図６に示す機能ブロックは、ハードウェア的には、図４に示したＣＰＵ、ＧＰＵ、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

画像生成装置２００は、ユーザの視点に係る情報を取得する視点情報取得部２６０、表示対象のオブジェクトからなる空間を構築する空間構築部２６２、ビュースクリーンにオブジェクトを射影する射影部２６４、オブジェクトの像を構成する画素の値を決定し表示画像を完成させる画素値決定部２６６、表示画像のデータをヘッドマウントディスプレイ１００に出力する出力部２６８を備える。画像生成装置２００はさらに、空間の構築に必要なオブジェクトモデルに係るデータを記憶するオブジェクトモデル記憶部２５４、および、基準画像のデータを記憶する基準画像データ記憶部２５６を備える。

視点情報取得部２６０は、図４の入力部２３８、ＣＰＵ２２２などで構成され、ユーザの視点の位置や視線の方向を所定のレートで取得する。例えばヘッドマウントディスプレイ１００に内蔵した加速度センサの出力値を逐次取得し、それによって頭部の姿勢を取得する。さらにヘッドマウントディスプレイ１００の外部に図示しない発光マーカーを設け、その撮影画像を図示しない撮像装置から取得することで、実空間での頭部の位置を取得する。

あるいはヘッドマウントディスプレイ１００側に、ユーザの視野に対応する画像を撮影する図示しない撮像装置を設け、ＳＬＡＭ（Simultaneous Localization and Mapping）などの技術により頭部の位置や姿勢を取得してもよい。このように頭部の位置や姿勢を取得できれば、ユーザの視点の位置および視線の方向はおよそ特定できる。ユーザの視点に係る情報を取得する手法は、ヘッドマウントディスプレイ１００を利用する場合に限らず様々に考えられることは当業者には理解されるところである。

空間構築部２６２は、図４のＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６などで構成され、表示対象のオブジェクトが存在する空間の形状モデルを構築する。図３で示した例では、室内を表す壁、床、窓、テーブル、テーブル上の物などのオブジェクトを、仮想空間を定義するワールド座標系に配置する。個々のオブジェクトの形状に係る情報はオブジェクトモデル記憶部２５４から読み出す。空間構築部２６２が構築する空間は固定としてもよいしゲームなどの進捗に応じて変化させてもよい。

ここで空間構築部２６２は、オブジェクトの形状、位置、姿勢を決定すればよく、一般的なコンピュータグラフィクスにおけるサーフェスモデルに基づくモデリングの手法を利用できる。射影部２６４は、図４のＧＰＵ２２４、メインメモリ２２６などで構成され、視点情報取得部２６０が取得した視点の情報に応じてビュースクリーンを設定する。すなわち頭部の位置や顔面の向く方向に対応させてスクリーン座標を設定することにより、ユーザの位置や向く方向に応じた視野で表示対象の空間がスクリーン平面に描画されるようにする。

射影部２６４はさらに、空間構築部２６２が構築した空間内のオブジェクトをビュースクリーンに射影する。この処理も、ポリゴンなどのメッシュを透視変換する一般的なコンピュータグラフィクスの手法を利用できる。画素値決定部２６６は、図４のＧＰＵ２２４、メインメモリ２２６などで構成され、ビュースクリーンに射影されてなるオブジェクトの像を構成する画素の値を決定する。このとき上述のとおり基準画像のデータを基準画像データ記憶部２５６から読み出し、同じオブジェクト上のポイントを表す画素の値を抽出して利用する。

例えば実際の視点の周囲の基準視点に対し生成された基準画像から対応する画素を特定し、実際の視点と基準視点との距離や角度に基づく重みで平均することにより、表示画像の画素値とする。レイトレーシングなどにより時間をかけて正確に基準画像を生成しておくことにより、運用時には、対応する画素値を読み出し加重平均する、という負荷の軽い計算で、レイトレーシングをした場合に近い高精細な画像表現を実現できる。

基準視点は、ユーザの視点の可動範囲を網羅するように分布させることが望ましい。なお基準画像は、レイトレーシングによって描画されたグラフィックス画像に限らず、事前に基準視点から実空間を撮影した画像などでもよい。この場合、空間構築部２６２は撮影対象となった実空間の形状モデルを構築し、射影部２６４は表示時の視点に応じたビュースクリーンに当該形状モデルを射影する。あるいは表示時の視点に応じた視野で撮影対象のオブジェクトの像の位置を決定できれば、空間構築部２６２と射影部２６４の処理を省略することもできる。

なお表示画像を立体視させる場合、射影部２６４および画素値決定部２６６は、左目および右目の視点に対しそれぞれ処理を行ってもよい。出力部２６８は、図４のＣＰＵ２２２、メインメモリ２２６、出力部２３６などで構成され、画素値決定部２６６が画素値を決定して完成させた表示画像のデータを、ヘッドマウントディスプレイ１００に所定のレートで送出する。立体視のためステレオ画像を生成した場合、出力部２６８はそれらを左右につなげた画像を表示画像として生成し出力する。レンズを介して表示画像を鑑賞する構成のヘッドマウントディスプレイ１００の場合、出力部２６８は、当該レンズによる歪みを考慮した補正を表示画像に施してもよい。

図６は、描画処理によって基準画像を生成する場合に、基準画像のデータを生成する装置の機能ブロックを示している。基準画像生成装置３００は、図５の画像生成装置２００の一部としてもよいし、図５の基準画像データ記憶部２５６に格納するデータを生成する装置として独立に設けてもよい。また生成された基準画像のデータと、生成に用いたオブジェクトモデルを含む電子コンテンツとして記録媒体などに格納しておき、運用時に画像生成装置２００におけるメインメモリにロードできるようにしてもよい。基準画像生成装置３００の内部回路構成は、図４で示した画像生成装置２００の内部回路構成と同様でよい。

基準画像生成装置３００は、基準視点を設定する基準視点設定部３１０、表示対象のオブジェクトからなる空間を構築する空間構築部３１６、構築された空間に基づき基準視点ごとに基準画像のデータを生成する基準画像データ生成部３１８、空間の構築に必要なオブジェクトモデルに係るデータを記憶するオブジェクトモデル記憶部３１４、および、生成した基準画像のデータを格納する基準画像データ記憶部３２０を備える。

基準視点設定部３１０は、入力部２３８、ＣＰＵ２２２、メインメモリ２２６などで構成され、表示対象の空間における基準視点の位置座標を設定する。好適には、上述のとおりユーザがとり得る視点の範囲を網羅するように複数の基準視点を分布させる。このような範囲や基準視点の数の適正値は、表示対象の空間の構成、表示の目的、表示に求められる精度、画像生成装置２００の処理性能などによって異なる。このため基準視点設定部３１０は、基準視点の位置座標に係るユーザの入力を受け付けるようにしてもよい。

空間構築部３１６は、ＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６などで構成され、表示対象のオブジェクトが存在する空間の形状モデルを構築する。この機能は図５で示した空間構築部２６２の機能と対応する。一方、図６の基準画像生成装置３００では、レイトレーシングなどによりオブジェクトの像を正確に描画するため、オブジェクトの色や材質を加味したソリッドモデルに基づくモデリング手法を用いる。そのためオブジェクトモデル記憶部３１４には、色や材質などの情報を含むオブジェクトのモデルデータを格納しておく。

基準画像データ生成部３１８は、ＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６などで構成され、基準画像生成部３２２およびデプス画像生成部３２４を含む。基準画像生成部３２２は、基準視点設定部３１０が設定した基準視点ごとに、当該基準視点から見える表示対象のオブジェクトを描画する。好適には正距円筒図法などによる３６０°のパノラマ画像として基準画像を準備しておくことにより、表示時の視点も全方位に自由に変化させることができる。また光線の伝播について時間をかけて計算することにより、各基準視点における見え方を基準画像に正確に表すことが望ましい。

デプス画像生成部３２４は、基準画像生成部３２２が生成した基準画像に対応するデプス画像を生成する。すなわち基準画像の各画素が表すオブジェクトの、ビュースクリーンからの距離（デプス値）を求め、それを画素値として与えることによりデプス画像を生成する。なお基準画像を３６０°のパノラマ画像とした場合、ビュースクリーンは球面となるため、デプス値は当該球面の法線方向におけるオブジェクトまでの距離となる。生成したデプス画像は、表示画像の画素値を決定する際に用いる基準画像の選択に利用される。基準画像データ生成部３１８は、このように生成した基準画像とデプス画像のデータを、基準視点の位置座標と対応づけて基準画像データ記憶部３２０に格納する。

図７は基準視点の設定例を示している。この例ではユーザ１２が立ったときの目の高さの水平面２０ａと、座ったときの目の高さの水平面２０ｂのそれぞれに、黒丸で示すように複数個の基準視点を設定している。一例として水平面２０ａは床から１．４ｍ、水平面２０ｂは床から１．０ｍなどである。またユーザの標準位置（ホームポジション）を中心とする左右方向（図のＸ軸方向）および前後方向（図のＹ軸方向）に、表示内容に応じた移動範囲を想定し、水平面２０ａ、２０ｂ上の対応する矩形領域に基準視点を分布させる。

この例では、矩形領域をＸ軸方向、Ｙ軸方向にそれぞれ４等分する格子の交点に１つおきに基準視点を配置している。また上下の水平面２０ａ、２０ｂで基準視点が重ならないようにずらして配置している。結果として図７に示す例では、上の水平面２０ａにおいて１３点、下の水平面２０ｂにおいて１２点の、合計２５点の基準視点が設定されている。

ただし基準視点の分布をこれに限る主旨ではなく、垂直面なども含めた複数の平面上に分布させてもよいし、球面などの曲面上に分布させてもよい。また分布を均等にせず、ユーザがいる確率の高い範囲には他より高い密度で基準視点を分布させてもよい。また表示対象のオブジェクトを移動させたり変形させたりするような動きを演出する場合、基準視点もそれに応じて移動させてもよい。この場合、各基準視点に対する基準画像は当該動きを反映するような動画像のデータとなる。

また、特定のオブジェクトに対しそれを囲むように複数の基準視点を設定して専用の基準画像を準備しておき、当該オブジェクトを含む空間全体の表示画像生成時に合成するようにしてもよい。この場合、画像生成装置２００は、当該オブジェクトのメッシュを他と同様にビュースクリーンに射影したうえ、画素値の決定には別途準備した、当該オブジェクト専用の基準画像を用いる。このようにすることで、重要なオブジェクトや接近して見られる可能性の高いオブジェクトなどについてより詳細に表現したり、特定のオブジェクトのみを移動させたり変形させたりすることを、基準画像データの量を増大させずに実現できる。

図８は、画像生成装置２００の画素値決定部２６６が、表示画像の画素値の決定に用いる基準画像を選択する手法を説明するための図である。同図はオブジェクト２４を含む表示対象の空間を俯瞰した状態を示している。この空間において、５つの基準視点２８ａ〜２８ｅが設定され、それぞれに対し基準画像のデータが生成されているとする。同図において基準視点２８ａ〜２８ｅを中心とする円は、全天球のパノラマ画像として準備した基準画像のスクリーン面を模式的に示している。

画像表示時のユーザの視点が仮想カメラ３０の位置にあるとすると、射影部２６４は当該仮想カメラ３０に対応するようにビュースクリーンを決定し、オブジェクト２４のモデル形状を射影する。その結果、表示画像における画素とオブジェクト２４の表面上の位置との対応関係が判明する。そして、例えばオブジェクト２４の表面のポイント２６の像を表す画素の値を決定する場合、画素値決定部２６６はまず、当該ポイント２６が像として表れている基準画像を特定する。

ワールド座標系における各基準視点２８ａ〜２８ｅとポイント２６の位置座標は既知であるため、それらの距離は容易に求められる。図ではその距離を、各基準視点２８ａ〜２８ｅとポイント２６を結ぶ線分の長さで示している。またポイント２６を各基準視点のビュースクリーンに射影すれば、各基準画像においてポイント２６の像が表れるべき画素の位置も特定できる。一方、基準視点の位置によっては、ポイント２６がオブジェクトの裏側になったり前にあるオブジェクトに隠蔽されていたりして、基準画像の当該位置にその像が表れないことがある。

そこで画素値決定部２６６は、各基準画像に対応するデプス画像を確認する。デプス画像の画素値は、対応する基準画像に像として現れるオブジェクトの、スクリーン面からの距離を表している。したがって、基準視点からポイント２６までの距離と、デプス画像におけるポイント２６の像が表れるべき画素のデプス値とを比較することで、当該像がポイント２６の像であるか否かを判定する。

例えば基準視点２８ｃからポイント２６への視線上には、オブジェクト２４の裏側のポイント３２があるため、対応する基準画像におけるポイント２６の像が表れるべき画素は、実際にはポイント３２の像を表している。したがって対応するデプス画像の画素が示す値はポイント３２までの距離であり、基準視点２８ｃを始点とする値に換算した距離Ｄｃは、座標値から計算されるポイント２６までの距離ｄｃより明らかに小さくなる。そこでデプス画像から得られる距離Ｄｃと座標値から得られるポイント２６までの距離ｄｃとの差がしきい値以上であるとき、ポイント２６を表す画素値の計算から当該基準画像を除外する。

同様に、基準視点２８ｄ、２８ｅのデプス画像から得られる対応する画素のオブジェクトまでの距離Ｄｄ、Ｄｅは、各基準視点２８ｄ、２８ｅからポイント２６までの距離としきい値以上の差があるとして計算から除外される。一方、基準視点２８ａ、２８ｂのデプス画像から得られる対応する画素のオブジェクトまでの距離Ｄａ、Ｄｂは、各基準視点２８ａ、２８ｂからポイント２６までの距離と略同一であることがしきい値判定により特定できる。画素値決定部２６６は、このようにデプス値を用いたスクリーニングを行うことにより、表示画像の画素ごとに、画素値の算出に用いる基準画像を選択する。

図８では５つの基準視点を例示しているが、実際には図７で示したように分布させた基準視点の全てに対して、デプス値を用いた比較を行う。これにより精度の高い表示画像を描画できる。一方、表示画像の全画素について、２５程度のデプス画像および基準画像を参照することは、装置の処理性能によっては看過できない負荷を産むことも考えられる。そこで画素値の決定に用いる基準画像を上述のように選択するのに先立ち、所定の基準によって選択候補とする基準画像を絞りこんでもよい。例えば仮想カメラ３０から所定の範囲内に存在する基準視点を抽出し、それらからの基準画像に限定してデプス値を用いた選択処理を実施する。

このとき、抽出する基準視点の上限を１０個、２０個などと設定しておき、そのような上限に収まるように、抽出対象の範囲を調整したり、ランダムあるいは所定の規則に基づき取捨選択したりしてもよい。また表示画像上の領域によって、抽出する基準視点の数を異ならせてもよい。例えばヘッドマウントディスプレイを用いて仮想現実を実現する場合、表示画像の中心領域はユーザの視線の向く方向と一致するため、周辺領域より高い精度での描画が望ましい。

そこで表示画像の中心から所定範囲内にある画素については、ある程度多くの基準視点（基準画像）を選択候補とする一方、それより外側にある画素については、選択候補の数を減らす。一例として中心領域は２０個程度、周辺領域は１０個程度の基準画像を選択候補とすることが考えられる。ただし領域数は２つに限らず、３領域以上としてもよい。また表示画像中心からの距離に依存した区分けに限らず、注目されるオブジェクトの像の領域などにより動的に区分けすることも考えられる。このように、オブジェクトの像が写っているか否か以外の要因に基づき、参照する基準画像の数を制御することにより、装置の処理性能や表示に求められる精度、表示の内容などを考慮した最適な条件での表示画像描画が可能となる。

図９は、画素値決定部２６６が表示画像の画素値を決定する手法を説明するための図である。図８に示したように、基準視点２８ａ、２８ｂの基準画像に、オブジェクト２４のポイント２６の像が表されていることが判明しているとする。画素値決定部２６６は基本的に、それらの基準画像におけるポイント２６の像の画素値をブレンドすることにより、実際の視点に対応する表示画像におけるポイント２６の像の画素値を決定する。

ここで、ポイント２６の像の、基準視点２８ａ、２８ｂの基準画像における画素値（カラー値）をそれぞれｃ_１、ｃ_２とすると、表示画像における画素値Ｃを次のように計算する。
Ｃ＝ｗ_１・ｃ_１＋ｗ_２・ｃ_２
ここで係数ｗ_１、ｗ_２はｗ_１＋ｗ_２＝１の関係を有する重み、すなわち基準画像の寄与率を表し、基準視点２８ａ、２８ｂと、実際の視点を表す仮想カメラ３０との位置関係に基づき決定する。例えば仮想カメラ３０から基準視点までの距離が近いほど大きな係数とすることで寄与率を大きくする。

この場合、仮想カメラ３０から基準視点２８ａ、２８ｂまでの距離をΔａ、Δｂとし、ｓｕｍ＝１／Δａ^２＋１／Δｂ^２とおくと、重み係数を次のような関数とすることが考えられる。
ｗ_１＝（１／Δａ^２）／ｓｕｍ
ｗ_２＝（１／Δｂ^２）／ｓｕｍ
上式を、用いる基準画像の数をＮ、基準視点の識別番号をｉ（１≦ｉ≦Ｎ）、仮想カメラ３０からｉ番目の基準視点までの距離をΔｉ、各基準画像における対応する画素値をｃ_ｉ、重み係数をｗ_ｉとして一般化すると次のようになる。ただし計算式をこれに限る主旨ではない。

なお上式においてΔｉが０の場合、すなわち仮想カメラ３０がいずれかの基準視点と一致する場合は、対応する基準画像の画素値に対する重み係数を１、他の基準画像の画素値に対する重み係数を０とする。これにより、当該視点に対し精度よく作成しておいた基準画像を、そのまま表示画像に反映させることができる。

また、重み係数の算出に用いるパラメータは仮想カメラから基準視点までの距離に限らない。例えば仮想カメラ３０からポイント２６への視線ベクトルＶｒに対する、各基準視点からポイント２６への視線ベクトルＶａ、Ｖｂのなす角度θａ、θｂ（０≦θａ，θｂ≦９０°）に基づいてもよい。例えばベクトルＶａおよびＶｂとベクトルＶｒとの内積（Ｖａ・Ｖｒ）、（Ｖｂ・Ｖｒ）を用いて、重み係数を次のように算出する。
ｗ_１＝（Ｖａ・Ｖｒ）／（（Ｖａ・Ｖｒ）＋（Ｖｂ・Ｖｒ））
ｗ_２＝（Ｖｂ・Ｖｒ）／（（Ｖａ・Ｖｒ）＋（Ｖｂ・Ｖｒ））
この式を、上述同様、用いる基準画像の数をＮとし、基準視点ｉからポイント２６への視線ベクトルをＶ_ｉ、重み係数をｗ_ｉとして一般化すると次のようになる。

いずれにしろポイント２６に対する状態が仮想カメラ３０に近い基準視点ほど大きい重み係数となるような算出規則を導入すれば、具体的な計算式は特に限定されない。距離および角度の双方から多角的に「状態の近さ」を評価して重み係数を決定してもよい。さらにオブジェクト２４の、ポイント２６における表面形状を加味してもよい。オブジェクトからの反射光の輝度は一般的に表面の傾斜（法線）に基づく角度依存性を有する。そこで、ポイント２６における法線ベクトルと仮想カメラ３０からの視線ベクトルＶｒとのなす角度と、当該法線ベクトルと各基準視点からの視線ベクトルＶａ、Ｖｂとのなす角度とを比較し、その差が小さいほど重み係数を大きくしてもよい。

また、重み係数を算出する関数自体を、オブジェクト２４の材質や色などの属性によって切り替えてもよい。例えば鏡面反射成分が支配的な材質の場合、強い指向性を有し、視線ベクトルの角度によって観測される色が大きく変化する。一方、拡散反射成分が支配的な材質の場合、視線ベクトルの角度に対する色の変化がそれほど大きくない。そこで、前者の場合は仮想カメラ３０からポイント２６への視線ベクトルＶｒに近い視線ベクトルを持つ基準視点ほど重み係数を大きくするような関数を用い、後者の場合は、全ての基準視点に対し重み係数を等しくしたり、鏡面反射成分が支配的な場合と比較し角度依存性が小さくなるような関数を用いたりしてもよい。

また同じ理由から、拡散反射成分が支配的な材質の場合、表示画像の画素値Ｃの決定に用いる基準画像を間引いたり、実際の視線ベクトルＶｒに所定値以上、近い角度の視線ベクトルを持つ基準画像のみを用いたりしてその数自体を減らし、計算の負荷を抑えてもよい。このように、画素値Ｃの決定規則をオブジェクトの属性によって異ならせる場合、基準画像データ記憶部２５６には、基準画像の像ごとに、それが表すオブジェクトの材質など、属性を表すデータを対応づけて格納しておく。

以上述べた態様により、オブジェクトの表面形状や材質を加味し、鏡面反射による光の指向性などをより正確に表示画像に反映させることができる。なお重み係数の決定には、オブジェクトの形状に基づく計算、属性に基づく計算、仮想カメラから基準視点までの距離に基づく計算、各視線ベクトルのなす角度に基づく計算、のいずれか２つ以上を組み合わせてもよい。

次に、これまで述べた構成によって実現できる画像生成装置の動作について説明する。図１０は画像生成装置２００が視点に応じた表示画像を生成する処理手順を示すフローチャートである。このフローチャートはユーザ操作によりアプリケーション等が開始され初期画像が表示されるとともに、視点の移動を受け付ける状態となったときに開始される。上述のとおり図示する表示処理と並行して電子ゲームなど各種情報処理がなされてもよい。まず空間構築部２６２は、表示対象のオブジェクトが存在する３次元空間をワールド座標系に構築する（Ｓ１０）。

一方、視点情報取得部２６０は、ユーザ頭部の位置や姿勢に基づき、その時点での視点の位置や視線の方向を特定する（Ｓ１２）。次に射影部２６４は、視点に対するビュースクリーンを設定し、表示対象の空間に存在するオブジェクトを射影する（Ｓ１４）。上述のとおりこの処理では、３次元モデルを形成するポリゴンメッシュの頂点を透視変換するなど表面形状のみを考慮すればよい。次に画素値決定部２６６は、そのように射影されたメッシュ内部の画素のうち対象画素を１つ設定し（Ｓ１６）、その画素値の決定に用いる基準画像を選択する（Ｓ１８）。

すなわち上述のように、対象画素が表すオブジェクト上のポイントが像として表れている基準画像を、各基準画像のデプス画像に基づき決定する。そして画素値決定部２６６は、それらの基準画像の基準視点と、実際の視点に対応する仮想カメラとの位置関係やオブジェクトの形状、材質などに基づき重み係数を決定したうえ、各基準画像の対応する画素値を加重平均するなどして対象画素の値を決定する（Ｓ２０）。なお基準画像の画素値から対象画素の画素値を導出する計算は、加重平均以外に統計処理や補間処理として様々に考えられることは当業者には理解されるところである。

Ｓ１８、Ｓ２０の処理を、ビュースクリーン上の全ての画素について繰り返す（Ｓ２２のＮ、Ｓ１６）。全画素の画素値を決定したら（Ｓ２２のＹ）、出力部２６８は当該データを表示画像のデータとしてヘッドマウントディスプレイ１００に出力する（Ｓ２４）。なお左目用、右目用の表示画像を生成する場合は、それぞれについてＳ１６〜Ｓ２２の処理を実施するとともに適宜つなげて出力する。表示を終了させる必要がなければ、次の視点情報を取得したうえで表示画像の生成、出力処理を繰り返す（Ｓ２６のＮ、Ｓ１２〜Ｓ２４）。表示処理を終了させる必要が生じたら全ての処理を終了させる（Ｓ２６のＹ）。

なお図１０の例ではビュースクリーン上の全ての画素について基準画像を用いて画素値を決定したが、表示画像上の領域や視点の位置によって描画手法を切り替えてもよい。例えば視点移動による光や色味の変化を必要としないオブジェクトの像については、従来のテクスチャマッピングを行うのみでもよい。また指向性の高い反射光など、局所的な視点でのみ観測される状態は、周囲の基準画像からは表現しきれないことがある。そのため、該当する範囲に視点が入ったときのみレイトレーシングによる描画に切り替えることにより、基準画像として準備するデータの量を抑えることができる。

以上述べた構成において、複雑な形状のオブジェクトを自由な視点から観察するなど、様々な状況を網羅して正確な画像を即座に描画するには、基準視点の数を増やすことが有効となる。一方で、基準視点を増やすほど表示に必要な基準画像のデータサイズが大きくなり、記憶領域、伝送帯域を圧迫するとともにデータ読みだしの効率が下がることが考えられる。そこで基準画像生成装置３００は基準画像のデータを生成する際、複数の基準視点から共通して見えているオブジェクトの部分については、いずれかの基準画像からデータを削除する。これにより、基準視点の数を増加させても基準画像のデータサイズの増大を抑えられるようにする。

図１１は、複数の基準視点からのオブジェクトの見え方を模式的に示している。同図上段は、オブジェクト４０と複数の基準視点４２ａ、４２ｂ、４２ｃを含む表示対象の空間を俯瞰した状態を示している。この例でオブジェクト４０は、３つの基準視点４２ａ、４２ｂ、４２ｃの配列に相対する面に凹み部分を有している。この場合、その開口部の正面にある基準視点４２ｂからは凹みの内部４４が観測されるが、正面にない基準視点４２ａ、４２ｃからは内部４４が見えない。

図１１の下段は、各基準視点４２ａ、４２ｂ、４２ｃに対し得られる基準画像４６ａ、４６ｂ、４６ｃのうちオブジェクト４０の像の部分を示している。高さ方向を考慮すると、オブジェクト４０の像のうち網掛けされた部分４８は、基準画像４６ｂにのみ表される。換言すれば、当該部分４８以外の部分は、他の基準画像４６ａ、４６ｃにも表されている。したがって、例えば基準画像４６ｂのうち網掛けされた部分４８以外のデータを削除しても、その他の基準画像４６ａ、４６ｃを用いればオブジェクト４０を描画することが可能である。

図１２は、基準画像のデータの一部を削除する機能を有する基準画像生成装置３００における、基準画像生成部３２２の機能ブロックの構成を示している。基準画像生成部３２２は、基準画像描画部３２６、データ削除部３２８、およびインデクスデータ生成部３３０を備える。基準画像描画部３２６は、図６について上述したように、基準視点設定部３１０が設定した基準視点ごとに、当該基準視点から見える表示対象のオブジェクトを描画する。データ削除部３２８は、同一オブジェクト上の同じポイントが複数の基準画像に表れている場合に、いずれかの基準画像からその部分のデータを削除する。

例えば図１１に示した基準画像４６ｂのうち、網掛けされた部分４８以外の領域のデータを削除する。このとき画像平面を所定サイズに分割してなるタイル画像単位で削除対象を決定することで、表示画像生成時のデータ読み出しの効率を上げることができる。インデクスデータ生成部３３０は、基準画像上のタイル画像の位置座標または位置を示す識別情報と、タイル画像ごとの画像データの実体とを対応づけるインデクスデータを基準画像ごとに生成する。データが削除されたタイル画像の位置座標に対しては、データが無効である旨を示す識別情報を対応づける。

図１３は、基準画像から一部のデータを削除する様子を模式的に示している。まず基準画像５０ａは、図１１における基準画像４６ｂに対応している。画像データの削除は、点線で示すように画像平面を所定サイズに分割してなるタイル画像単位とする。図示する例では、対応する基準視点のみから見えている部分４８を含むタイル画像を残し、それ以外のタイル画像を削除する。基準画像５０ｂにおいて、削除するタイル画像を網掛けで示している。

さらに、残したタイル画像のみをつなげた基準画像データ５２を生成するとともに、元の基準画像の平面におけるタイル画像の位置座標と画像データの本体とを対応づけるインデクスデータを生成し、それらをまとめて基準画像のデータとする。同図ではインデクスデータとして３つの対応づけを矢印で模式的に示しているが、実際には画像平面上の位置座標と、画像データの本体を格納した記憶領域のアドレスなどとを、タイル画像ごとに対応づければよい。

これにより、基準視点を多く設定することで複雑な形状のオブジェクトや他のオブジェクトと重なっているオブジェクトについても、基準画像を用いた描画が可能になるとともに、それによる基準画像のデータサイズの増大を抑えることができる。このようなデータの削除やデータ整形の処理は、基準画像生成装置３００が、基準画像の生成とともに実施する。なおこれまで述べたデータ圧縮手法では、基準視点が空間的に近いことによる基準画像の冗長性を利用したが、基準画像を複数の画像フレームからなる動画データとした場合、時間的な冗長性を利用することができる。

例えば動画としても動きのないオブジェクトや、動いていてもその速度が小さいオブジェクトの場合は特に、前のフレームにおけるタイル画像を流用しても、それを用いて描画する表示画像の精度は維持できる。したがってデータ削除部３２８は、同一の基準視点から見た動画像のフレーム間で、同じオブジェクトの像が表れているタイル画像については、いずれかのフレームからデータを削除してよい。この場合のデータ構造も、図１３で示したのと同様でよい。

図１４は、基準画像生成装置３００の基準画像データ生成部３１８がデータの削除を含め基準画像データを生成する処理手順を示すフローチャートである。まず基準画像生成部３２２の基準画像描画部３２６は、上述のとおりレイトレーシングなどの手法により基準視点から見たオブジェクトを描画することで、基準画像を生成する（Ｓ３０）。この際、デプス画像生成部３２４は、各基準画像に対応するデプス画像を生成する。

次に基準画像生成部３２２のデータ削除部３２８は、図１３の基準画像５０ａに示したように、各基準画像を所定サイズのタイル画像に分割する（Ｓ３２）。次にデータ削除部３２８は、各タイル画像を構成する画素ごとに、それにより表されているオブジェクト上のポイントが、いくつの基準視点から見えているかを表すパラメータ（以後、「ＶＣ（Visibility Count）」と呼ぶ）を計算する（Ｓ３４）。この処理は、図１０に示したフローチャートのＳ１８における、表示画像の画素値の決定に用いる基準画像を決定する処理と同様でよい。

すなわち各基準視点からオブジェクト上のポイントまでの距離と、基準画像に対応づけて生成されたデプス画像が示すデプス値との差がしきい値より小さいとき、その基準視点から当該ポイントが見えていると判定し、パラメータＶＣに１を加算する。１つの基準視点のみから見えているポイントを表す画素は、ＶＣが１となる。複数の基準視点から見えているポイントを表す画素は、ＶＣが１より大きくなる。

したがって、タイル画像を構成する全ての画素のＶＣが１より大きい場合、当該タイル画像に表される像は、図１３の基準画像５０ｂの網掛けされたタイル画像のように、他の基準画像のデータを用いて描画することが可能なため、削除対象とする（Ｓ３６のＹ、Ｓ３８）。ＶＣが１の画素を含むタイル画像は、少なくとも一部において、その基準画像でのみ表されているオブジェクトの部分が含まれるため、削除しない（Ｓ３６のＮ）。

このようなタイル画像ごとの評価を、基準画像を構成する全てのタイル画像に対して繰り返す（Ｓ４０のＮ、Ｓ３４〜Ｓ３８）。なおＳ３４〜Ｓ３８の処理は、Ｓ３０で生成した基準画像のうち、一定間隔の基準視点ごとなど所定の基準で選択した基準画像に対し実施する。あるいは、全ての基準画像に対しＶＣを画素ごとに計算し、タイル画像を削除する対象とする基準画像を後から決定してもよい。例えば全ての基準画像で削除するタイル画像の数がなるべく均等になるようにしてもよい。

このような場合、オブジェクト上の同じポイントを表す画素のＶＣは基準画像間で共通のため、それを流用することにより、全ての基準画像の全画素に対しＳ３４の処理を実施する必要はない。そのようにして全てのタイル画像について削除の是非を評価したら（Ｓ４０のＹ）、インデクスデータ生成部３３０は削除対象外のタイル画像と元の基準画像平面における位置座標とを対応づけたインデクスデータを生成し、タイル画像データと対応づけて基準画像データ記憶部３２０に格納する（Ｓ４２）。

この場合、削除対象のタイル画像を含まない基準画像についても、タイル画像とインデクスデータからなるデータ構造とすることにより、描画処理において、削除の有無にかかわらず基準画像データを一律に扱うことができる。またインデクスデータにおいて、削除対象となったタイル画像に対応する位置座標には、データが無効である旨の識別情報を対応づけておく。このように生成された基準画像データを用い、画像生成装置２００の画素値決定部２６６は、表示画像の画素値Ｃを次の式により決定する。

ここで、タイル画像を削除しない場合の式１と同様、用いる基準画像の数をＮ、基準視点の識別番号をｉ（１≦ｉ≦Ｎ）、各基準画像における対応する画素値をｃ_ｉとしている。一方、式３における重み係数ｗ’_ｉは、和を１として正規化する前の値であり、視点間の距離やオブジェクト上のポイントに対する角度等に依存する。またＢ_ｉは、各基準画像において対応する画素を含むタイル画像が有効であれば１、無効であれば０を示すフラグであり、インデクスデータにおけるタイル画像の位置座標にデータが無効である旨の識別情報が対応づけられていれば０、それ以外であれば１とする。

なおタイル画像のデータを削除する際、基準画像生成部３２２は、削除したタイル画像上の画素の位置と、それと同じオブジェクト上のポイントを表す他の基準画像上の画素の位置とを対応づけたインデクスデータを別途作成してもよい。このようにすると、複数の基準画像で画素値のデータが共有され、画像データとしては圧縮される一方、実質的には全ての基準画像上の画素が、実体となる画素値を有していることになる。この場合は、式１により画素値Ｃを決定できる。

なおこのような基準画像の冗長性を利用したデータ圧縮は、オブジェクトからの光線の角度依存性が低い、拡散反射成分が支配的な材質の場合は特に有効である。一方、指向性の強い光が生じるオブジェクトや環境においては、同じオブジェクトを表す基準画像でもできるだけ多くの基準視点からの画像を確保しておくことにより、視点の移動に応じた緻密な変化を表現できる。したがって基準画像生成装置３００は、複数の基準視点からオブジェクト上の同一のポイントが見える場合に加え、各基準画像において当該ポイントを表す画素値にしきい値以上の差がない場合を条件に、削除対象のデータを決定してもよい。

図１５は、画像生成装置２００の画素値決定部２６６が、一部のデータが削除されている基準画像を用いて画素値を決定する処理手順を示すフローチャートである。この処理は、図１０のＳ２０の処理に対応する。したがってその前段において、画素値の決定に使用する基準画像が判明しているものとする。画素値決定部２６６はまず、使用する基準画像のうちの１つを対象に、ビュースクリーン上の対象画素に対応する画素を含むタイル画像の位置を特定する（Ｓ７０）。そして基準画像に対応するインデクスデータを参照し、当該タイル画像が有効か否かを判定する（Ｓ７２）。

有効である場合（Ｓ７２のＹ）、すなわちタイル画像の位置座標にデータの実体が対応づけられている場合、当該データを読み出し（Ｓ７４）、そのうちの対応画素の値を取得する（Ｓ７６）。タイル画像が無効の場合（Ｓ７２のＮ）、すなわち当該タイル画像が基準画像のデータから削除されている場合はデータの読み出しは行わない。使用する基準画像の全てについてＳ７０〜Ｓ７６の処理を繰り返し（Ｓ７８のＮ）、それが完了したら（Ｓ７８のＹ）、Ｓ７６で取得した画素値の加重平均を算出することにより最終的な画素値を決定する（Ｓ８０）。

なお上述の式３は、Ｓ７２の判定結果が有効な場合にＢ_ｉ＝１、無効な場合にＢ_ｉ＝０とすることにより、図示する処理手順を一度に実現していることになる。また動画像のフレームにおいて時間方向の冗長性によりタイル画像を削除する場合は、Ｓ７２においてタイル画像が無効であることが判定されたとき、それより前のフレームにおける対応する画素のデータを読み出すことにより加重平均の算出に用いればよい。

これまで述べた手法によれば、ユーザの視点に対応する仮想カメラから見えるオブジェクト表面の色を、それに近い基準視点から見たオブジェクトの色で近似することにより、自由視点の画像を応答性よく描画できる。一方、オブジェクト表面の鏡面反射率が高く、他のオブジェクトが映り込むような状況においては、実際には視点の位置によって映り込む対象や位置が変化するため、近傍の基準視点における画像からの色の近似のみでは違和感を与えることが考えられる。

図１６は、他のオブジェクトの映り込みを考慮したときの画像描画手法を説明するための図である。同図（ａ）に示すように、Ｌ字型のオブジェクト６０が、金属など鏡面反射率が高い材質の場合、その前にある別のオブジェクト６２の像６３が映り込む。像６３は、実際には視点の位置によって移動するが、これまで述べた手法によって、固定された基準視点から見た画像で近似すると、重みづけによる多少の変化はあるものの、像６３が明確に移動するような変化にはならず、鑑賞者に違和感を与え得る。

そこで、同図（ｂ）に示すように、まず映り込みのない状態、すなわちオブジェクト６０の本来の色を表す画素値を取得したうえ、映り込みの色を別途取得して合成することにより、同図（ａ）のような映り込みによる像６３を表現する。映り込みのない状態のオブジェクト６０の描画には、これまで述べたのと同様の手法を用いることができる。ただしこの場合、準備する基準画像にも映り込みを描画しないでおく。また後述するように、映り込みを描画する手法によっては、像６３の映り込みを表した基準画像を別途準備する。

図１７は、オブジェクト表面における映り込みを正確に表現する態様における、画像生成装置２００の画素値決定部２６６の機能ブロックの構成を示している。画素値決定部２６６は、オブジェクト色成分決定部２７０、映り込みオブジェクト位置推定部２７２、映り込み色成分決定部２７４、および色合成部２７６を含む。オブジェクト色成分決定部２７０は、図９のポイント２６のように、対象画素が表すオブジェクト上のポイント本来の色を表す値を決定する。ここで本来の色とは当然、周囲の光の状態などによる色味の変化を加味した情報であり、図９で示した手法によって基準画像に基づき決定できる。

映り込みオブジェクト位置推定部２７２は、対象画素が表すオブジェクト上のポイントに映り込んでいる別のオブジェクト上の、描画対象の３次元空間における位置を推定する。このような場合、レイトレーシングなどの従来技術では、仮想カメラからの視線ベクトルの正反射方向にオブジェクトの存在を探索することになるが、本実施の形態では、基準画像、あるいはそれに対応するデプス画像を利用することにより、軽い処理負荷での位置推定を可能にする。具体例は後に述べる。

映り込み色成分決定部２７４は、対象画素に映り込んでいる別のオブジェクト上の、３次元空間における位置に基づき、基準画像において当該箇所が表されている画素位置を特定する。そしてその位置の画素値を参照することにより、映り込みによる色の値を決定する。ここで用いる基準画像は映り込みのない状態、すなわちオブジェクト本来の色が表された画像である。したがってこの処理は、基準画像を構成する円筒において、本来参照すべき画素位置の、略裏側の画素位置を参照していることになる。

色合成部２７６は、オブジェクト色成分決定部２７０が決定した描画対象オブジェクト本来の色成分と、映り込み色成分決定部２７４が決定した、映り込みによる色成分を合成する。例えば所定のアルファ値を用いて加重平均をとることによりアルファブレンド合成を行う。なお、映り込みオブジェクト位置推定部２７２、映り込み色成分決定部２７４、および色合成部２７６の機能は、描画対象のオブジェクトの鏡面反射率がしきい値以上の場合など、他のオブジェクトの映り込みを表現すべき状況においてのみ有効としてもよい。

次に、映り込みオブジェクト位置推定部２７２および映り込み色成分決定部２７４が、描画対象のオブジェクトに映り込んでいる別のオブジェクト上の箇所を特定し、その色を基準画像から取得する手法について説明する。図１８は、１つの基準画像を用いて映り込み色成分を決定する手法を説明するための図である。同図は図１６で示した状況を想定し、ユーザの視点に対応する仮想カメラ３０、描画対象のオブジェクト６０、それに映り込んでいるオブジェクト６２を含む表示対象の空間を俯瞰した状態を示している。

基準視点６４は、例えばオブジェクト６０の最近傍の基準視点であり、同図ではそれを中心とする円を基準画像６６としている。この基準画像は上述のとおり映り込みのない状態を表す画像である。したがってオブジェクト色成分決定部２７０は、例えばオブジェクト６０上のポイントＰの像を描画する際、基準画像６６上の位置Ｄの画素値を用いることにより、ポイントＰの本来の色成分を決定する。ただしこの処理では、ポイントＰが画像として表れている複数の基準画像を用いて、式１による加重平均により色の値を求めてよい。

一方、映り込みオブジェクト位置推定部２７２は、ポイントＰに映り込んでいるオブジェクト６２上のポイントＱの位置を３次元空間で推定する。図示するようにポイントＱは、ポイントＰにおけるオブジェクト６０表面の法線ベクトルｎに対し、仮想カメラ３０からの視線ベクトルＶｒと同じ平面で対象なベクトル（以後、「反射ベクトル」と呼ぶ）Ｓがオブジェクト６２の表面に到達するポイントである。そこで基準視点６４を始点とし、反射ベクトルＳと平行なベクトルＳ’がオブジェクト６２の表面に到達するポイントＱ’の位置を求め、本来のポイントＱの推定位置とする。

基準視点がポイントＰに近いほど、ポイントＱ’はポイントＱに近くなる。またオブジェクト６２がポイントＰから遠いほど、映り込む面積に対してポイントＱとＱ’の距離は無視できる程度の割合となる。この場合、映り込みオブジェクト位置推定部２７２は、ポイントＱ’の位置座標を直接求める必要はなく、視線ベクトルＶｒに基づき反射ベクトルＳを求め、それと平行なベクトルＳ’の、基準視点６４からの方位を求めればよい。これにより映り込み色成分決定部２７４は、求められた方位に対応する基準画像６６上の位置Ｆを特定し、ポイントＱ’の色を取得できる。

図１９は、図１８で示した手法によって参照される、基準画像上の位置を模式的に示している。基準画像６６は、基準視点６４を中心とする３６０°の方位を表す画像のため、正距円筒図法によれば、図示するように縦横を緯度、経度とする展開図で表すことができる。上述のとおりこの態様における基準画像には、オブジェクト６０の像におけるオブジェクト６２の映り込みを表さない。基準画像６６のうち位置Ｄは、描画対象のポイントＰを基準視点６４から見たときの本来の色を表す。また位置Ｆは、図１８で説明したように、ポイントＰに映り込むべきオブジェクト６２上のポイントＱに近似できるポイントＱ’の色を表す。

前者はオブジェクト色成分決定部２７０が参照し、後者は映り込み色成分決定部２７４が参照することにより、それぞれの色の決定に用いる。色合成部２７６はそれらを適宜ブレンドすることにより、最終的な画素値を決定する。なお映り込み色成分決定部２７４は、位置Ｆを中心とする所定の範囲６８の色を用いて、映り込みによる色を決定してよい。例えばオブジェクト６０に設定される表面の粗さや材質に応じた設定周波数で、範囲６８の色をローバスフィルタによりフィルタリングしたうえで得られた位置Ｆの色を、映り込み成分の色としてよい。あるいは範囲６８からランダムに選択した色を映り込み成分の色としてよい。

このようにすることで、オブジェクト６０の表面の状態や材質によって、適切にぼけた状態で映り込みを表現できる。あるいはこのような映り込みを表現するために、複数段階の解像度で基準画像を準備しておき、オブジェクト６０の表面粗さに応じて、参照する基準画像を切り替えてもよい。図１８で示した手法は、オブジェクト６２表面の３次元空間での位置を探索する必要がないため、軽い処理負荷で視点に応じた映り込みを表現できる。

一方、オブジェクト６２がポイントＰや基準視点６４から近い位置に存在すると、それらに映るオブジェクト６２の像の面積が大きくなるため、本来のポイントＱと、反射ベクトルＳから推定したポイントＱ’との差が見かけ上、大きくなり、近似精度が悪化する。図２０は、オブジェクト６２がポイントＰや基準視点６４から近い位置に存在することを考慮したときの、映り込み色成分を決定する手法を説明するための図である。同図は図１８と同様の空間を示しているが、オブジェクト６２がオブジェクト６０や基準視点６４の近傍に存在する。

この例で図１９と同様に、基準視点６４を始点とし、反射ベクトルＳと平行なベクトルＳ’を定義すると、当該ベクトルＳ’はオブジェクト６２とは交わらず、背景など別のオブジェクト７０上のポイントＱ_０に到達する。この結果をそのままポイントＰの色の決定に用いれば、本来とは別のオブジェクト７０が映り込んだ状態となってしまう。仮にベクトルＳ’がオブジェクト６２表面に到達しても、基準画像上で本来のポイントＱを表す画素位置Ｆとはかけ離れた画素位置が得られるなどして、色表現の精度が低下することが考えられる。

そこで、基準視点６４を中心にベクトルＳ’の方位を転回させることにより、本来映り込んでいるオブジェクト６２上のポイントＱに到達する方位を探索する。図２１は、反射ベクトルＳに平行なベクトルＳ’を、基準視点を中心に転回することによる、基準画像上での探索の様子を示している。基準画像６６は図１９で示したのと同様、オブジェクト６０とオブジェクト６２の像が、本来の色で表されている。また位置Ｄは、描画対象のポイントＰに対応する。

さらに位置Ｆ_０は、反射ベクトルＳに平行なベクトルＳ’が到達するオブジェクト上の位置Ｑ_０に対応する。図２０に示した例では、位置Ｆ_０は、本来映り込んでいるオブジェクト６２の像から外れた場所、すなわち背景など図示しないオブジェクト７０の像の上にある。基準視点６４を中心にベクトルＳ’を転回することは、矢印Ａに示すように、基準画像６６上で位置Ｆ_０から位置Ｄの方向に探索を行うことに相当する。

転回したベクトルが、本来映り込んでいるオブジェクト６２上のポイントＱに到達するときの方位がわかれば、それに対応する基準画像６６上の位置Ｆも特定できる。このため、基準画像６６に対応するデプス画像を参照し、探索経路における基準視点から各オブジェクトまでの距離を取得していく。図２０に示す３次元空間において、基準視点６４の位置座標は既知のため、当該距離の情報を用いれば、ベクトルＳ’を転回したときに到達する、各オブジェクト表面上のポイントＱ_ｍの位置座標も判明する。

なお図２０ではポイントＱ_ｍを１つのみ示しているが、実際にはベクトルＳ’の転回によってオブジェクト表面上を移動する。ここで、ポイントＰを始点としポイントＱ_ｍを終点とするベクトルＰＱ_ｍを定義すると、当該ベクトルＰＱ_ｍと反射ベクトルＳのなす角度が最小になるときのポイントＱ_ｍが、本来、ポイントＰに映り込んでいるポイントＱである。例えば次のように評価値εを定義し、それが最小になるときのポイントＱ_ｍを求める。

そして基準視点６４からポイントＱへの方位に基づき、ポイントＱが像として表れている基準画像６６上の位置Ｆが求められる。映り込み色成分決定部２７４は、図１９で示したケースと同様に、基準画像６６上の位置Ｆ、あるいはそれを中心とする所定の範囲６８の色を用いて、映り込みによる色を決定する。

図２０、２１で示した手法は、図１８、１９で示した手法より負荷が大きくなるが、映り込みによる色をより正確に求められる。ただし上述のとおり、他のオブジェクトに映り込んでいるオブジェクトの距離によっては過度な処理となり得るため、空間構築部２６２が表示対象の空間を構築した際に判明するオブジェクト同士の距離や、表示に求められる精度などに応じて、両者の手法を適応的に切り替えてよい。

次に、２つの基準画像を用いて映り込み色成分を決定する手法を説明する。図２２は、鏡面反射率が大きいオブジェクトの近傍に２つの基準視点が設定されている場合に、単純にそれらを参照して表示画像を描画した場合の問題点について説明するための図である。同図はオブジェクト８０、８２ａ、８２ｂ、８２ｃと仮想カメラ３０を含む空間を俯瞰した状態を示している。

オブジェクト８０は例えば鏡のように、鏡面反射率の高い材質とする。この空間においてオブジェクト８０の近傍に、基準視点８４ａ、８４ｂが設定されているとする。上述のとおりオブジェクト８０に映り込む対象は、視点の位置によって異なり、例えば基準視点８４ａからはオブジェクト８２ｃが、基準視点８４ｂからはオブジェクト８２ａが見える。結果として基準視点８４ａの画像にはオブジェクト８２ｃの像が表れ（基準画像８６ａ）、基準視点８４ｂの画像にはオブジェクト８２ａの像が表れる（基準画像８６ｂ）。

このような基準画像を用いて、基準視点８４ａ、８４ｂの中間にある仮想カメラ３０からオブジェクト８０を見た画像を描画すると、本来、オブジェクト８２ｂの映り込みを表現した画像９０が得られるところ、基準画像８６ａ、８６ｂを重ね合わせた画像８８が得られてしまう。また基準画像における像は固定されているため、仮想カメラ３０が移動しても両者を合成してなる画像上の映り込みの像は移動せず、臨場感が損なわれる。

そこで、例えば図示するような仮想カメラ３０の位置において、オブジェクト８０上のポイントＰに映り込んで見えるオブジェクト８２ｂ上の位置Ｑを推定する。そして上述の手法同様、基準視点８４ａ、８４ｂの基準画像のうちオブジェクト８２ｂ上の位置Ｑが表れている位置Ｆａ、Ｆｂを参照し、ポイントＰにおける映り込みの色を決定する。この手法においては、各基準視点８４ａ、８４ｂに対し、映り込みのない基準画像を生成するとともに、映り込みを表す基準画像、およびそれに表れているオブジェクトの本来の位置を表すデータをあらかじめ取得しておく。

図２３は、仮想カメラ３０の位置においてオブジェクト８０に映り込んで見えるオブジェクト８２ｂ上のポイントＱを推定する手法を説明するための図である。基準画像を用いない従来のレイトレーシングの手法では、オブジェクト８２ｂ表面へ到達するまで、反射ベクトルＳの方向にオブジェクトの存在を探索していく必要がある。一方、本実施の形態では、映り込みを表す基準画像の生成時に、オブジェクト８０上のポイントＰに映り込んでいるオブジェクト８２ａ、８２ｃ上の位置の情報を、各基準視点８４ａ、８４ｃからの視線ベクトルの正反射方向の探索により取得しておく。

例えば基準視点８４ａの基準画像を生成する際、太線矢印で示すように当該視点から位置Ｐを見る視線の正反射の方向にレイトレーシングを行うことにより、オブジェクト８２ｃ上のポイントＰｃの位置が取得される。基準視点８４ｂの基準画像を生成する際も同様に、当該視点から位置Ｐを見る視線の正反射方向にレイトレーシングを行うことにより、オブジェクト８２ａ上のポイントＰａの位置が取得される。

基準視点８４ａ、８４ｂと仮想カメラ３０の位置関係を考慮すれば、仮想カメラ３０から見てポイントＰに映り込んでいるオブジェクトは、オブジェクト８２ａ、８２ｃの中間にあることがわかる。この原理を利用して、取得済みのオブジェクト上のポイントＰａ、Ｐｃから、オブジェクト８２ｂ上のポイントＱを推定する。例えば図示するように、図の左から基準視点８４ａの視線ベクトル、仮想カメラの視線ベクトル、基準視点８４ｂの視線ベクトル、という順番で並んでいる場合、ポイントＰに映り込んでいるオブジェクト上のポイントＰａ、Ｑ、Ｐｃは、対応する視線ベクトルを、ポイントＰの法線ベクトルを中心に反転させたベクトル上にあることが推定される。

そこで例えば次の式により、ポイントＱに近似できるポイントＰｂを求める。
Ｐｂ＝ｗａ・Ｐａ＋ｗｃ・Ｐｃ（式５）
なおこの式でのＰｂ、Ｐａ、Ｐｃは、各ポイントの位置座標を示している。またｗａ、ｗｃはｗａ＋ｗｃ＝１を満たす重み係数であり、例えば対応する基準視点８４ａ、８４ｂと仮想カメラ３０との距離に基づき決定する。

このときある基準視点（例えば基準視点８４ａ）から映り込んで見えるオブジェクト上の位置（例えば位置Ｐｃ）に乗算する重み係数は、当該基準視点に仮想カメラ３０が近づくほど大きくなり、仮想カメラ２０が同位置になったときに１になるような変数とする。この手法によれば、基準視点および仮想カメラの位置関係に基づき、映り込んでいるオブジェクト上のポイントの「位置」を合成していることになる。ただし重み係数の決定基準をこれに限定する趣旨ではなく、オブジェクト８０からの距離など別の要因を加味してもよい。

このようにして仮想カメラ３０から映り込んで見えるオブジェクト８２ｂ上のポイントＱを近似するポイントＰｂを取得したら、図１９で示したのと同様に、オブジェクト本来の色を表す基準画像のうち、ポイントＰｂが表されている位置Ｆａ、Ｆｂ、あるいはそれらを中心とする所定範囲の色を用いて、位置Ｐに映り込む色を決定する。ただしこの場合、参照先の基準画像が２つあるため、仮想カメラ３０と基準視点８４ａ、８４ｂの位置関係に基づく重み係数などを用いて色の加重平均を求める。

なお上述のとおり、基準視点８４ａ、８４ｂから映り込んで見えるオブジェクト表面のポイントの位置情報は、映り込みを表現した基準画像を生成する際に判明するため、基準画像生成装置３００が、当該基準画像に対応づけてデプス画像と同様の形式で生成しておく。これにより画像生成装置２００は、表示画像の描画時に、仮想カメラ３０の位置に依存した位置合成を即座に行える。また図示する例では２つの基準画像を用いたが、場合によっては３つ以上の基準画像を用いても同様の処理で映り込みの色を決定できる。

図２３で示した手法は、オブジェクト８０に映り込む可能性のあるオブジェクト８２ａ、８２ｂ、８２ｃが、およそ一列に並んでいることを想定している。一方、式５による１度の位置合成で求めたポイントＰｂには、実際にはオブジェクトが存在しない場合が考えられる。図２４は、仮想カメラ３０から映り込んで見えるオブジェクトが、推定された位置に存在しない場合を例示している。

図２３で示したように、仮想カメラ３０と基準視点８４ａ、８４ｂとの位置関係と、各基準視点８４ａ、８４からオブジェクト８０上の点Ｐに映り込んで見えるオブジェクト８２ａ、８２ｃ上のポイントＰａ、Ｐｃに基づき、ポイントＰｂが推定される。この位置にオブジェクトが存在するか否かは、基準視点８４ａ、８４ｂの基準画像における位置Ｆａ、Ｆｂのデプス値とポイントＰｂの位置との比較により判明する。例えば図示するように、デプス値が、ポイントＰｂの位置より奥にあるオブジェクト８２ｄ上の位置Ｐａ’、Ｐｃ’を示しているとする。

この場合、仮想カメラ３０からはオブジェクト８２ｄ上のポイントＰｂ’が映り込んで見えることが想定される。そこで、１度の推定で得られたポイントＰｂと、対応するデプス値が表す位置がしきい値以上の差を有する場合、当該デプス値が表す位置Ｐａ’、Ｐｃ’を、式５のＰａ、Ｐｃに置き換えることにより２度目の推定を行い、新たなポイントＰｂ’を取得する。ただし重み係数ｗａ、ｗｂは、１度目の演算とは独立して決定してよい。そして基準視点８４ａ、８４ｂの基準画像のうち、新たに得られたポイントＰｂ’が表されている位置Ｆａ’、Ｆｂ’などの色を用いて、位置Ｐへ映り込む色を決定する。

一方、新たに得られたポイントＰｂ’の位置にも、やはりオブジェクトが存在しない場合もある。図２５は、仮想カメラ３０から映り込んで見えるオブジェクトが、２度目の推定により得られた位置に存在しない場合を例示している。この場合も、ポイントＰｂ’の位置と、基準視点８４ａ、８４ｂの基準画像における位置Ｆａ’、Ｆｂ’におけるデプス値との比較により、当該位置にオブジェクトは存在せず、それより奥にオブジェクト８２ｅがあることがわかる。そこでデプス値から得られる位置Ｐａ”、Ｐｃ”を、式５のＰａ、Ｐｃに置き換えることにより３度目の推定を行い、新たなポイントＰｂ”を取得する。これにより、基準画像の対応する位置の色を用いて位置Ｐへ映り込む色を決定する。

このように位置推定の演算を繰り返すことによって、映り込んでいるオブジェクトを比較的広範囲で容易に探索できる。ただし推定処理を繰り返すことにより映り込んでいるオブジェクトまでの距離が大きくなると、仮想カメラ３０の移動に対する像の変化は小さくなり、厳密な演算が必要なくなることが考えられる。したがって推定処理の反復回数には上限を設けてもよい。この場合、基準画像のデプス値から得られる位置Ｐａ”、Ｐｃ”の色を直接合成するなどして色を決定してもよいし、一般的な探索手法であるレイマーチングなどそれ以外の手法に切り替えてもよい。

図２６は、画像生成装置２００の画素値決定部２６６が、映り込みを考慮して画素値を決定する処理手順を示すフローチャートである。このフローチャートは図１０のＳ２０の処理に置き換えることができ、対象画素ごとに実行する。まずオブジェクト色成分決定部２７０は、映り込みのない状態の基準画像を用いて、オブジェクト自体の色を表す値を決定する（Ｓ５０）。この処理は図１０のＳ２０の処理と同様であり、これにより光の状態やオブジェクトの材質などを加味したベースの色が得られる。

対象画素が、鏡面反射率がしきい値より小さいなど映り込みを表現しなくてよい画素の場合、そのまま処理を終了する（Ｓ５２のＮ）。映り込みを表現する場合（Ｓ５２のＹ）、映り込みオブジェクト位置推定部２７２は、ユーザの頭部の位置や姿勢に基づく仮想カメラ３０の視点に応じて、対象画素に映り込んでいるオブジェクト上のポイントの、表示対象の空間での位置を推定する（Ｓ５４）。具体的には、図１８〜２１に示すように、仮想カメラ３０の反射ベクトルと平行かつ基準視点を始点とするベクトルを用いて近似するポイントを決定したり、当該ベクトルを転回させつつ基準画像のデプス値に基づき探索したりする。

あるいは図２２〜２５に示すように、複数の基準画像を生成する際に得られた映り込みポイントの位置を、仮想カメラと基準視点の位置関係に基づき合成する。そして映り込み色成分決定部２７４は、推定された位置に対応する、基準画像上での画素位置を取得し（Ｓ５６）、当該画素位置、あるいはそれを中心とする所定範囲の色を用いて映り込みの色成分を決定する（Ｓ５８）。色合成部２７６は、Ｓ５０で決定したオブジェクト本来の色と、Ｓ５８で決定した映り込みによる色を合成して、最終的な画素値を決定する（Ｓ６０）。

以上述べた本実施の形態によれば、任意の視点からの画像を表示する技術において、あらかじめ設定された基準視点に対する画像のデータを準備しておく。そして表示画像の描画時に、準備しておいた基準画像から同じオブジェクトを表す画素の値を取得することにより、表示画像の画素値を決定する。画素値の算出には、実際の視点と基準視点との位置関係やオブジェクトの属性に基づく規則を導入する。基準画像は視点に応じた表示とは別のタイミングで時間をかけて生成できるため、高品質なものを準備できる。表示時にはこの高品質な画像から値を引いてくることにより、時間をかけることなく高品質な画像を提示できる。

また、基準視点が近い基準画像ではオブジェクト上の同じ部分が表れる可能性が高いことを利用して、このような重複部分のデータを基準画像から削除しておく。これにより、基準画像のデータサイズを圧縮できるとともに、データサイズを増大させずに基準視点を増やすことができる。結果として、表現対象の空間の構成やオブジェクト形状が複雑化しても、表示画像の精密さと、画像データの扱いなどを含む描画処理の軽さを両立させることができる。

さらに、鏡面反射率の高いオブジェクトに対する他のオブジェクトの映り込みを表現するため、映り込みのない状態の基準画像を用いて決定した色に、別途取得した、映り込み分の色を合成する。当該基準画像には、映り込んでいるオブジェクトの本来の位置における像も表されているため、その像を参照して映り込み分の色を決定する。この際必要になる、映り込んでいるオブジェクトの本来の位置についても、基準画像を生成する際に得られる各種情報を利用して取得する。これにより、レイトレーシングなど従来の技術と比較して格段に軽い負荷で、視点の移動に応じて映り込みも移動する臨場感のある画像を表現できる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば本実施の形態では、一旦、ベースとしてオブジェクト本来の色を決定したあと、他のオブジェクトによる映り込みの色を合成した。この場合、同じ基準画像のうち映り込んでいるオブジェクトの像が表されている部分を参照していた。一方、合成する色の決定のために参照する画像を、別途準備した画像とすることで、映り込み以外の画像を自由に合成することができる。例えば参照先の画像として、オブジェクトが動く動画を準備すれば、ベースとなる画像が静止画であっても、一部のオブジェクトが動いている様を表現できる。この場合に必要な画像データのサイズは、基準画像を全て動画にするのと比較して格段に小さくなる。

１００ヘッドマウントディスプレイ、２００画像生成装置、２２２ＣＰＵ、２２４ＧＰＵ、２２６メインメモリ、２３６出力部、２３８入力部、２５４オブジェクトモデル記憶部、２５６基準画像データ記憶部、２６０視点情報取得部、２６２空間構築部、２６４射影部、２６６画素値決定部、２６８出力部、２７０オブジェクト色成分決定部、２７２映り込みオブジェクト位置推定部、２７４映り込み色成分決定部、２７６色合成部、３００基準画像生成装置、３１０基準視点設定部、３１４オブジェクトモデル記憶部、３１６空間構築部、３１８基準画像データ生成部、３２０基準画像データ記憶部、３２２基準画像生成部、３２４デプス画像生成部、３２６基準画像描画部、３２８データ削除部、３３０インデクスデータ生成部。

以上のように本発明は、ヘッドマウントディスプレイ、ゲーム装置、画像表示装置、携帯端末、パーソナルコンピュータなど各種情報処理装置や、それらのいずれかを含む情報処理システムなどに利用可能である。

Claims

表示対象のオブジェクトを含む空間を所定の基準視点から見たときの像を表す基準画像のデータを格納する基準画像データ記憶部と、
視点に係る情報を取得する視点情報取得部と、
前記空間を前記視点から見たときの前記オブジェクトの像の位置および形状を表示画像の平面に表す射影部と、
前記表示画像において前記オブジェクトの像を構成する画素の値を、前記基準画像における同じ像を表す画素の値を用いて決定する画素値決定部と、
前記表示画像のデータを出力する出力部と、
を備え、
前記基準画像データ記憶部は、対応する基準視点からの視野のうち画像のデータを持たない無効領域を含む基準画像のデータを格納し、
前記画素値決定部は、前記オブジェクトの像を構成する画素の値を決定する際、前記基準画像における同じ像を表す画素が前記無効領域に含まれるとき、その他の基準画像を用いて前記画素の値を決定することを特徴とする画像生成装置。
前記基準画像データ記憶部は前記基準画像のデータとして、当該基準画像を所定のサイズで分割してなるタイル画像のデータと、画像平面上の前記タイル画像の位置と前記タイル画像のデータとを対応づけたインデクスデータを格納し、
前記画素値決定部は、前記基準画像における同じ像を表す画素を含むタイル画像を前記インデクスデータに基づき参照することにより、当該画素の値を取得することを特徴とする請求項１に記載の画像生成装置。
前記無効領域は前記タイル画像の単位で設定されるとともに、前記インデクスデータは、無効領域のタイル画像に対応する位置に、データが無効である旨の識別情報を対応づけ、
前記画素値決定部は、前記インデクスデータを参照して、前記基準画像のうち前記同じ像を表す画素を含むタイル画像が有効である基準画像を選択することを特徴とする請求項２に記載の画像生成装置。
前記基準画像データ記憶部は、表示対象の空間の全てのオブジェクトの像が、少なくとも１つの基準画像に表れることを保証して前記無効領域が設定されている、複数の前記基準画像のデータを格納することを特徴とする請求項１から３のいずれかに記載の画像生成装置。
前記基準画像データ記憶部は、前記無効領域を含む基準画像と含まない基準画像のデータを格納し、前記無効領域を含む基準画像は、対応する基準視点の位置に基づき決定されていることを特徴とする請求項１から４のいずれかに記載の画像生成装置。
前記基準画像データ記憶部は、複数の動画フレームからなる基準画像のデータを格納し、当該データは、前記無効領域を含むフレームと含まないフレームのデータで構成されることを特徴とする請求項１から４のいずれかに記載の画像生成装置。
表示対象のオブジェクトを含む空間を任意視点から見たときの画像を生成するのに用いる、当該空間を所定の基準視点から見たときの像を表す基準画像のデータを生成する基準画像データ生成装置であって、
複数の前記基準視点に対応する視野で、複数の前記基準画像を描画する基準画像描画部と、
前記オブジェクト上の同じポイントが複数の前記基準画像に表れている場合に、いずれかの基準画像からその像のデータを削除するデータ削除部と、
前記基準画像においてデータが削除された領域に、その旨の識別情報を対応づけるインデクスデータを生成し、前記基準画像のデータと対応づけて出力するインデクスデータ生成部と、
を備えたことを特徴とする基準画像データ生成装置。
前記データ削除部は、前記基準画像を所定のサイズで分割してなるタイル画像単位で、データを削除する対象を決定することを特徴とする請求項７に記載の基準画像データ生成装置。
前記データ削除部は、データを削除する対象となる基準画像を、対応する基準視点の位置に基づき決定することを特徴とする請求項７または８に記載の基準画像データ生成装置。
前記基準画像描画部は、前記基準画像として複数の画像フレームからなる動画像を生成し、
前記データ削除部はさらに、同じ基準視点から見た前記動画像の画像フレームのうち、オブジェクト上の同じポイントが表れている画像フレームのいずれかからその像のデータを削除することを特徴とする請求項７から９のいずれかに記載の基準画像データ生成装置。
表示対象のオブジェクトを含む空間を表す表示画像を生成する画像生成方法であって、
視点に係る情報を取得するステップと、
前記空間を前記視点から見たときの前記オブジェクトの像の位置および形状を表示画像の平面に表すステップと、
前記空間を所定の基準視点から見たときの像を表す基準画像のデータを格納するメモリから当該基準画像のデータを読み出し、前記表示画像において前記オブジェクトの像を構成する画素の値を、前記基準画像における同じ像を表す画素の値を用いて決定するステップと、
前記表示画像のデータを出力するステップと、
を含み、
前記メモリは、対応する基準視点からの視野のうち画像のデータを持たない無効領域を含む基準画像のデータを格納し、前記オブジェクトの像を構成する画素の値を決定するステップは、前記基準画像における同じ像を表す画素が前記無効領域に含まれるとき、その他の基準画像を用いて前記画素の値を決定することを特徴とする画像生成方法。
表示対象のオブジェクトを含む空間を任意視点から見たときの画像を生成するのに用いる、当該空間を所定の基準視点から見たときの像を表す基準画像のデータを生成する基準画像データ生成装置が、
複数の前記基準視点に対応する視野で、複数の前記基準画像を描画するステップと、
前記オブジェクト上の同じポイントが複数の前記基準画像に表れている場合に、いずれかの基準画像からその像のデータを削除するステップと、
前記基準画像においてデータが削除された領域に、その旨の識別情報を対応づけるインデクスデータを生成し、前記基準画像のデータと対応づけて出力するステップと、
を含むことを特徴とする基準画像データ生成方法。
表示対象のオブジェクトを含む空間を表す表示画像を生成するコンピュータに、
視点に係る情報を取得する機能と、
前記空間を前記視点から見たときの前記オブジェクトの像の位置および形状を表示画像の平面に表す機能と、
前記空間を所定の基準視点から見たときの像を表す基準画像のデータを格納するメモリから当該基準画像のデータを読み出し、前記表示画像において前記オブジェクトの像を構成する画素の値を、前記基準画像における同じ像を表す画素の値を用いて決定する機能と、
前記表示画像のデータを出力する機能と、
を実現させ、
前記メモリは、対応する基準視点からの視野のうち画像のデータを持たない無効領域を含む基準画像のデータを格納し、前記オブジェクトの像を構成する画素の値を決定する機能は、前記基準画像における同じ像を表す画素が前記無効領域に含まれるとき、その他の基準画像を用いて前記画素の値を決定することを特徴とするコンピュータプログラム。
表示対象のオブジェクトを含む空間を任意視点から見たときの画像を生成するのに用いる、当該空間を所定の基準視点から見たときの像を表す基準画像のデータを生成するコンピュータに、
複数の前記基準視点に対応する視野で、複数の前記基準画像を描画する機能と、
前記オブジェクト上の同じポイントが複数の前記基準画像に表れている場合に、いずれかの基準画像からその像のデータを削除する機能と、
前記基準画像においてデータが削除された領域に、その旨の識別情報を対応づけるインデクスデータを生成し、前記基準画像と対応づけて出力する機能と、
を実現させることを特徴とするコンピュータプログラム。