JP7212519B2 - 画像生成装置および画像を生成する方法 - Google Patents

Description

本発明は、視点に対応した表示画像を生成する画像生成装置および画像を生成する方法に関する。

対象空間を任意の視点から見るための画像表示システムは一般的である。例えば、ヘッド・マウント・ディスプレイにパノラマ画像を表示するためのシステムが開発されており、このシステムは、ヘッド・マウント・ディスプレイを装着しているユーザが顔を向けたときに、パノラマ画像が視線の方向と対応して表示されるように構成される。ヘッド・マウント・ディスプレイを利用することにより、画像への没入感が高まり、ゲームなどのアプリケーションの操作性を向上させることができる。ヘッド・マウント・ディスプレイを装着しているユーザが、身体運動によって、画像として表示されている空間の内部を仮想的に歩き回ることができるウォークスルーシステムも開発されている。

表示装置のタイプに応じて、任意の視点に適応するための画像表示技術では、視点の移動から生じる表示の変化に対する高い応答性が必要である。他方では、画像世界における臨場感を高めるために、解像度を上げなければならず、複雑な計算を行わなければならない。このため画像処理の負荷が増大する。これは、画像が視点の移動に付いて行けず、結果として、臨場感が損なわれうることを意味する。

本発明は、これらの問題に鑑みてなされたものであり、本発明の目的は、視点に対する画像表示の応答性と画質とのバランスをとることができる技術を提供することである。

上記の問題を解決するために、本発明の一態様は、請求項１に記載の画像生成装置に関するものである。この画像生成装置は、表示されるべきオブジェクトを含む空間が複数の規定の基準視点から見られたときの画像を各々表す基準画像のデータを格納し、基準画像のうちの１つまたは複数における同じ画像を表す画素の値を使用して、出力部が表示画像のデータを出力する前に、表示画像においてオブジェクトの画像を構成する画素の値を決定する画素値決定部において使用すべき１つまたは複数の基準画像を選択する。

ここで、「規定の基準視点」とは、上記空間における規定の位置座標または規定の分配規則により設定される１つまたは複数の視点の規定の数であり、その数および／または位置は固定されていてもよく、例えば空間において発生する変化に従って経時的に変化してもよい。

本発明の別の態様は、請求項１０に記載の画像を生成する方法に関するものである。

前述の構成要素の任意の組み合わせ、または、例えば、方法、装置、システム、コンピュータプログラム、データ構造、記録媒体の中での本発明の表現の変化も、本発明の有効な態様であることに留意されたい。

本発明によれば、視点に対する画像表示の応答性と画質とのバランスをとることが可能である。

本発明のさらなるそれぞれの局面および特徴は、添付の特許請求の範囲で定義される。

次に、本発明の実施形態を、例として、添付の図面を参照して説明する。

本発明の実施形態によるヘッド・マウント・ディスプレイの外観の一例を示す図である。 本発明の実施形態による情報処理システムのレイアウト図である。 本発明の実施形態による画像生成装置によってヘッド・マウント・ディスプレイに表示される画像世界の一例を説明した図である。 本発明の実施形態による情報処理装置の内部回路レイアウトを示す図である。 本発明の実施形態による画像生成装置の機能ブロックを示す図である。 本発明の実施形態による基準画像データを生成するための装置の機能ブロックを示す図である。 本発明の実施形態による基準視点の設定例を示す図である。 本発明の実施形態によるボクセルカウント配列を説明した図である。 本発明の実施形態によるレンダリングされた場面例についてのボクセルカウント配列を説明した図である。 本発明の実施形態による画素値決定部が、表示画像の画素値の決定に使用される基準画像を選択するための技法を説明した図である。 本発明の実施形態による多角形識別方式を説明した図である。 本発明の実施形態による多角形識別方式を説明した図である。 本発明の実施形態による画素値決定部が表示画像の画素値を決定するための技法を説明した図である。 本発明の実施形態による画像生成装置が視点に対応した表示画像を生成するための処理順序を示す流れ図である。 本発明の実施形態による画像を生成する方法を示す流れ図である。

画像生成装置および画像を生成する方法が開示される。以下の説明においては、本発明の実施形態の十分な理解を提供するためにいくつかの具体的詳細を提示する。しかし、これらの具体的詳細が本発明を実施するために用いられなくてもよいことが、当業者には明らかであろう。逆にいうと、当業者に公知の具体的詳細は、必要に応じて、明瞭にするために省かれる。

本発明の実施形態は、基本的に、ユーザの視点に対応した視野に画像を表示する。このため、画像を表示するのに使用される装置のタイプは特に制限されず、ウェアラブルディスプレイ、フラット・パネル・ディスプレイ、プロジェクタなどのいずれでも用いることができるが、本明細書では、ウェアラブルディスプレイの一例としてヘッド・マウント・ディスプレイについて説明する。

ウェアラブルディスプレイの場合には、組み込まれた動きセンサによってユーザの視線をおおよそ推測することができる。他の表示装置の場合には、ユーザが頭部に動きセンサを装着することによって、または注視点検出装置を使用して赤外線の反射を検出することによって視線を検出することができる。あるいは、ユーザの頭部にマーカが取り付けられ、このマーカの姿勢が取り込まれた画像を分析することによって、またはこのような技術の任意の組み合わせによって視線が推測されてもよい。

図１に、ヘッド・マウント・ディスプレイ１００の外観の一例を示す。ヘッド・マウント・ディスプレイ１００は、本体１１０と、前頭部接触部１２０と、側頭部接触部１３０とを含む。ヘッド・マウント・ディスプレイ１００は、ディスプレイに表示される静止画像やビデオなどを鑑賞したり、ヘッドホンから出力される音声や音楽などを聴いたりするためにユーザの頭部に装着される表示装置である。ヘッド・マウント・ディスプレイ１００に組み込まれるか、または外付けされた動きセンサにより、ヘッド・マウント・ディスプレイ１００が装着されたユーザの頭部の回転角または傾きに関する姿勢情報を測定することができる。

ヘッド・マウント・ディスプレイ１００は、「ウェアラブル表示装置」の一例である。ウェアラブル表示装置は、狭義のヘッド・マウント・ディスプレイ１００に限定されず、眼鏡、眼鏡型ディスプレイ、眼鏡型カメラ、ヘッドホン、ヘッドセット（マイクロホン付きヘッドホン）、イヤホン、イヤリング、耳装着型カメラ、帽子、カメラ付き帽子、またはヘアバンドなどの、任意のやり方で装着されうる表示装置も含む。

図２は、本発明の実施形態による情報処理システムのレイアウト図である。ヘッド・マウント・ディスプレイ１００は、無線通信、ＵＳＢ（登録商標）、ＨＤＭＩ（登録商標）などの周辺機器を接続するために使用されるインターフェース２０５によって画像生成装置２００と接続される。画像生成装置２００は、ネットワークを介してサーバにさらに接続されうる。この場合、サーバは画像生成装置２００に、多数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを提供しうる。

画像生成装置２００は、ヘッド・マウント・ディスプレイ１００が装着されたユーザの頭部の位置および姿勢に従って視点の位置および／または視線の方向を特定し、対応した視野を提示するように表示画像を生成し、この表示画像をヘッド・マウント・ディスプレイ１００に出力する。これに関して、画像表示は、様々な目的を有しうる。例えば、画像生成装置２００は、ゲームのステージを構成する仮想世界を、電子ゲームが進行する間に表示画像として生成してもよいし、または仮想世界を現実世界とは別に理解するための静止画像もしくはビデオ画像を表示のために生成してもよい。表示装置１００がヘッド・マウント・ディスプレイである場合、視点を中心とする広い角度範囲でパノラマ画像を表示できるようにすることにより、表示された世界への没入状態を作り出すことができる。

図３は、本発明の実施形態による画像生成装置２００によってヘッド・マウント・ディスプレイ１００に表示された画像世界の一例を説明した図である。この例では、ユーザ１２が仮想空間を構成する部屋にいるという状態が作成される。壁、床、窓、テーブル、テーブル上の物品などのオブジェクトは、仮想空間を定義する世界座標系に図示されているように配置される。画像生成装置２００は、この世界座標系におけるユーザ１２の視点の位置およびユーザの視線の方向に従ってビュー画面１４を定義し、ビュー画面上にオブジェクトの画像を投影して表示画像を描画する。

ユーザ１２の視点の位置およびユーザの視線の方向（以下ではこれらを包括的に「視点」と呼ぶこともある）が規定の速度で取得され、ビュー画面１４の位置および方向がそれに従って変更されれば、画像をユーザの視点に対応する視野で表示することができる。視差を有する立体画像が生成され、ヘッド・マウント・ディスプレイ１００において左目と右目との前に表示されれば、仮想空間を立体的に見ることもできる。このようにして、ユーザ１２は、ユーザが表示世界の部屋に没入しているかのように仮想現実感を体験することができる。図示の例では、表示画像はコンピュータグラフィックスに基づく仮想世界を表しているが、表示画像は、パノラマ写真などによって取り込まれた現実世界の画像とすることもでき、それと仮想世界を合成することもできることに留意されたい。

この表示に臨場感を与えるために、表示空間で生成される物理画像は、好ましくは、可能な限り表示対象を正確に反映するように作られる。例えば、オブジェクト表面での拡散／反射または鏡面反射や、周囲光など、目に届く様々な光の伝播を正確に計算することによって、視点の移動に起因するオブジェクト表面の色合いや明るさの変化をより本物らしく表すことができる。これを達成するための１つの典型的な技法が、レイトレーシングである。しかし、このような物理計算を高精度で実行することは、特に、ユーザが視点を自由に選択できる環境では、表示前に無視できないほどの待ち時間を伴いうる。

したがって、本発明の実施形態では、指定された視点から見た画像が予め取得され、任意の視点の表示画像の画素値を決定するために使用される。具体的には、表示画像に画像として表示されるオブジェクトの色は、予め取得された画像内の対応する位置から色を抽出することによって決定される。以下では、前の画像取得で設定される視点を「基準視点」と呼び、基準視点から見た、予め取得される画像を「基準画像」と呼ぶ。表示画像を描画するために使用されるデータの一部を基準画像として予め取得することによって、視点の移動から表示までの待ち時間を低減させることができる。また、基準画像の事前生成に関しては本質的に時間制限がないので、レイトレーシングなどの物理計算を、経時的に高精度で行うことができる。

表示中のユーザの視点移動に利用可能と想定される範囲内に分配された複数の基準視点を設定し、その視点でのそれぞれの基準画像を作成することにより、複数の視点から見た同じオブジェクトの彩色を考慮に入れることができ、表示中の視点に従って、一層高い精度でオブジェクトを表すことが可能になる。より具体的には、表示中の視点が基準視点のうちの１つと一致すれば、この基準視点に対応する基準画像の画素値を直接採用することができる。表示中の視点が複数の基準視点の中にある場合には、当該の複数の基準視点に対応する基準画像の画素値（またはそれらのサブセット）を組み合わせることにより、表示画像の画素値が決定される。

図４に、画像生成装置２００の内部回路レイアウトを示す。画像生成装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（中央処理装置））２２２と、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（グラフィックス処理装置））２２４と、メインメモリ２２６とを含む。これら様々な部分は、バス２３０を介して相互に接続されている。加えて、バス２３０には入出力インターフェース２２８も接続されている。

入出力インターフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺インターフェースや有線もしくは無線ＬＡＮのネットワークインターフェースを含む通信部２３２と、ハード・ディスク・ドライブや不揮発性メモリなどの記憶部２３４と、ヘッド・マウント・ディスプレイ１００などの表示装置にデータを出力する出力部２３６と、ヘッド・マウント・ディスプレイ１００からデータを入力する入力部２３８と、磁気ディスク、光ディスク、半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０とが接続されている。

ＣＰＵ２２２は、記憶部２３４に格納されたオペレーティングシステムを動作させることにより画像生成装置２００全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出され、メインメモリ２２６にロードされるか、または通信部２３２を介してダウンロードされる様々なプログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能およびレンダリングプロセッサの機能を有し、ＣＰＵ２２２からの描画コマンドに従って描画処理を行い、表示画像を図示されていないフレームバッファに格納する。フレームバッファに格納された表示画像は、次いでビデオ信号に変換され、出力部２３６に出力される。メインメモリ２２６は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ランダム・アクセス・メモリ））を含み、処理に必要なプログラムおよびデータを格納する。

図５に、本発明の一実施形態における画像生成装置２００の機能ブロックを示す。上述したように、画像生成装置２００は、電子ゲームの進行やサーバとの通信などの一般的な情報処理を行う必要があるが、図５では、特に、視点に対応した表示画像のデータを生成する機能に焦点をあてている。図５には、表示装置１００と一体化された画像生成装置２００が示されている。よって、画像生成装置２００の機能の少なくとも一部はヘッド・マウント・ディスプレイ１００にインストールされうることが理解されよう。あるいは、画像生成装置２００の機能の少なくとも一部は、図２に示すように別個の娯楽装置にインストールされていてもよく、かつ／またはネットワークを介して画像生成装置２００に接続されうる前述のサーバにインストールされていてもよい。

また、後述する図５および図６に示す機能ブロックについては、ハードウェア的には、これらの機能ブロックを、図４に示すＣＰＵ、ＧＰＵ、様々なメモリなどの構成要素により実装することができ、ソフトウェア的には、これらの機能ブロックは、例えば記録媒体からメモリにロードされる、データ入力機能、データ保持機能、画像処理機能、通信機能などの様々な機能を果たすプログラムを実行することができる。当業者には理解されるように、これらの機能ブロックは、ハードウェアのみによる、ソフトウェアのみによる、またはハードウェアとソフトウェアの組み合わせによる様々な形態で実現することができ、したがって、これらの形態のいずれにも限定されない。

画像生成装置２００は、ユーザの視点に関する情報を取得する視点情報取得部２６０と、表示されるべきオブジェクトを含む空間を構築する空間構築部２６２と、オブジェクトを仮想ビュー画面１４上に投影する投影部２６４と、オブジェクトの画像を構成する画素の値を決定して表示画像を完成させる画素値決定部２６６と、表示画像のデータをヘッド・マウント・ディスプレイ１００に出力する出力部２６８とを含む。画像生成装置２００は、空間の構築に必要なオブジェクトモデルに関するデータを格納するオブジェクトモデル記憶部２５４と、基準画像のデータを格納する基準画像データ記憶部２５６とをさらに含む。

視点情報取得部２６０は、図４の入力部２３８と、ＣＰＵ２２２などとを含み、ユーザの視点の位置および／またはユーザの視線の方向を規定の速度で取得する。例えば、視点情報取得部２６０は、ヘッド・マウント・ディスプレイ１００に組み込まれた加速度センサの出力値を連続して取得して、頭部の姿勢を取得する。加えて、現実空間における頭部の位置は、ヘッド・マウント・ディスプレイ１００の外部に、図示されていない発光マーカを設け、図示されていない画像取り込み装置からマーカの取り込み画像を取得することによって取得される。

あるいは、頭部の位置および／または姿勢は、ヘッド・マウント・ディスプレイ１００側に、ユーザの視野に対応する画像を取り込む、図示されていない画像取り込み装置を設けることによって、ＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｓａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ（同時の位置推定および地図作成））などの技法によって取得することもできる。このようにして頭部の位置および／または姿勢が取得されると、ユーザの視点の位置およびユーザの視線の方向を近似的に特定することができる。ユーザの視点に関する情報を取得するための様々な技法が実現可能であり、ヘッド・マウント・ディスプレイ１００が用いられる場合だけに限定されないことが当業者には理解されよう。

空間構築部２６２は、図４のＣＰＵ２２２と、ＧＰＵ２２４と、メインメモリ２２６などとを含み、表示されるべきオブジェクトが存在する空間の形状モデルを構築する。図３に示す例では、部屋の内部を表す壁、床、窓、テーブル、テーブル上の物品などのオブジェクトが、仮想空間を定義する世界座標系に配置されている。個々のオブジェクトの形状に関する情報がオブジェクトモデル記憶部２５４から読み出される。空間構築部２６２によって構築された空間は、固定されていてもよいし、例えばゲームの進行に従って変更されてもよい。

ここで、空間構築部２６２は、オブジェクトの形状、位置、および姿勢を決定する必要があり、通常のコンピュータグラフィックスにおけるサーフェスモデルに基づくモデリングの技法を用いてもよい。投影部２６４は、図４のＧＰＵ２２４と、メインメモリ２２６などとを含んでいてよく、視点情報取得部２６０によって取得された視点情報に従ってビュー画面を設定する。具体的には、表示空間は、ユーザの頭部の位置および／またはユーザの顔が向いている方向と対応した画面座標を設定することによって、ユーザの位置および／またはユーザが向いている方向に対応した視野で画面の平面上に描画される。

加えて、投影部２６４は、空間構築部２６２によって構築された空間内のオブジェクトを仮想ビュー画面上に投影する。この処理は、例えばポリゴンメッシュの透視変換のための通常のコンピュータグラフィックスの技法を利用することもできる。画素値決定部２６６は、図４のＧＰＵ２２４と、メインメモリ２２６などとを含み、ビュー画面上に投影されるオブジェクトの画像を構成する画素の値を決定する。上述したように、この時点で、基準画像データ記憶部２５６から基準画像のデータが読み出され、同じオブジェクト上の点を表す画素の値が抽出され、用いられる。

例えば、実際の視点の近くの基準視点に関して生成された基準画像から対応する画素が特定され、実際の視点と基準視点との距離および／または角度に基づいて重み付きで平均することによって、表示画像の画素値として使用される。レイトレーシングなどの方法によって経時的に予め正確な基準画像を生成することにより、画像表現を、動作中に、レイトレーシングが用いられるときと近い高精度で、ただしわずかな負荷しか課さない計算で、すなわち、対応する画素値を読み出し、重み付け平均を行うことによって、実現することができる。

好ましくは、基準視点は、ユーザの視点の可能な移動の範囲をカバーするように分配される。基準画像は、レイトレーシングによって描画されたグラフィックス画像だけに限定されず、例えば、予め基準視点から現実空間を撮影することによって得られた画像とすることもできることに留意されたい。この場合、空間構築部２６２は、撮影された現実空間の形状モデルを構築し、投影部２６４は、表示中に視点に従ってビュー画面上にこの形状モデルを投影する。あるいは、撮影されているオブジェクトの画像の位置を、表示中に視点に対応する視野において決定することができる場合には、空間構築部２６２および投影部２６４の処理を省略することもできる。

表示画像が立体的に見える場合には、投影部２６４および画素値決定部２６６は、左目と右目との視点に関してそれぞれの処理を行いうることに留意されたい。

出力部２６８は、図４のＣＰＵ２２２と、メインメモリ２２６と、出力部２３６などとを含み、規定の速度でヘッド・マウント・ディスプレイ１００に、画素値を決定する画素値決定部２６６の結果として完成された表示画像のデータを送り出す。立体視のための立体画像が生成される場合、出力部２６８は、左右の関連付けられた画像を生成し、それらを表示画像として出力する。レンズを通して表示画像を楽しむように構築されたヘッド・マウント・ディスプレイ１００の場合、出力部２６８は、このレンズからの歪みを考慮に入れることによって表示画像を補正しうる。

図６に、基準画像データが描画処理によって生成される場合の、基準画像データを生成するための装置の機能ブロックを示す。基準画像生成装置３００は、図５の画像生成装置２００の一部として設けられてもよいし、または図５の基準画像データ記憶部２５６に格納されるデータを生成する装置として独立して設けられてもよい。また、このように生成された基準画像のデータと、その生成に使用されたオブジェクトモデルとを含む電子コンテンツも、例えば記録媒体に予め格納され、動作中に画像生成装置２００内のメインメモリにロードされうるように構成されていてよい。基準画像生成装置３００の内部回路レイアウトは、図４に示す画像生成装置２００の内部回路レイアウトと同じであってよい。

基準画像生成装置３００は、基準視点を設定する基準視点設定部３１０と、表示のためのオブジェクトを含む空間を構築する空間構築部３１６と、このように構築された空間に基づいて基準視点ごとの基準画像のデータを生成する基準画像データ生成部３１８と、空間の構築に必要なオブジェクトモデルに関するデータを格納するオブジェクトモデル記憶部３１４と、このように生成された基準画像データを格納する基準画像データ記憶部３２０とを含む。

基準視点設定部３１０は、入力部２３８と、ＣＰＵ２２２と、メインメモリ２２６などとを含み、表示空間における基準視点の位置座標を設定する。好適には、上述したように、ユーザが採用することができる視点の範囲をカバーするように複数の基準視点が分配される。このような基準視点の範囲または数の適切な値は、表示空間の構成、表示の目的、表示に必要な精度、および画像生成装置２００の処理性能などに依存する。したがって、基準視点設定部３１０は、基準視点の位置座標に関するユーザ入力を受け入れるように構成されうる。

空間構築部３１６は、ＣＰＵ２２２と、ＧＰＵ２２４と、メインメモリ２２６などとを含み、表示されるべきオブジェクトが存在する空間の形状モデルを構築するのに使用される。この機能は、図５に示す空間構築部２６２の機能に相当する。一方で、図６の基準画像生成装置３００は、レイトレーシングなどによりオブジェクトの画像を正確に描画するために、オブジェクトの色や材質を考慮に入れるソリッドモデルに基づくモデリングの技法を用いる。このために、色や材質などの情報を含むオブジェクトのモデルデータがオブジェクトモデル記憶部３１４に格納される。

基準画像データ生成部３１８は、ＣＰＵ２２２と、ＧＰＵ２２４と、メインメモリ２２６などとを含み、基準画像生成部３２２と、深度画像生成部３２４とを含む。基準画像生成部３２２は、基準視点設定部３１０によって設定された基準視点ごとに、当該の基準視点から見た表示されるべきオブジェクトを描画する。好適には、表示中の視点は、例えば、正距円筒図法によって得られた３６０°のパノラマ画像として基準画像を作成することによって、すべての向きで自由に変更することができる。また、好適には、それぞれの基準点における視野方向も、経時的な光線の伝播の計算によって、基準画像上に正確に示される。

本発明の一実施形態において、深度画像生成部３２４は、基準画像生成部３２２によって生成された基準画像に対応する深度画像を生成する。具体的には、基準画像の画素によって表されるオブジェクトのビュー画面からの距離（深度値）が求められ、これらを画素値として供給することによって深度画像が生成される。基準画像が３６０°のパノラマ画像として取り込まれる場合、ビュー画面は球面であるため、深度値は、この球面に対する法線の方向にオブジェクトと同じ距離の値であることに留意されたい。生成された深度画像は、表示画像の画素値を決定するときに用いられるべき基準画像の選択において利用される。基準画像データ生成部３１８は、このように生成された基準画像と深度画像とのデータを、基準視点の位置座標と関連付けて基準画像データ記憶部３２０に格納する。

図７に、基準視点の設定例を示す。この例では、複数の基準視点が、黒い円印で示されるように、ユーザ１２が立っているときのユーザの目の高さの水平面２０ａと、ユーザ１２が座っているときのユーザの目の高さの水平面２０ｂとにそれぞれ設定される。非限定的な例として、水平面２０ａは床から１．６ｍであり、水平面２０ｂは床から１．２ｍでありうる。また、表示内容に対応した移動範囲が、左右方向（図ではＸ軸方向）と前後方向（図ではＹ軸方向）とに、ユーザの基準位置（ホーム位置）を中心として想定されてよく、基準視点は、水平面２０ａ、２０ｂ上の対応する矩形領域に分配されうる。

この例では、基準視点は、矩形領域をＸ軸方向とＹ軸方向とに４つの等しい部分にそれぞれ分割することによって得られる格子の交点に交互に配置されている。また、基準視点は、上下の水平面２０ａ、２０ｂにおける基準視点が重ならないようにずらして配置されている。その結果、図７に示す例では、上側水平面２０ａには１３点が設定され、下側水平面２０ｂには１２点が設定され、合計２５個の基準視点が設定されている。

しかし、これは、基準視点の分配がこれらに限定されることを意味するものではなく、基準点は、例えば、垂直面を含む複数の平面に分配することもでき、球面などの曲面に分配することもできる。また、分配が不均一であり、ユーザが位置している確率が他の範囲よりも高い範囲において基準視点がより高密度で分配されていてもよい。また、表示されているオブジェクトが移動または変形する移動が発生している場合、基準視点もそれに対応して移動させることができる。この場合、それぞれの基準視点の基準画像は、当該の移動を反映したビデオ画像のデータを構成する。

また、指定されたオブジェクトを囲むように複数の基準視点を設定して専用の基準画像を作成し、当該のオブジェクトを含む空間全体の表示画像を生成するときにそれらを組み合わせるように構成されてもよい。この場合、画像生成装置２００は、画素値を決定する際に別個に作成される、当該のオブジェクトに専用の基準画像を、当該のオブジェクトのメッシュをビュー画面上に投影した後に、他の画像の場合と同様に用いる。このように進めることにより、例えば重要なオブジェクトや接近され、観察される可能性の高いオブジェクトの場合には、基準画像データの量を増やさずに、より詳細な表現を実現し、この指定されたオブジェクトのみを移動または変形させることが可能になる。

次にこのような技法の一実施形態について説明する。

前述したように、空間構築部３１６は、表示されるべきオブジェクトが存在する空間の形状モデルを構築する。この空間、または場面は、次いで、任意選択で最終的な基準画像に対してより低い解像度でレンダリングされ、深度バッファに取り込まれうる（カラーバッファは不要である）。深度カリングは行われない。よって、場面の（任意選択で低解像度の）表現が格納される。

次いでこの場面が、候補位置ごとの試験データを作成するために、場面内の複数の候補基準視点位置で深度バッファデータを使用してレンダリングされる。この段階では、従来のレンダリング（すなわち、Ｚカリングを行って候補基準視点位置では見えない要素を除去する）が通常は使用される。このようにして、各候補位置で見える場面のレンダリングされた要素を特定することができる。

場面内のオブジェクトの表面上の個々の点を特定することは、メモリ集約的、計算集約的となる可能性があり、わずかな位置の差に起因する重複や誤分類を招く。よって任意選択で、場面はボクセルを使用してレンダリングされ、ボクセルはその場合、それらの体積内に含まれる点のヒストグラムバケットとして働くことができる。所与のレンダリングについて、これらのボクセルは、収集した点の数を記録するか、単に少なくとも１つが収集されているというフラグを立てることができる。

この手法を使用して、Ｖ×Ｃデータ配列を生成することができ、Ｖはボクセル数（場面内の点を示す）であり、Ｃは候補カメラの数である。所与のカメラによる所与のレンダリングについて、所与のボクセルのカウントまたはバイナリフラグ値を配列に格納することができる。

次に図８Ａを参照すると、この図には、バイナリフラグに基づく実施態様のためのそうした配列が示されている。任意選択で、配列は、カメラ可視性のビットマップとしてユーザに提示することができる。点の数およびカメラの数は単なる例示であることが理解されよう。よって、水平軸にはＣ個のカメラ（ここでは６個）があり、垂直軸にはＶ個のボクセル（ここでは８個）がある。次いで、カメラｃがボクセルｖ内の点のレンダリングを生じさせたかどうかを示すために、配列にバイナリ値が格納される。次いでこれらの値は、場面内の各ボクセルの相対的可視性を決定するために水平方向に合計され、カメラ位置の相対的有用性を決定するために垂直方向に合計されうる。

よってこの例では、ボクセルごとのカメラの合計において、ボクセル＃２はそれが現在見えていないことを示し、ボクセル＃７は比較的露出されており、６つのうち５つのカメラに見えている。一方で、ボクセル＃８は１つのカメラにのみ見えている。

したがって、ボクセル＃２が見えるようにカメラを移動させることが望ましいが、明らかに、別のボクセル（例えば、ボクセル＃８が見えているカメラ）を見るのに不可欠ではないカメラのみを移動させることが好ましいことが理解されよう。よってシステムは、ボクセル＃７が見えている５つのカメラのうちの１つを移動させることを選択しうる。

カメラごとのボクセルの合計を見ると、カメラ＃４およびカメラ＃５は、場面中のボクセルの大部分が見えているので、値が高いことが理解されよう。一方で、カメラ＃３は、多くのボクセルが見えていないので値が低く、さらにこのカメラにだけに固有に見えているボクセルもない。よって同様に、システムは、ボクセル＃２が見えるようにするためにカメラ＃３を移動させることを選択しうる。例えば、ボクセルが物理的近接度に基づいて列挙されているか、または順次に特定される場合、ボクセル＃１とボクセル＃３の両方が見えたカメラの近くの、そのカメラと異なる位置にカメラ＃２を配置すると、そのボクセルが見えるようになる可能性が高くなるであろう。あるいは、ボクセルが見えない場合には、複数の視線がそのボクセル自体の位置から投影されてよく、場面の別の部分と交差することなく所定の距離に達する任意の視線が、そのようなカメラ配置のために使用できるはずの点を定義しうる。

よって、例えば図７に示すように、最初にカメラを分配し、次いで、それらのカメラが場面内のいくつの点を見ることができ、かつ／またはいくつの固有点を見ることができるかに従って、どのカメラがそれらの現在位置においてより値が高いか、または値が低いかを評価するアルゴリズムが使用されうる。値の低いカメラを別の位置に移動させ、その値を再計算することができ、その値がより高くなった場合、そのカメラは新しい位置にとどまる。任意選択で、カメラの全体の値がそれ以上上がらず、かつ／またはすべてのカメラの値の分散が、より均一的に有用な分配を示す閾値を下回るまで、このプロセスを反復して、Ｎ個の最低値のカメラを移動させることができる（Ｎは、１～Ｃ－１としうるが、通常は、カメラの最低値、３分の１、４分の１、５分の１または１０分の１になる）。

この手法を使用して、必要に応じて低い値のカメラと高い値のカメラの両方の現在位置を試験して、その値を改善できるかどうかを確認することができる。さらに、任意選択で、低い値を有するカメラを、例えば、上述した視線の技法を使用して、現在見えていない点を見るように完全に再配置してもよい。

カメラは、ユーザの可能な視点の外部の領域に移動させる必要はないことが理解されよう。よって、例えば、ユーザが決まった高さを有する（例えば、環境内で座ったり、這ったり、跳んだりすることができない）場合には、カメラは１つの水平面を占有しうる。一方で、ユーザが状態（例えば、立った状態と座った状態）間を移動することができる場合には、カメラリソースの重み付けまたは配分が、場面内の様々な高さおよび／または位置に与えられてよく、もしあれば、遷移状態（例えば、立った状態と座った状態との間の位置）には比較的少ないリソースが与えられる。この重み付けは、上述したようにカメラの重要度に、かつ／またはカメラの再配置を選択するときにカメラによるカバレッジを必要とする領域に適用することができる。

同様に、開発中またはその後の使用中に、ユーザが場面内で最も頻繁に移動する場所とユーザが最も頻繁に見る場所とを判断するためにユーザヒートマップが作成されてもよい。最も多く見られる場面のこれらの位置および要素はその場合、しかるべく重み付けされてよく、潜在的に異なるカメラまたは新しいカメラ位置をより重要にする。

次に図８Ｂを参照すると、ボクセルを使用した（よって、最終的な基準画像よりも著しく低い解像度での）場面のレンダリングが、１群のカメラ３０'の各々に対して行われる。この場合、各カメラにだけ固有に見える点の数の記録３５が示されている。この場合、カメラ＃１５は最も多くの固有点を有し、よって、最も重要であるとみなされてよく、カメラ＃００、カメラ＃０４、カメラ＃１６、カメラ＃１８、カメラ＃２１は相対的に少ない（例えば、所定の閾値未満の）固有点を有するので、場面の別の部分に移動されうる。

移動量（すなわち、位置の変化の大きさ）は、重要度の低いカメラが大きく移動されるように、カメラの重要度に反比例させる（例えば、上記のカバレッジの基準と、任意選択で固有点の数、最も近いカメラからの距離、および任意の他の適切な基準、任意選択で適切な重み付けとを使用してランク付けさせる）ことができる。この場合、カメラ＃２１を場面の右に移動させると、カメラ＃２１に多くの新しい画素が見えるようになるので、その重要度は著しく増加し、その他のカメラの重要度は比較すると減少する。同様に、カメラが新しい視点に移動されると、カメラ１５にだけ固有に見える点の数が減少する可能性があり、その比較的な重要性がさらに低減される。最終的にどのカメラにも固有に見える点がなくなることが理想的であるが、これは、すべてのカメラが（例えば、カメラの中には不可避的により重要またはより重要ではないものがありうるため、任意選択で、閾値数のカメラをその差の計算から除外する範囲付きで、重要度または点のカバレッジに関する閾値差内まで）ほぼ等しい重要度のものであるはずのより一般的な条件の特殊事例である。よって、例えば、カメラの５０％、６０％、７０％、８０％、９０％または９５％が、設計者の選択に応じて、重要度に関する閾値差をつけている場合、システムはカメラの調整を停止しうる。

よって、固有に見える点の比較尺度は、カメラの重要度を決定する適切な重み付けと共に、全体的な視点の比較尺度と併用されてよく、カメラは、その所定の数または割合が、閾値許容差内まで同様に重要になるまで移動されうる。任意選択で、この基準に対する非最適な解として同じ点でカメラが収束するのを防ぐために、カメラは相互排除境界を有しうる（言い換えると、カメラ間に最小限の距離が設けられる）。さらに、これらの境界／距離は、全体的な重要度の関数として、かつ／または固有に見える点に関する重要度の関数として変動しうるので、良好な全体的視野を有するカメラは、近くの冗長なカメラによって囲まれていない。

最後に、任意の適切な技法を使用して、１つまたは複数の代替の基準画像が、基準画像の一部または全部について同様に事前に作成されてよく、それらは、レンダリングされた環境内の光源のアクティブ化や、基準画像の別個のレイトレーシングから利益を得るはずの環境内の新しいオブジェクトの出現など、ユーザまたはゲーム／アプリケーションによってトリガされたイベントに応答して使用されうる。

図９は、画像生成装置２００の画素値決定部２６６が、表示画像の画素値の決定に使用される基準画像を選択するための第１の技法を説明した図である。この図には、オブジェクト２４を含む表示空間の鳥瞰図が示されている。この空間では、５つの基準視点２８ａ～２８ｅが設定され、それぞれの基準画像のデータが生成される。この図において、基準視点２８ａ～２８ｅを中心とする円は、全天のパノラマ画像用に作成された基準画像の画面平面を図示している。

ユーザ視点が画像表示中に仮想カメラ３０の位置にあると仮定される場合、投影部２６４は、ビュー画面をこの仮想カメラ３０と符合するように決定し、オブジェクト２４のモデル形状をビュー画面上に投影する。これにより、表示画像内の画素とオブジェクト２４の表面上の位置との対応関係が特定される。次いで、例えばオブジェクト２４の表面上の点２６の画像を表す画素の値を決定するときに、画素値決定部２６６は、まず、この点２６が表示される基準画像を画像として指定する。

世界座標系におけるそれぞれの基準視点２８ａ～２８ｅと点２６との位置座標は既知であるため、それらの距離は容易に求めることができる。図では、これらの距離が、基準視点２８ａ～２８ｅと点２６とを結ぶ線分の長さで示されている。また、点２６が基準視点ごとにビュー画面上に逆投影される場合、点２６の画像が各基準画像において現れるべき画素の位置を指定することもできる。他方、基準視点の位置によっては、点２６がオブジェクトの背後にあるか、または前にあるオブジェクトによって隠されているために、画像が基準画像においてこの位置に出現しないこともありうる。

この時点で、画素値決定部２６６は、各基準画像に対応する深度画像を確認する。深度画像の画素値は、対応する基準画像において画像として現れるオブジェクトの画面平面からの距離を示す。したがって、基準視点から点２６までの距離を、深度画像内の点２６の画像が現れるはずの画素の深度値と比較することによって、当該の画像が点２６の画像であるか否かが判断される。

例えば、基準視点２８ｃから点２６までの視線上では、点３２はオブジェクト２４の背後にあるので、点３２の画像は実際には、点２６の画像が対応する基準画像において現れるはずの画素として表される。したがって、対応する深度画像の画素によって示される値は点３２までの距離であり、基準視点２８ｃを始点とすることによって得られた値への変換によって得られる距離Ｄｃは、座標値から計算される点２６までの距離ｄｃよりも明らかに小さい。したがって、深度画像から得られる距離Ｄｃと座標値から得られる点２６までの距離ｄｃとの差が閾値以上である場合、当該の基準画像は、点２６を表す画素値の値の計算から除外される。

同様に、基準視点２８ｄ、２８ｅの深度画像から得られる対応する画素のオブジェクトまでの距離Ｄｄ、Ｄｅが、それぞれの基準視点２８ｄ、２８ｅから点２６までの距離に関して閾値以上の差を有する場合も、それらは計算から除外される。他方、閾値判断によって、基準視点２８ａ、２８ｂの深度画像から得られる対応する画素のオブジェクトまでの距離Ｄａ、Ｄｂは、それぞれの基準視点２８ａ、２８ｂから点２６までの距離と実質的に同じであると特定することが可能である。画素値決定部２６６は、深度値を使用して、このようにスクリーニングを行うことによって、表示画像の画素ごとの画素値の計算に用いられるべき基準画像を選択する。

しかし、上記の技法では問題が発生する可能性がある。相対深度を基準としてオブジェクト上のサンプル点が基準視点において表されるかどうか判断することは、オブジェクトが、布やパネルなどの場合のように、３次元環境内で薄いか、または隣接する表面のエッジもしくは頂点に近い場合、予期しない結果を引き起こす可能性がある。この場合、基準視点は、仮想カメラに対してオブジェクトの反対側にありうるが、分析対象の点までの距離は実質的に同じである（または上述の閾値を有する）ので、その基準視点が、サンプル点のビューを含むものとして誤って分類されることになる。

したがって、本発明の一実施形態では、図１０Ａ～図１０Ｂに示すように、代替の手法が使用されうる。これらの図には、図９と同じオブジェクト２４、基準視点２８ａ～２８ｅおよび基準視野画像の画面平面が示されているが、点２６における表示画像の画素値を決定する場合にどの基準視点を使用すべきか判断するための異なるスクリーニングの技法が示されている。

図１０Ａに、本発明の一実施形態による基準視野画像を生成するプロセスの一部を示す。図９に関連して前述したように深度画像を作成する代わりに、またはそれに加えて、多角形ＩＤの技法が用いられうる。

図１０Ａでは、識別子ｐ、ｑ、ｒ、ｓ、ｔおよびｕがオブジェクト２４の多角形に割り当てられている。特に、多角形は、通常、レンダリングプロセスの一部としてグラフィックスプロセッサによって識別子を割り当てられる。あるいは、例えば、適切なソフトウェア命令によって、別個の識別子セットが作成され、追跡されてもよい。適切な場合には、グラフィックスプロセッサによって割り当てられた識別子が、（例えば、グラフィックスプロセッサによって割り当てられる識別子がレンダリングごとに変化する場合）永続的な識別子セットを提供するために、そのような別個の識別子セットに逆マップされうる。

次いで、視点２８ｃと視点２８ｄとに基準視野画像について示されているように、これらの基準視野画像がレンダリングされ、多角形識別子は、その多角形を示す基準視野画像のそれぞれの部分（図１０Ａの基準画像球の関連部分に隣接して浮いている弧状部分として概略的に示されている）と関連付けられる。その他の視点２８ａ、２８ｂ、２８ｅ（およびより一般的には使用されるすべての視点）の基準画像をレンダリングするために同じ手法が使用されるが、これらは明瞭にするために図１０Ａには示されていないことが理解されよう。

このようにして、多角形ＩＤマップまたは多角形ＩＤ画像が、レンダリングされた基準視野画像ごとに作成され、その基準視野画像内の所与の画素でどの多角形が画像化されているかを特定する。次に図１０Ｂを参照すると、図１０Ｂには、基準視野画像ごとのオブジェクト２４に関する多角形ＩＤマップが、やはり図９に示すように現在分析されているオブジェクト２４上の点２６を見ている仮想カメラ３０と共に示されている。いずれの場合も、多角形ＩＤマップは、図において、画像球のその部分に画像化される対応する多角形ＩＤでラベル付けされた画像球の弧状部分によって表されている。

続いて、オブジェクトの点２６の画素値を生成するときに使用すべき基準視野画像をスクリーニングするために、次いで、先に説明した深度スクリーニングの技法の代わりに、またはそれに加えて、点２６（この例では点２６は多角形「ｕ」上にある）に対応する多角形ＩＤが、点２６とそれぞれの基準視点２８との間の線と交差する基準視野画像の画素の多角形ＩＤマップの値と比較される。

多角形ＩＤが一致しない場合には、その基準視点の基準視野画像が除外される。多角形ＩＤが一致する基準視点の基準視野画像のみが選択されうる。

よって、図１０Ｂに示す例では、基準視点２８ａおよび２８ｂについて、多角形ＩＤは一致する（ｕ＝ｕ）。一方で、基準視点２８ｃについては、多角形ＩＤは一致せず（ｒ！＝ｕ）、基準視点２８ｄ（ｓ！＝ｕ）と基準視点２８ｅ（ｐ！＝ｕ）とについても同様である。よって、視点２８ｃ、２８ｄ、および２８ｅの基準視野画像は除外され、視点２８ａ、２８ｂの基準視野画像のみが視点２６の画素値の生成で使用するために考慮されうる。

図９および図１０Ａ～図１０Ｂには例として５つの基準視点が示されているが、実際には、図７および図８Ａ～図８Ｂに示すように、比較は、深度値を使用して、または代替として、もしくはこれに加えてすべての分配された基準視点の多角形ＩＤを使用して行われうる。このようにして、高精度の表示画像を描画することができる。他方、約２５の深度画像および／または多角形ＩＤ画像と、表示画像のすべての画素に関する基準画像とを参照することは、装置の処理性能によっては、無視できないほどの負荷を生じさせうる。したがって、選択候補として使用される基準画像の数は、上述したように、画素値の決定に使用されるべき基準画像の選択の前に、規定の標準を使用して範囲を狭められうる。例えば、仮想カメラ３０から規定の範囲内に存在する基準視点が抽出され、これらの中からの基準画像に限定された選択処理が、深度値および／または多角形ＩＤを使用して実行されうる。よって、例えば、対象画素について、基準画像が、仮想カメラからの距離の関数として順番に評価されてもよく、Ｎ個の基準画像が、本明細書で前述した深度および／または多角形ＩＤマッチング基準を満たすことが判明すると、その画素の生成ではそれ以上の基準画像が使用されない。Ｎは１、２、３、４またはそれ以上であってもよく、任意選択で、他の因子または基準の関数として変化してもよい。よって例えば、第１の基準画像が仮想カメラ位置の閾値距離内にある場合にはＮは１でありうるが、この基準が満たされない場合には２以上でありうる。同様に、所与の多角形ＩＤの基準画像の表面積が閾値量よりも小さい（それがその多角形についての相対的に低品質の光源情報であることを示す）場合にも、Ｎは増加しうる。適格な基準画像の数Ｎを増加させ、または制限するための他の戦略は、当業者には明らかであり、品質と計算負荷との所望のバランスをとるように選択することができる。

このプロセスにおいて、抽出される基準視点の数の上限は、例えば１０基準視点または２０基準視点として設定されてよく、基準点の範囲が調整されてもよく、または抽出される基準視点の数をこの上限内に保つために、受入れ／拒絶選択が、無作為に、もしくは規定の規則に従って行われてもよい。また、抽出される基準視点の数は、表示画像上の領域に応じて変更されてもよい。例えば、仮想現実がヘッド・マウント・ディスプレイを使用して実施される場合、表示画像の中央領域がユーザの視線の方向と一致するようにするために、周辺領域よりも高い精度で画像を描画することが望ましい。

したがって、表示画像の中心から規定の範囲にある画素に関しては、ある程度多い数の基準視点（基準画像）が、候補として選択されてよく、この範囲の外部にある画素に関しては、選択候補の数が低減されうる。例えば、中央領域では選択候補として約２０枚の基準画像を用い、周辺領域では約１０枚を用いることが可能である。しかし、領域の数は２つに限定されず、３つ以上の領域を用いることもできる。また、領域の定義の仕方も、表示画像の中心からの距離に依存することに限定されず、例えば、関心対象のオブジェクトの画像に関する領域であることに従って、領域を動的に定義することも可能なはずである。このようにして、オブジェクトの画像が投影されるか否か以外のいくつかの要因に従って、参照される基準画像の数を制御することによって、例えば、装置の処理性能や、表示に必要な精度や、表示の内容を考慮に入れた最適な条件の下で表示画像の描画を行うことができる。

図１１は、画素値決定部２６６が表示画像の画素値を決定するための技法を説明した図である。図９または図１０Ｂに示すように、オブジェクト２４の点２６の画像が、基準視点２８ａ、２８ｂの基準画像上に表されることが確立されているものと仮定する。基本的には、画素値決定部２６６は、実際の視点に対応する表示画像における点２６の画像の画素値を、これらの基準画像における点２６の画像の画素値を混合することによって決定する。

この時点で、基準視点２８ａ、２８ｂの基準画像における点２６の画像の画素値（色値）が、それぞれｃ_１、ｃ_２である場合、表示画像における画素値Ｃは、以下のように計算される。
Ｃ＝ｗ_１ｃ_１＋ｗ_２ｃ_２

式中、係数ｗ_１、ｗ_２は、ｗ_１＋ｗ_２＝１の関係を有する重み付けであり、すなわち、基準画像に対する寄与率を表す重み付けであり、これらの重み付けは、基準視点２８ａ、２８ｂと、実際の視点を表す仮想カメラ３０との位置関係に基づいて決定される。例えば、仮想カメラ３０から基準視点までの距離が小さい場合には、寄与率の係数をより大きい値とすることによって寄与率を増加させる。

この場合、仮想カメラ３０から基準視点２８ａ、２８ｂまでの距離をΔａ、Δｂとして、ｓｕｍ＝１／Δａ^２＋１／Δｂ^２とした場合、重み係数は以下の関数として表すことができる。
ｗ_１＝（１／Δａ^２）／ｓｕｍ
ｗ_２＝（１／Δｂ^２）／ｓｕｍ

上記の式が、用いられる基準画像の数をＮとし、基準視点の識別番号をｉ（ｉ≦Ｎ）とし、仮想カメラ３０からｉ番目の基準視点までの距離をΔｉとし、それぞれの基準画像における対応する画素値をｃ_ｉとし、重み係数をｗ_ｉとすることによって生成される場合、以下の式が得られる。ただし、これは、この計算式への限定を意味するものではないことに留意されたい。

上記の式において、Δｉが０である場合、すなわち、仮想カメラ３０が基準視点のいずれかと一致する場合には、対応する基準画像の画素値に関する重み係数は１とされ、その他の基準画像の画素値に関する係数は０とされる。このようにして、当該の視点に対して高精度で作成された基準画像を表示画像において直接反映させることができる。

また、重み係数の計算で使用されるパラメータは、仮想カメラから基準視点までの距離に限定されない。例えば、基準視点から点２６までの視線ベクトルＶａ、Ｖｂと、仮想カメラ３０から点２６までの視線ベクトルＶｒとによって形成される角度θａ、θｂ（０≦θａ、θｂ≦９０°）に基づくものとすることもできる。例えば、重み係数は、ベクトルＶａ、ＶｂとベクトルＶｒとの内積（Ｖａ・Ｖｒ）、（Ｖｂ・Ｖｒ）を使用して次のように計算される。
ｗ_１＝（Ｖａ・Ｖｒ）／（（Ｖａ・Ｖｒ）＋（Ｖｂ・Ｖｒ））
ｗ_２＝（Ｖｂ・Ｖｒ）／（（Ｖａ・Ｖｒ）＋（Ｖｂ・Ｖｒ））

上記の式が、用いられる基準画像の数をＮとし、基準視点ｉから点２６までの視線ベクトルをＶ_ｉとし、重み係数をｗ_ｉとすることによって上述したのと同じように一般化される場合、以下の式が得られる。

いずれの場合であっても、点２６に対する仮想カメラ３０の状態が基準視点に近づくに従って重み係数が大きくなるように計算規則が導入される限り、特定の計算式には限定されない。距離と角度の両方から「状態の近さ」を多元的に評価することによって重み係数を決定することも可能である。加えて、点２６におけるオブジェクト２４の表面形状を考慮に入れることも可能である。一般に、オブジェクトからの反射光の明るさは、表面の傾き（すなわち、表面に対する法線）に基づく角度依存性を有する。したがって、点２６における法線ベクトルと仮想カメラ３０からの視線ベクトルＶｒとによって形成される角度と、それぞれの基準視点からの視線ベクトルＶａ、Ｖｂと当該の法線ベクトルとによって形成される角度とが比較されてよく、この差が小さくなるに従って重み係数が大きくなる。

また、重み係数を計算するために使用される実際の関数は、オブジェクト２４の材質や色などの属性に応じて切り替えられうる。例えば、正反射成分が支配的な材質の場合、観察される色は強い方向性を有する、すなわち視線ベクトルの角度に応じてかなり変化する。他方、拡散反射成分が支配的な材質の場合、色は視線ベクトルの角度に対して大きく変化しない。したがって、前者の場合には、基準視点の視線ベクトルが仮想カメラ３０から点２６までの視線ベクトルＶｒに近づくほど重み係数が増える関数が用いられてよく、後者の場合には、重み係数がすべての基準視点について同じとされてもよいし、正反射成分が支配的な場合には角度依存性がより小さくなるような関数が用いられてもよい。

また、同じ理由で、拡散反射成分が支配的な材質の場合には、表示画像の画素値Ｃを決定するのに使用される基準画像の実際の数をデシメーションにより減らすことによって、または少なくとも規定の値で、実際の視線ベクトルＶｒに近い角度の視線ベクトルを有する基準画像だけを用いることによって、計算処理の負荷を制限することができる。画素値Ｃを決定するための規則がオブジェクト属性に従ってこのように変更される場合、これが表すオブジェクトの材質など、当該の属性を示すデータが、基準画像ごとに、基準画像データ記憶部２５６に、関連付けて格納されうる。

上述したモードでは、正反射によって生成される光の方向性などを、オブジェクトの表面形状および／または材質を考慮に入れることによって、表示画像をより正確に反映させるようにすることができる。重み係数の決定は、オブジェクトの形状に基づく計算、オブジェクトの属性に基づく計算、仮想カメラから基準視点までの距離に基づく計算、およびそれぞれの視線ベクトルによって形成される角度に基づく計算、のうちの任意の２つ以上の組み合わせを利用しうる。

次に、上述した構築によって実施可能な画像生成装置の動作について説明する。図１２は、画像生成装置２００が視点に対応した表示画像を生成するための処理手順を示す流れ図である。この流れ図は、ユーザの操作によりアプリケーションなどが起動され、初期画像が表示されたときに開始され、視点の移動が受け入れられる状態が生成される。上述したように、電子ゲームなどの様々なタイプの情報処理が、図示される表示処理と並行して行われうる。まず、空間構築部２６２は、世界座標系において、表示されるべきオブジェクトが存在する３次元空間を構築する（Ｓ１０）。

一方で、視点情報取得部２６０は、ユーザの頭部の位置および／または姿勢に基づいて、この時点における視点の位置および／または視線方向を特定する（Ｓ１２）。次に、投影部２６４は、視点に対するビュー画面を設定し、表示空間に存在するオブジェクトをビュー画面に投影する（Ｓ１４）。上述したように、この処理では、例えば、３次元モデルを形成するポリゴンメッシュの頂点の透視変換により、表面形状のみを考慮に入れるように構成されうる。次に、画素値決定部２６６は、このように投影されたメッシュの内部における画素の中の関心対象の１つの画素を設定（Ｓ１６）し、その画素値の決定に使用されるべき基準画像を選択する（Ｓ１８）。

具体的には、上述したように、それぞれの基準画像の深度画像に基づいて、当該の画素によって表されるオブジェクト上の点が画像として表示される基準画像が決定される。次いで、画素値決定部２６６は、これらの基準画像の基準視点と実際の視点に対応する仮想カメラとの位置関係、および／または、オブジェクトの形状や材質などに基づいて、重み係数を決定し、次いで、例えば、それぞれの基準画像の対応する画素値の重み付け平均によって、関心対象の画素の値を決定する（Ｓ２０）。基準画像の画素値から関心対象の画素の画素値を導出するための計算では、重み付け平均以外の様々なタイプの統計処理および／または補間処理が可能であることが、当業者には理解されよう。

Ｓ１８およびＳ２０の処理は、ビュー画面上のすべての画素について繰り返される（Ｓ２２、Ｓ１６のいいえ）。すべての画素の画素値が決定されると（Ｓ２２のはい）、出力部２６８は、当該のデータを表示画像データとしてヘッド・マウント・ディスプレイ１００に出力する（Ｓ２４）。左目用表示画像と右目用表示画像とが生成される場合には、これらそれぞれの画像についてＳ１６～Ｓ２２の処理が実行され、好適な方法で出力されることに留意されたい。表示の完了が不要である場合には、次の視点情報の取得後に表示画像の生成処理およびその出力が繰り返される（Ｓ２６、Ｓ１２～Ｓ２４のいいえ）。表示処理の完了が必要である場合には、すべての処理が終了される（Ｓ２６のはい）。

図１２の例では、画素値がすべての画素に関して基準画像を使用して決定されたが、表示画像上の領域および／または視点の位置に応じて、描画技法を切り替えることも可能であることに留意されたい。例えば、視点の移動による光または色合いの変化が不要なオブジェクトの画像に関してのみ従来のテクスチャマッピングを行うことも可能であろう。また、方向性の高い反射光など、場合によっては、周囲の基準画像から、局所的な視点のみで観察される状態を完全に表現することができない場合もある。基本的には、基準視点の数を増やすことによって描画の正確さを向上させることができるが、基準画像として使用するために作成されるデータの量は、視点が当該の範囲内に含まれる場合にのみレイトレーシングを使用した描画に切り替えることによって、減らすことができる。

本発明の一概略的実施形態において、画像生成装置（コンソール２００やＨＭＤ１００やこれら２つの組み合わせ、または開発構成におけるＰＣやコンソールなどの開発キット）は、前述したように、表示されるべきオブジェクトを含む空間が複数の候補基準視点のうちの１つから見られたときの画像を各々表す試験画像をレンダリングするレンダリング部（適切なソフトウェア命令の下で動作する画像プロセッサなど）と、前述したように、候補基準視点の重要度値を、少なくとも、空間内の点のそれらの比較的カバレッジの関数として評価する候補基準視点評価部（適切なソフトウェア命令の下で動作するプロセッサなど）と、前述したように、重要度値が低い１つまたは複数の候補基準視点の位置を変更し、候補基準視点評価部から再評価を取得し、空間内の点のその比較的カバレッジが増加した場合には、候補基準視点の位置は元に戻さない更新部（適切なソフトウェア命令の下で動作するプロセッサなど）と、を含むことを特徴とする。

概略的実施形態の一例では、レンダリング部は、試験画像を、続いてレンダリングされる、最終的な基準視点に対応する基準画像よりも低い実効解像度を有するボクセルとしてレンダリングする。

概略的実施形態の一例では、候補基準視点評価部は、空間内のリストされた位置に対する候補視点の配列を維持し、配列のフィールドは、所与の候補視点のレンダリングが所与のリストされた位置における点を含んでいたかどうかを表す。

概略的実施形態の一例では、候補基準視点評価部は、候補視点ごとに、配列から、空間内の点のカバレッジを示す、候補視点においてレンダリングされたリストされた位置の数を合計するように構成され、それぞれの合計数の比較に応じて、空間の比較的カバレッジが低い１つまたは複数の視点を特定するように構成される。

概略的実施形態の一例では、候補基準視点評価部は、候補視点ごとに、配列から、空間内の点の固有のカバレッジを示す、候補視点においてのみレンダリングされたリストされた位置の数を合計するように構成され、それぞれの合計数の比較に応じて、空間の固有のカバレッジが高い１つまたは複数の視点を特定するように構成される。空間内の点の固有のカバレッジは、任意選択で、空間内の点のより一般的なカバレッジと併用して、任意の他の適切な値または尺度と共に、重要度を評価するのに使用することができる。

概略的実施形態の一例では、重要度が低い１つまたは複数の候補基準視点の位置の変化の大きさは、候補基準視点の重要度に反比例する。

概略的実施形態の一例では、候補基準視点は最小限の距離だけ離される。前述したように、本明細書では、これにより、同様の重要度を有することへの解決策としてカメラが同じ位置で収束することが回避される。

概略的実施形態の一例では、更新部は、１つまたは複数の候補基準視点の位置を、所定数の候補基準視点が、相互の閾値許容差内の点のそれぞれのカバレッジを各々有するようになるまで変更するように構成される。代替として、または加えて、更新部は、１つまたは複数の候補基準視点の位置を、所定の割合のボクセルが、少なくとも１つの候補基準視点によるカバレッジを登録するまで変更するように構成されてもよい。

同様に、概略的実施形態の一例では、画像生成装置は、表示されるべきオブジェクト２４の多角形の多角形識別データを格納するオブジェクトデータ記憶部（ＲＡＭ、フラッシュメモリ、ＨＤＤなど）と、表示されるべきオブジェクトを含む空間が複数の規定の基準視点のうちの１つから見られたときの画像を各々表す基準画像（画像球２８ａ～２８ｅなど）のデータを格納し、各基準画像に対応する多角形識別データをさらにコントローラする基準画像データ記憶部（ＲＡＭ、フラッシュメモリ、ＨＤＤなど）と、視点（仮想カメラ３０など）に関する情報を取得する視点情報取得部（適切なソフトウェア命令の下で動作するプロセッサなど）と、表示画像の平面１４上に、前記空間が前記視点から見られたときの前記オブジェクトの画像の位置および形状を表す投影部（適切なソフトウェア命令の下で動作するプロセッサなど）と、前記複数の基準画像のうちの１つまたは複数における同じ画像を表す画素の値を使用して、前記表示画像において前記オブジェクトの画像を構成する画素の値を決定する画素値決定部（適切なソフトウェア命令の下で動作するプロセッサなど）と、前記表示画像のデータを出力する出力部と、を含み、（例えば、対象の特定の点２６における）対象画素について、前記画素値決定部は、前述したように、オブジェクト上の対象画素の位置に対応する基準画像上の位置を決定し、前述したように、基準画像上の決定された位置に対応する多角形識別を取得し、前述したように、取得された多角形識別を、オブジェクト上の対象画素の位置に対応する多角形の多角形識別と比較し、比較された多角形識別が一致する場合に基準画像を選択する、ように構成される。

次に図１３を参照すると、本発明の一概略的実施形態において、画像を生成する方法は、以下を含む。

第１のステップｓ１３１０で、表示されるべきオブジェクトを含む空間が複数の候補基準視点のうちの１つから見られたときの画像を各々表す試験画像をレンダリングする。

第２のステップｓ１３２０で、候補基準視点の重要度値を、少なくとも、空間内の点のそれらの比較的カバレッジの関数として評価する。

２つのサブステップを含む第３のステップｓ１３３０において、サブステップｓ１３３２で、重要度値が低い１つまたは複数の候補基準視点の位置を変更し、候補基準視点評価部から再評価を取得し、サブステップ１３３４で、空間内の点のその比較的カバレッジが増加した場合には、候補基準視点の位置を元に戻さない（言い換えると、空間内の点のその比較的カバレッジが、または同様に、固有点などの追加的な基準を使用して計算される、その全体的な重要度が増加した場合には、候補基準視点の新しい位置のみを保持する）。

当業者には明らかなように、本明細書に記載され、特許請求される装置の様々な実施形態の動作に対応する上記方法の変形は、本発明の範囲内とみなされ、以下を含むがこれに限定されない：
試験画像を、続いてレンダリングされる、最終的な基準視点に対応する基準画像よりも低い実効解像度を有するボクセルとしてレンダリングすること；
空間内のリストされた位置に対する候補視点の配列を維持し、配列のフィールドが、所与の候補視点のレンダリングが所与のリストされた位置における点を含んでいたかどうかを表すこと；
候補視点ごとに、配列から、空間内の点のカバレッジを示す、候補視点においてレンダリングされたリストされた位置の数を合計し、それぞれの合計数の比較に応じて、空間の比較的カバレッジが低い１つまたは複数の視点を特定すること；および
１つまたは複数の候補基準視点の位置を、所定数の候補基準視点が、相互の閾値許容差内の点のそれぞれのカバレッジを各々有するようになるまで変更すること。

上記の方法は、ソフトウェア命令によって、または専用ハードウェアを含め、または専用ハードウェアで代用することにより、適宜、好適に適応させた従来のハードウェア上で実行されうることが理解されよう。

よって、従来の等価の装置の既存部分への必要な適応は、フロッピー（登録商標）ディスク、光ディスク、ハードディスク、ＰＲＯＭ、ＲＡＭ、フラッシュメモリもしくはこれらの任意の組み合わせまたは他の記憶媒体といった非一時的な機械可読媒体上に格納されたプロセッサ実装可能命令を含むコンピュータプログラム製品として実施されてもよく、ＡＳＩＣ（特定用途向け集積回路）またはＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）または従来の等価の装置を適応させる際に使用するのに適した他の構成可能な回路としてハードウェアで実現されてもよい。それとは別に、そうしたコンピュータプログラムは、イーサネット（登録商標）、無線ネットワーク、インターネット、もしくはこれらおよびその他のネットワークの任意の組み合わせなどのネットワーク上でデータ信号によって伝送されてもよい。

上述したように本発明の実施形態では、任意の視点から画像を表示するための技術において、事前設定基準視点に関して画像データが予め作成される。よって、表示画像が描画されるときに、表示画像の画素値は、予め作成された基準画像から、同じオブジェクトを表す画素の値を取得することによって決定される。画素値を計算するために、実際の視点と基準視点との位置関係および／またはオブジェクトの属性に基づく規則が導入される。基準画像は、各視点に対応する表示から異なるタイミングで経時的に生成することができ、そのため高品質の基準画像を作成することができる。表示中に、これらの高品質画像から値を抽出することによって、さほど時間をかけずに高品質画像を提供することができる。

また、実際の視点の移動の想定範囲において複数の基準視点を設定して基準画像を作成し、視点の位置関係および／またはオブジェクトの属性に従ってその画素値を組み合わせることによって、任意の視点に関して安定した制度を有する表示画像を描画することができる。例えば、所与の基準視点の位置から別の基準視点の位置までの視点移動が発生した場合、前者に対応する基準画像から後者に対応する基準画像にシームレスに色合いを変更することができる。また、基準画像がそれぞれの基準視点を中心とした全天パノラマ画像になるように構成することによって、視点の位置および／または方向に関して高い自由度を与えることもできる。その結果、高品質画像を、任意の視点に対する良好な応答性で表示することができ、より強い臨場感を提供する画像表示の実現が可能になる。

以上、本発明の実施形態を説明した。実施形態は単なる例にすぎず、構成要素とその処理プロセスを組み合わせることによって様々な改変例を実現することができること、およびそのような改変例は、本発明の範囲内であることが、当業者には理解されよう。

１００ ヘッド・マウント・ディスプレイ
２００ 画像生成装置
２２２ ＣＰＵ
２２４ ＧＰＵ
２２６ メインメモリ
２３６ 出力部
２３８ 入力部
２５４ オブジェクトモデル記憶部
２５６ 基準画像データ記憶部
２６０ 視点情報取得部
２６２ 空間構築部
２６４ 投影部
２６６ 画素値決定部
２６８ 出力部
３００ 基準画像生成装置
３１０ 基準視点設定部
３１４ オブジェクトモデル記憶部
３１６ 空間構築部
３１８ 基準画像データ生成部
３２０ 基準画像データ記憶部
３２２ 基準画像生成部
３２４ 深度画像生成部

Claims (15)

1. 表示されるべきオブジェクトを含む空間が複数の候補基準視点のうちの１つから見られたときの画像を各々表す試験画像をレンダリングするレンダリング部と、
   前記候補基準視点の重要度値を、少なくとも、前記空間内の点の前記候補基準視点の比較的カバレッジの関数として評価する候補基準視点評価部と、
   重要度値が低い１つまたは複数の候補基準視点の位置を変更し、前記候補基準視点評価部から再評価を取得し、前記空間内の点の候補基準視点の比較的カバレッジが増加した場合には、前記候補基準視点の前記位置を元に戻さない更新部と
   を含むことを特徴とする、画像生成装置。
2. 前記レンダリング部が、試験画像を、続いてレンダリングされる、最終的な基準視点に対応する基準画像よりも低い実効解像度を有するボクセルとしてレンダリングする、
   請求項１に記載の画像生成装置。
3. 前記候補基準視点評価部が、前記空間内のリストされた位置に対する候補視点の配列を維持し、前記配列のフィールドが、所与の候補視点のレンダリングが所与のリストされた位置における点を含んでいたかどうかを表す、
   請求項１または２に記載の画像生成装置。
4. 前記候補基準視点評価部が、候補視点ごとに、前記配列から、前記空間内の点の前記カバレッジを示す、前記候補視点においてレンダリングされたリストされた位置の数を合計するように構成され、
   それぞれの合計数の比較に応じて、前記空間の比較的カバレッジが低い１つまたは複数の視点を特定するように構成される、
   請求項３に記載の画像生成装置。
5. 前記候補基準視点評価部が、候補視点ごとに、前記配列から、前記空間内の点の固有のカバレッジを示す、前記候補視点においてのみレンダリングされたリストされた位置の数を合計するように構成され、
   それぞれの合計数の比較に応じて、前記空間の固有のカバレッジが高い１つまたは複数の視点を特定するように構成される、
   請求項３または４に記載の画像生成装置。
6. 重要度が低い前記１つまたは複数の候補基準視点の位置の変化の大きさが、前記候補基準視点の重要度に反比例する、
   請求項１から５のいずれか一項に記載の画像生成装置。
7. 候補基準視点が最小限の距離だけ離される、
   請求項１から６のいずれか一項に記載の画像生成装置。
8. 前記更新部が、１つまたは複数の候補基準視点の位置を、所定数の前記候補基準視点が、相互の閾値許容差内の点のそれぞれのカバレッジを各々有するようになるまで変更するように構成される、
   請求項１から７のいずれか一項に記載の画像生成装置。
9. 表示されるべきオブジェクトの多角形の多角形識別データを格納するオブジェクトデータ記憶部と、
   各基準画像に対応する多角形識別データを格納する基準画像データ記憶部と、
   視点に関する情報を取得する視点取得部と、
   表示画像の平面上に、前記空間が前記視点から見られたときの前記オブジェクトの画像の位置および形状を表す投影部と、
   前記複数の基準画像のうちの１つまたは複数における同じ画像を表す画素の値を使用して、前記表示画像において前記オブジェクトの画像を構成する画素の値を決定する画素値決定部と、
   前記表示画像のデータを出力する出力部と、
   を含み、
   対象画素について、前記画素値決定部が、
   前記オブジェクト上の前記対象画素の位置に対応する基準画像上の位置を決定し、
   前記基準画像上の前記決定された位置に対応する前記多角形識別を取得し、
   前記取得された多角形識別を、前記オブジェクト上の前記対象画素の前記位置に対応する多角形の多角形識別と比較し、
   前記比較された多角形識別が一致する場合に前記基準画像を選択する、
   ように構成される、
   ことを特徴とする、請求項１から８のいずれか一項に記載の画像生成装置。
10. 表示されるべきオブジェクトを含む空間が複数の候補基準視点のうちの１つから見られたときの画像を各々表す試験画像をレンダリングするステップと、
    前記候補基準視点の重要度値を、少なくとも、前記空間内の点の前記候補基準視点の比較的カバレッジの関数として評価するステップと、
    重要度値が低い１つまたは複数の候補基準視点の位置を変更し、候補基準視点を評価するステップから再評価を取得し、前記空間内の点の候補基準視点の比較的カバレッジが増加した場合には、前記候補基準視点の前記位置を元に戻さないステップと、
    を含む、画像生成方法。
11. 試験画像を、続いてレンダリングされる、最終的な基準視点に対応する基準画像よりも低い実効解像度を有するボクセルとしてレンダリングするステップ
    を含む、請求項１０に記載の画像生成方法。
12. 前記空間内のリストされた位置に対する候補視点の配列を維持するステップを含み、前記配列のフィールドが、所与の候補視点のレンダリングが所与のリストされた位置における点を含んでいたかどうかを表す、
    請求項１０または１１に記載の画像生成方法。
13. 候補視点ごとに、
    前記配列から、前記空間内の点の前記カバレッジを示す、前記候補視点においてレンダリングされたリストされた位置の数を合計するステップと、
    それぞれの合計数の比較に応じて、前記空間の比較的カバレッジが低い１つまたは複数の視点を特定するステップと、
    を含む、請求項１２に記載の画像生成方法。
14. １つまたは複数の候補基準視点の位置を、所定数の前記候補基準視点が、相互の閾値許容差内の点のそれぞれのカバレッジを各々有するようになるまで変更するステップ
    を含む、請求項１０～１３のいずれか一項に記載の画像生成方法。
15. コンピュータシステムに、請求項１０～１４のいずれか一項に記載の方法を行わせるように構成されたコンピュータ実行可能命令を有するコンピュータ可読媒体。

Images