WO2019193696A1

WO2019193696A1 - 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法

Info

Publication number: WO2019193696A1
Application number: PCT/JP2018/014475
Authority: WO
Inventors: 雄気唐澤
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2018-04-04
Filing date: 2018-04-04
Publication date: 2019-10-10
Also published as: JP6965439B2; US20220270205A1; US11308577B2; US11893705B2; US20210042879A1; JPWO2019193696A1

Abstract

表示対象のオブジェクト３４、３５を含む空間に対し、基準視点から見た空間の動画像を基準画像としてあらかじめ作成しておき、実際の視点の位置に応じてそれらを合成して動画像を描画する。空間においてオブジェクト３５が矢印のように変位するとき、（ａ）に示すように基準視点３０ａ～３０ｅを固定とする。あるいは（ｂ）の基準視点３６ａ～３６ｅのように、基準視点をそれに応じて変位させる。そしてそれらの基準視点からの動画像を基準画像として生成する。

Description

基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法

　この発明は、ユーザの視点に応じた画像を表示するのに用いるデータを生成する基準画像生成装置、当該データを用いて表示画像を生成する表示画像生成装置および、それらによる基準画像生成方法、表示画像生成方法に関する。

　対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると視線方向に応じたパノラマ画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることもできる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。

　表示装置の種類によらず、自由視点に対応する画像表示技術においては、視点の動きに対する表示の変化に高い応答性が求められる。一方で、画像世界の臨場感を高めるには、解像度を高くしたり複雑な計算を実施したりする必要が生じ、画像処理の負荷が増大する。そのため視点の移動に対し表示が追いつかず、結果として臨場感が損なわれてしまうこともあり得る。

　本発明はこうした課題に鑑みてなされたものであり、その目的は、視点に対する画像表示の応答性と画質を両立させることのできる技術を提供することにある。

　上記課題を解決するために、本発明のある態様は基準画像生成装置に関する。この基準画像生成装置は、表示対象のオブジェクトを含む空間を任意視点から見たときの表示画像を生成するのに用いる、当該空間を所定の基準視点から見たときの像を表す基準画像のデータを生成する基準画像データ生成装置であって、オブジェクトの変位を規定する情報に従い、空間において当該オブジェクトを変位させる空間構築部と、空間に基準視点を配置し、オブジェクトの変位に応じて当該基準視点を変位させる基準視点設定部と、基準視点に対応する視野で、基準画像を所定のフレームレートで生成し出力する基準画像データ生成部と、を備えたことを特徴とする。

　本発明の別の態様は、表示画像生成装置に関する。この表示画像生成装置は、表示対象の空間におけるオブジェクトの変位を規定する情報を格納するオブジェクトモデル記憶部と、オブジェクトを含む空間を、オブジェクトの変位に応じて変位する基準視点から見たときの像を表す基準画像の動画データを格納する基準画像データ記憶部と、ユーザの視点に係る情報を取得する視点情報取得部と、空間をユーザの視点から見たときのオブジェクトの像を、所定のレートで表示画像の平面に表す射影部と、表示画像における画素ごとに、オブジェクトの像の色を、基準画像における同じオブジェクトの像の色を用いて決定する画素値決定部と、表示画像のデータを出力する出力部と、を備えることを特徴とする。

　本発明のさらに別の態様も、表示画像生成装置に関する。この表示画像生成装置は、表示対象の空間におけるオブジェクトの変位を規定する情報を格納するオブジェクトモデル記憶部と、オブジェクトを含む空間を、所定の複数の基準視点から見たときの像を表す基準画像の動画データを格納する基準画像データ記憶部と、ユーザの視点に係る情報を取得する視点情報取得部と、空間をユーザの視点から見たときのオブジェクトの像を、所定のレートで表示画像の平面に表す射影部と、表示画像における画素ごとに、オブジェクトの像の色を、基準画像における同じオブジェクトの像の色を用いて決定する画素値決定部と、表示画像のデータを出力する出力部と、を備え、画素値決定部は、オブジェクトの像の色を決定するために参照する基準画像を、オブジェクトの位置に応じて切り替えることを特徴とする。

　本発明のさらに別の態様は、基準画像生成方法に関する。この基準画像生成方法は、表示対象のオブジェクトを含む空間を任意視点から見たときの表示画像を生成するのに用いる、当該空間を所定の基準視点から見たときの像を表す基準画像のデータを生成する基準画像生成装置が、オブジェクトの変位を規定する情報に従い、空間において当該オブジェクトを変位させるステップと、空間に基準視点を配置し、オブジェクトの変位に応じて当該基準視点を変位させるステップと、基準視点に対応する視野で、基準画像を所定のフレームレートで生成しメモリに出力するステップと、を含むことを特徴とする。

　本発明のさらに別の態様は、表示画像生成方法に関する。この表示画像生成方法は、表示画像生成装置が、表示対象の空間におけるオブジェクトの変位を規定する情報をメモリから読み出すステップと、オブジェクトを含む空間を、オブジェクトの変位に応じて変位する基準視点から見たときの像を表す基準画像の動画データをメモリから読み出すステップと、ユーザの視点に係る情報を取得するステップと、空間を前記ユーザの視点から見たときのオブジェクトの像を、所定のレートで表示画像の平面に表すステップと、表示画像における画素ごとに、オブジェクトの像の色を、基準画像における同じオブジェクトの像の色を用いて決定するステップと、表示画像のデータを出力するステップと、を含むことを特徴とする。

　本発明のさらに別の態様も、表示画像生成方法に関する。この表示画像生成方法は、表示対象の空間におけるオブジェクトの変位を規定する情報を格納するオブジェクトモデル記憶部と、オブジェクトを含む空間を、所定の複数の基準視点から見たときの像を表す基準画像の動画データを格納する基準画像データ記憶部と、ユーザの視点に係る情報を取得する視点情報取得部と、空間をユーザの視点から見たときのオブジェクトの像を、所定のレートで表示画像の平面に表す射影部と、表示画像における画素ごとに、オブジェクトの像の色を、基準画像における同じオブジェクトの像の色を用いて決定する画素値決定部と、表示画像のデータを出力する出力部と、を備え、画素値決定部は、オブジェクトの像の色を決定するために参照する基準画像を、前記オブジェクトの位置に応じて切り替えることを特徴とする。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

　本発明によれば、視点に対する画像表示の応答性と画質を両立させることができる。

本実施の形態のヘッドマウントディスプレイの外観例を示す図である。本実施の形態の画像処理システムの構成図である。本実施の形態の表示画像生成装置がヘッドマウントディスプレイに表示させる画像世界の例を説明するための図である。本実施の形態の表示画像生成装置の内部回路構成を示す図である。本実施の形態における表示画像生成装置の機能ブロックを示す図である。本実施の形態における基準画像生成装置の機能ブロックを示す図である。本実施の形態における基準視点の設定例を示す図である。本実施の形態における画素値決定部が、表示画像の画素値の決定に用いる基準画像を選択する手法を説明するための図である。本実施の形態における画素値決定部が、表示画像の画素値を決定する手法を説明するための図である。本実施の形態において表示画像生成装置が視点に応じた表示画像を生成する処理手順を示すフローチャートである。本実施の形態において基準画像データ記憶部に格納されるデータの構造例を示す図である。本実施の形態において動きのあるオブジェクトを表すための基準視点の設定例を示す図である。本実施の形態において表示画像の生成に用いる基準画像を、オブジェクトの動きに応じて切り替える態様を説明するための図である。本実施の形態において、基準画像のデータの圧縮／伸張処理機能を導入した場合の、基準画像生成装置の基準画像データ生成部と、表示画像生成装置の画素値決定部の機能ブロックの構成を示す図である。本実施の形態におけるデータ圧縮部によって生成される、統合動画像の例を模式的に示す図である。本実施の形態におけるデータ圧縮部によって生成される、統合動画像の別の例を模式的に示す図である。本実施の形態においてデータ圧縮部が実施する圧縮処理の一つとして、変化のある領域の画像のみを時系列データとする手法を説明するための図である。本実施の形態においてデータ圧縮部が実施する圧縮処理の一つとして、変化のある画素のみを表す情報を時系列データとする手法を説明するための図である。本実施の形態の基準画像の動画において前後する２つのフレームを例示する図である。本実施の形態において、データ圧縮部が基準画像の圧縮処理をタイル画像単位で制御する手法を説明するための図である。本実施の形態において、基準画像およびデプス画像の圧縮処理をタイル画像単位で制御する態様における、圧縮後のデータの構造例を示す図である。本実施の形態において、基準画像およびデプス画像の全方位の画像をキューブマップで表した場合の、データ圧縮処理の例を説明するための図である。本実施の形態において、参照先の基準画像に係る情報を、オブジェクト表面上の位置に対応づけて保存する機能を導入した場合の、基準画像生成装置の基準画像データ生成部と、表示画像生成装置の画素値決定部の機能ブロックの構成を示す図である。本実施の形態において参照先の基準画像の識別情報をオブジェクトモデルに対応づける手法の例を説明するための図である。本実施の形態において参照先の基準画像の識別情報をオブジェクトモデルに対応づける手法の別の例を説明するための図である。本実施の形態において参照先の基準画像の識別情報をオブジェクトモデルに対応づける手法のさらに別の例を説明するための図である。

　本実施の形態は基本的に、ユーザの視点に応じた視野で画像を表示する。その限りにおいて画像を表示させる装置の種類は特に限定されず、ウェアラブルディスプレイ、平板型のディスプレイ、プロジェクタなどのいずれでもよいが、ここではウェアラブルディスプレイのうちヘッドマウントディスプレイを例に説明する。

　ウェアラブルディスプレイの場合、ユーザの視線は内蔵するモーションセンサによりおよそ推定できる。その他の表示装置の場合、ユーザがモーションセンサを頭部に装着したり、注視点検出装置を用いたりすることで視線を検出できる。あるいはユーザの頭部にマーカーを装着させ、その姿を撮影した画像を解析することにより視線を推定してもよいし、それらの技術のいずれかを組み合わせてもよい。

　図１は、ヘッドマウントディスプレイ１００の外観例を示す。ヘッドマウントディスプレイ１００は、本体部１１０、前頭部接触部１２０、および側頭部接触部１３０を含む。ヘッドマウントディスプレイ１００は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。ヘッドマウントディスプレイ１００に内蔵または外付けされたモーションセンサにより、ヘッドマウントディスプレイ１００を装着したユーザの頭部の回転角や傾きといった姿勢情報を計測することができる。

　ヘッドマウントディスプレイ１００は、「ウェアラブルディスプレイ装置」の一例である。ウェアラブルディスプレイ装置には、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドホン、ヘッドセット（マイクつきヘッドホン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなど任意の装着可能なディスプレイ装置が含まれる。

　図２は、本実施の形態に係る画像処理システムの構成図を示している。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢなどの周辺機器を接続するインタフェース２０５により表示画像生成装置２００に接続される。表示画像生成装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバはヘッドマウントディスプレイ１００に表示させる画像のデータを表示画像生成装置２００に提供してもよい。

　表示画像生成装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに応じた視野となるように表示画像を生成してヘッドマウントディスプレイ１００に出力する。この限りにおいて画像を表示する目的は様々であってよい。例えば表示画像生成装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界が実世界かに関わらず観賞用として動画像などを表示させてもよい。表示装置をヘッドマウントディスプレイとした場合、視点を中心に広い角度範囲でパノラマ画像を表示できるようにすれば、表示世界に没入した状態を演出することもできる。

　図３は、本実施の形態で表示画像生成装置２００がヘッドマウントディスプレイ１００に表示させる画像世界の例を説明するための図である。この例ではユーザ１２が仮想空間である部屋にいる状態を作り出している。仮想空間を定義するワールド座標系には図示するように、壁、床、窓、テーブル、テーブル上の物などのオブジェクトを配置している。表示画像生成装置２００は当該ワールド座標系に、ユーザ１２の視点の位置や視線の方向に応じてビュースクリーン１４を定義し、そこにオブジェクトの像を射影することで表示画像を描画する。

　ユーザ１２の視点の位置や視線の方向（以後、これらを包括的に「視点」と呼ぶ場合がある）を所定のレートで取得し、これに応じてビュースクリーン１４の位置や方向を変化させれば、ユーザの視点に対応する視野で画像を表示させることができる。視差を有するステレオ画像を生成し、ヘッドマウントディスプレイ１００において左右の目の前に表示させれば、仮想空間を立体視させることもできる。これによりユーザ１２は、あたかも表示世界の部屋の中にいるような仮想現実を体験することができる。なお図示する例では表示対象を、コンピュータグラフィックスを前提とする仮想世界としたが、パノラマ写真など実世界の撮影画像としたり、それと仮想世界とを組み合わせたりしてもよい。

　このような表示に臨場感を持たせるためには、表示対象の空間で生じる物理現象をできるだけ正確に反映させることが望ましい。例えばオブジェクト表面での拡散反射や鏡面反射、環境光など、目に到達する様々な光の伝播を正確に計算することにより、視点の動きによるオブジェクト表面の色味や輝度の変化をよりリアルに表現することができる。これを実現する代表的な手法がレイトレーシングである。しかしながら自由視点を許容する環境では特に、そのような物理計算を高精度に行うことにより、表示までに看過できないレイテンシが生じることが考えられる。

　そこで本実施の形態では、特定の視点から見た画像を前もって取得しておき、任意の視点に対する表示画像の画素値の決定に利用する。すなわち表示画像に像として表れるオブジェクトの色を、前もって取得しておいた画像の対応する箇所から抽出することで決定する。以後、事前の画像取得において設定する視点を「基準視点」、基準視点から見た事前に取得する画像を「基準画像」または「基準視点の画像」と呼ぶ。表示画像の描画に用いるデータの一部を、基準画像として事前に取得しておくことにより、視点の移動から表示までのレイテンシを抑えられる。また基準画像の生成段階においては基本的に時間的な制約がないため、レイトレーシングなどの物理計算を、時間をかけて高精度に行うことができる。

　基準視点を、表示時の視点に想定される可動範囲に分散させて複数個設定し、それぞれについて基準画像を準備しておけば、複数の視点から見た同じオブジェクトの色味を加味して、表示時の視点に応じたオブジェクトをより高精度に表現できる。より具体的には、表示時の視点が基準視点の一つと一致しているとき、当該基準視点に対応する基準画像の画素値をそのまま採用できる。表示時の視点が複数の基準視点の間にあるとき、当該複数の基準視点に対応する基準画像の画素値を合成することにより、表示画像の画素値を決定する。

　図４は表示画像生成装置２００の内部回路構成を示している。表示画像生成装置２００は、ＣＰＵ（Central Processing Unit）２２２、ＧＰＵ（Graphics Processing Unit)２２４、メインメモリ２２６を含む。これらの各部は、バス２３０を介して相互に接続されている。バス２３０にはさらに入出力インタフェース２２８が接続されている。

　入出力インタフェース２２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インタフェースや、有線又は無線ＬＡＮのネットワークインタフェースからなる通信部２３２、ハードディスクドライブや不揮発性メモリなどの記憶部２３４、ヘッドマウントディスプレイ１００などの表示装置へデータを出力する出力部２３６、ヘッドマウントディスプレイ１００からデータを入力する入力部２３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部２４０が接続される。

　ＣＰＵ２２２は、記憶部２３４に記憶されているオペレーティングシステムを実行することにより表示画像生成装置２００の全体を制御する。ＣＰＵ２２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２２６にロードされた、あるいは通信部２３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部２３６に出力する。メインメモリ２２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

　図５は、本実施の形態における表示画像生成装置２００の機能ブロックの構成を示している。表示画像生成装置２００は上述のとおり、電子ゲームを進捗させたりサーバと通信したりする一般的な情報処理を行ってよいが、図５では特に、視点に応じて表示画像のデータを生成する機能に着目して示している。なお図５で示される表示画像生成装置２００の機能のうち少なくとも一部を、ヘッドマウントディスプレイ１００に実装してもよい。あるいは、表示画像生成装置２００の少なくとも一部の機能を、ネットワークを介して表示画像生成装置２００に接続されたサーバに実装してもよい。

　また図５および後述する図６に示す機能ブロックは、ハードウェア的には、図４に示したＣＰＵ、ＧＰＵ、各種メモリなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　表示画像生成装置２００は、ユーザの視点に係る情報を取得する視点情報取得部２６０、表示対象のオブジェクトからなる空間を構築する空間構築部２６２、ビュースクリーンにオブジェクトを射影する射影部２６４、オブジェクトの像を構成する画素の値を決定し表示画像を完成させる画素値決定部２６６、表示画像のデータをヘッドマウントディスプレイ１００に出力する出力部２６８を備える。表示画像生成装置２００はさらに、空間の構築に必要なオブジェクトモデルに係るデータを記憶するオブジェクトモデル記憶部２５４、および、基準画像に係るデータを記憶する基準画像データ記憶部２５６を備える。

　視点情報取得部２６０は、図４の入力部２３８、ＣＰＵ２２２などで構成され、ユーザの視点の位置や視線の方向を所定のレートで取得する。例えばヘッドマウントディスプレイ１００に内蔵した加速度センサの出力値を逐次取得し、それによって頭部の姿勢を取得する。さらにヘッドマウントディスプレイ１００の外部に図示しない発光マーカーを設け、その撮影画像を図示しない撮像装置から取得することで、実空間での頭部の位置を取得する。

　あるいはヘッドマウントディスプレイ１００側に、ユーザの視野に対応する画像を撮影する図示しない撮像装置を設け、ＳＬＡＭ（Simultaneous Localization and Mapping）などの技術により頭部の位置や姿勢を取得してもよい。このように頭部の位置や姿勢を取得できれば、ユーザの視点の位置および視線の方向はおよそ特定できる。ユーザの視点に係る情報を取得する手法は、ヘッドマウントディスプレイ１００を利用する場合に限らず様々に考えられることは当業者には理解されるところである。

　空間構築部２６２は、図４のＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６などで構成され、表示対象のオブジェクトが存在する空間の形状モデルを構築する。図３で示した例では、室内を表す壁、床、窓、テーブル、テーブル上の物などのオブジェクトを、仮想空間を定義するワールド座標系に配置する。個々のオブジェクトの形状に係る情報はオブジェクトモデル記憶部２５４から読み出す。ここで空間構築部２６２は、オブジェクトの形状、位置、姿勢を決定すればよく、一般的なコンピュータグラフィクスにおけるサーフェスモデルに基づくモデリングの手法を利用できる。

　なお本実施の形態では、仮想空間においてオブジェクトが移動したり変形したりする様子を表現できるようにする。このためオブジェクトモデル記憶部２５４には、オブジェクトの動きや変形を規定するデータも格納しておく。例えばオブジェクトの位置や形状を所定の時間間隔で表した時系列データを格納しておく。あるいはそのような変化を発生させるためのプログラムを格納しておく。空間構築部２６２は当該データを読み出し、仮想空間において配置したオブジェクトを変化させる。

　射影部２６４は、図４のＧＰＵ２２４、メインメモリ２２６などで構成され、視点情報取得部２６０が取得した視点の情報に応じてビュースクリーンを設定する。すなわち頭部の位置や顔面の向く方向に対応させてスクリーン座標を設定することにより、ユーザの位置や向く方向に応じた視野で表示対象の空間がスクリーン平面に描画されるようにする。

　射影部２６４はさらに、空間構築部２６２が構築した空間内のオブジェクトを、所定のレートでビュースクリーンに射影する。この処理も、ポリゴンなどのメッシュを透視変換する一般的なコンピュータグラフィクスの手法を利用できる。画素値決定部２６６は、図４のＧＰＵ２２４、メインメモリ２２６などで構成され、ビュースクリーンに射影されてなるオブジェクトの像を構成する画素の値を決定する。このとき上述のとおり基準画像のデータを基準画像データ記憶部２５６から読み出し、同じオブジェクト上のポイントを表す画素の値を抽出して利用する。

　例えば実際の視点の周囲の基準視点に対し生成された基準画像から対応する画素を特定し、実際の視点と基準視点との距離や角度に基づく重みで平均することにより、表示画像の画素値とする。レイトレーシングなどにより時間をかけて正確に基準画像を生成しておくことにより、運用時には、対応する画素値を読み出し加重平均する、という負荷の軽い計算で、レイトレーシングをした場合に近い高精細な画像表現を実現できる。

　オブジェクトの移動や変形を表す場合、基準画像は当然、基準視点からその様子を見た動画像となる。したがって画素値決定部２６６は、射影部２６４が射影してなるオブジェクトの動画像に対し、対応する時刻の基準画像のフレームを参照する。すなわち画素値決定部２６６は、空間構築部２６２が生成する仮想空間でのオブジェクトの動きに対し、同期をとったうえで基準画像の動画像を参照する。

　なお基準画像は、レイトレーシングによって描画されたグラフィックス画像に限らず、事前に基準視点から実空間を撮影した画像などでもよい。この場合、空間構築部２６２は撮影対象となった実空間の形状モデルを構築し、射影部２６４は表示時の視点に応じたビュースクリーンに当該形状モデルを射影する。あるいは表示時の視点に応じた視野で撮影対象のオブジェクトの像の位置を決定できれば、空間構築部２６２と射影部２６４の処理を省略することもできる。

　表示画像を立体視させる場合、射影部２６４および画素値決定部２６６は、左目および右目の視点に対しそれぞれ処理を行う。出力部２６８は、図４のＣＰＵ２２２、メインメモリ２２６、出力部２３６などで構成され、画素値決定部２６６が画素値を決定して完成させた表示画像のデータを、ヘッドマウントディスプレイ１００に所定のレートで送出する。立体視のためステレオ画像を生成した場合、出力部２６８はそれらを左右につなげた画像を表示画像として生成し出力する。レンズを介して表示画像を鑑賞する構成のヘッドマウントディスプレイ１００の場合、出力部２６８は、当該レンズによる歪みを考慮した補正を表示画像に施してもよい。

　図６は、基準画像のデータを生成する装置の機能ブロックを示している。基準画像生成装置３００は、図５の表示画像生成装置２００の一部としてもよいし、表示に用いるデータを生成する装置として独立に設けてもよい。また生成された基準画像のデータと、生成に用いたオブジェクトモデル、およびその動きを規定するデータを含む電子コンテンツとして記録媒体などに格納しておき、運用時に表示画像生成装置２００におけるメインメモリにロードできるようにしてもよい。基準画像生成装置３００の内部回路構成は、図４で示した表示画像生成装置２００の内部回路構成と同様でよい。

　基準画像生成装置３００は、基準視点を設定する基準視点設定部３１０、表示対象のオブジェクトからなる空間を構築する空間構築部３１６、構築された空間に基づき基準視点ごとに基準画像のデータを生成する基準画像データ生成部３１８、空間の構築に必要なオブジェクトモデルに係るデータを記憶するオブジェクトモデル記憶部３１４、および、生成した基準画像のデータを格納する基準画像データ記憶部２５６を備える。

　基準視点設定部３１０は、入力部２３８、ＣＰＵ２２２、メインメモリ２２６などで構成され、表示対象の空間における基準視点の位置座標を設定する。好適にはユーザがとり得る視点の範囲を網羅するように複数の基準視点を分布させる。このような範囲や基準視点の数の適正値は、表示対象の空間の構成、表示の目的、表示に求められる精度、表示画像生成装置２００の処理性能などによって異なる。このため基準視点設定部３１０は、基準視点の位置座標の設定入力を、表示コンテンツの作成者から受け付けるようにしてもよい。あるいは基準視点設定部３１０は後述するように、オブジェクトの動きに応じて基準視点の位置を変化させてもよい。

　空間構築部３１６は、ＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６などで構成され、表示対象のオブジェクトが存在する空間の形状モデルを構築する。この機能は図５で示した空間構築部２６２の機能に対応する。一方、図６の基準画像生成装置３００では、レイトレーシングなどによりオブジェクトの像を正確に描画するため、オブジェクトの色や材質を加味したソリッドモデルに基づくモデリング手法を用いる。そのためオブジェクトモデル記憶部３１４には、色や材質などの情報を含むオブジェクトのモデルデータを格納しておく。

　また空間構築部３１６は、仮想空間においてオブジェクトを移動させたり変形させたりする。あるいは照明の状態を変化させたりオブジェクトの色を変化させたりしてもよい。このような変化を規定する情報は、オブジェクトモデル記憶部３１４に格納しておいたものを読み出してもよいし、表示コンテンツの作成者が直接、入力することにより設定してもよい。後者の場合、空間構築部３１６は、当該入力情報に従いオブジェクトを変化させるとともに、その変化を規定する情報をオブジェクトモデル記憶部３１４に格納することで、表示時に同じ変化が生じるようにする。

　基準画像データ生成部３１８は、ＣＰＵ２２２、ＧＰＵ２２４、メインメモリ２２６などで構成され、基準視点設定部３１０が設定した基準視点ごとに、当該基準視点から見える表示対象のオブジェクトを所定のレートで描画する。好適には基準視点から全方位を網羅するパノラマ動画として基準画像を準備しておくことにより、表示時の視点も全方位に自由に変化させることができる。また光線の伝播について時間をかけて計算することにより、各基準視点における見え方を基準画像に正確に表すことが望ましい。

　基準画像データ生成部３１８はまた、各基準画像に対応するデプス画像を生成する。すなわち基準画像の各画素が表すオブジェクトの、スクリーン面からの距離（デプス値）を求め、それを画素値として表すデプス画像を生成する。なお基準画像を全方位のパノラマ画像とした場合、ビュースクリーンは球面となるため、デプス値は当該球面の法線方向におけるオブジェクトまでの距離となる。生成したデプス画像は、表示画像の画素値を決定する際に参照する基準画像の選択に利用される。

　あるいは後述するように、基準画像データ生成部３１８は、表示時に参照先の基準画像を選択する際に用いる別の情報を、デプス画像の代わりに生成してもよい。具体的には、オブジェクト表面の位置に対し、当該位置を描画する際に参照すべき基準画像をあらかじめ求めておく。この場合、基準画像データ生成部３１８はオブジェクトモデルの付加情報として、当該情報をオブジェクトモデル記憶部３１４に格納する。なお図５のオブジェクトモデル記憶部２５４には、図６のオブジェクトモデル記憶部３１４に格納されるデータのうち、少なくとも表示画像の生成に用いるデータを格納すればよい。

　基準画像データ生成部３１８は生成したデータを、基準視点の位置座標と対応づけて基準画像データ記憶部２５６に格納する。基準画像データ記憶部２５６には基本的には１つの基準視点に対し基準画像とデプス画像の対が格納されるが、上述のとおり表示時にデプス画像を用いない態様においては、１つの基準視点に対し基準画像のみが格納される。以後、基準画像とデプス画像の対についても「基準画像のデータ」と呼ぶことがある。

　本実施の形態では基準画像やデプス画像が動画となるため、基準視点の数によって基準画像のデータサイズが増大しやすい。そこで基準画像データ生成部３１８は、生成した動画のうち、動きのある領域についてのみ画像を更新するようなデータ構造とすることで、データサイズや表示画像生成時の処理の負荷を軽減させる。また同一時刻の基準画像のフレームとデプス画像のフレームを１つのフレーム内で表した統合動画像を生成し、その単位で圧縮符号化することにより、データサイズを圧縮するとともに、表示時の復号伸張処理や同期処理の負荷を軽減させる。詳細は後に述べる。

　図７は基準視点の設定例を示している。この例ではユーザ１２が立ったときの目の高さの水平面２０ａと、座ったときの目の高さの水平面２０ｂのそれぞれに、黒丸で示すように複数個の基準視点を設定している。一例として水平面２０ａは床から１．４ｍ、水平面２０ｂは床から１．０ｍなどである。またユーザの標準位置（ホームポジション）を中心とする左右方向（図のＸ軸方向）および前後方向（図のＹ軸方向）に、表示内容に応じた移動範囲を想定し、水平面２０ａ、２０ｂ上の対応する矩形領域に基準視点を分布させる。

　この例では、矩形領域をＸ軸方向、Ｙ軸方向にそれぞれ４等分する格子の交点に１つおきに基準視点を配置している。また上下の水平面２０ａ、２０ｂで基準視点が重ならないようにずらして配置している。結果として図７に示す例では、上の水平面２０ａにおいて１３点、下の水平面２０ｂにおいて１２点の、合計２５点の基準視点が設定されている。

　ただし基準視点の分布をこれに限る主旨ではなく、垂直面なども含めた複数の平面上に分布させてもよいし、球面などの曲面上に分布させてもよい。また分布を均等にせず、ユーザがいる確率の高い範囲には他より高い密度で基準視点を分布させてもよい。また上述のとおり、基準視点を表示対象のオブジェクトに対応するように配置し、オブジェクトの移動に応じて基準視点を移動させてもよい。この場合、基準画像は各基準視点の動きを反映するような動画像のデータとなる。

　またオブジェクトごとに、それを囲むように基準視点を設定し、各オブジェクトのみを表す基準画像を準備しておくことにより、表示時にはまずオブジェクトごとの画像を生成し、それらを合成することで表示画像を生成してもよい。このようにすることでオブジェクトと基準視点の位置関係を独立して制御できる。結果として例えば、重要なオブジェクトや接近して見られる可能性の高いオブジェクトについてより詳細に表現したり、オブジェクトごとに異なる動きをしても全てのオブジェクトの詳細度を均一に表現したりできる。また背景など停止しているオブジェクトについては、固定の基準視点からの静止画として基準画像を表すことにより、データサイズの増大を抑えられる。

　図８は、表示画像生成装置２００の画素値決定部２６６が、表示画像の画素値の決定に用いる基準画像を選択する手法を説明するための図である。同図はオブジェクト２４を含む表示対象の空間を俯瞰した状態を示している。この空間において、５つの基準視点２８ａ～２８ｅが設定され、それぞれに対し基準画像のデータが生成されているとする。同図において基準視点２８ａ～２８ｅを中心とする円は、全天球のパノラマ画像として準備した基準画像のスクリーン面を模式的に示している。

　画像表示時のユーザの視点が仮想カメラ３０の位置にあるとすると、射影部２６４は当該仮想カメラ３０に対応するようにビュースクリーンを決定し、オブジェクト２４のモデル形状を射影する。その結果、表示画像における画素とオブジェクト２４の表面上の位置との対応関係が判明する。そして、例えばオブジェクト２４の表面のポイント２６の像を表す画素の値を決定する場合、画素値決定部２６６はまず、当該ポイント２６が像として表れている基準画像を特定する。

　ワールド座標系における各基準視点２８ａ～２８ｅとポイント２６の位置座標は既知であるため、それらの距離は容易に求められる。図ではその距離を、各基準視点２８ａ～２８ｅとポイント２６を結ぶ線分の長さで示している。またポイント２６を各基準視点のスクリーン面に射影すれば、各基準画像においてポイント２６の像が表れるべき画素の位置も特定できる。一方、基準視点の位置によっては、ポイント２６がオブジェクトの裏側になったり前にあるオブジェクトに隠蔽されていたりして、基準画像の当該位置にその像が表れないことがある。

　そこで画素値決定部２６６は、各基準画像に対応するデプス画像を確認する。デプス画像の画素値は、対応する基準画像に像として現れるオブジェクトの、スクリーン面からの距離を表している。したがって、基準視点からポイント２６までの距離と、デプス画像におけるポイント２６の像が表れるべき画素のデプス値とを比較することで、当該像がポイント２６の像であるか否かを判定する。

　例えば基準視点２８ｃからポイント２６への視線上には、オブジェクト２４の裏側のポイント３２があるため、対応する基準画像におけるポイント２６の像が表れるべき画素は、実際にはポイント３２の像を表している。したがって対応するデプス画像の画素が示す値はポイント３２までの距離であり、基準視点２８ｃを始点とする値に換算した距離Ｄｃは、座標値から計算されるポイント２６までの距離ｄｃより明らかに小さくなる。そこでデプス画像から得られる距離Ｄｃと座標値から得られるポイント２６までの距離ｄｃとの差がしきい値以上であるとき、ポイント２６を表す画素値の計算から当該基準画像を除外する。

　同様に、基準視点２８ｄ、２８ｅのデプス画像から得られる対応する画素のオブジェクトまでの距離Ｄｄ、Ｄｅは、各基準視点２８ｄ、２８ｅからポイント２６までの距離としきい値以上の差があるとして計算から除外される。一方、基準視点２８ａ、２８ｂのデプス画像から得られる対応する画素のオブジェクトまでの距離Ｄａ、Ｄｂは、各基準視点２８ａ、２８ｂからポイント２６までの距離と略同一であることがしきい値判定により特定できる。画素値決定部２６６は、このようにデプス値を用いたスクリーニングを行うことにより、表示画像の画素ごとに、画素値の算出に用いる基準画像を選択する。

　図８では５つの基準視点を例示しているが、実際には図７で示したように分布させた基準視点の全てに対して、デプス値を用いた比較を行う。これにより精度の高い表示画像を描画できる。一方、表示画像の全画素について、２５程度のデプス画像および基準画像を参照することは、装置の処理性能によっては看過できない負荷を生むことも考えられる。そこで画素値の決定に用いる基準画像を上述のように選択するのに先立ち、所定の基準によって選択候補とする基準画像を絞りこんでもよい。例えば仮想カメラ３０から所定の範囲内に存在する基準視点を抽出し、それらからの基準画像に限定してデプス値を用いた選択処理を実施する。

　このとき、抽出する基準視点の上限を１０個、２０個などと設定しておき、そのような上限に収まるように、抽出対象の範囲を調整したり、ランダムあるいは所定の規則に基づき取捨選択したりしてもよい。また表示画像上の領域によって、抽出する基準視点の数を異ならせてもよい。例えばヘッドマウントディスプレイを用いて仮想現実を実現する場合、表示画像の中心領域はユーザの視線の向く方向と一致するため、周辺領域より高い精度での描画が望ましい。

　そこで表示画像の中心から所定範囲内にある画素については、ある程度多くの基準視点（基準画像）を選択候補とする一方、それより外側にある画素については、選択候補の数を減らす。一例として中心領域は２０個程度、周辺領域は１０個程度の基準画像を選択候補とすることが考えられる。ただし領域数は２つに限らず、３領域以上としてもよい。また表示画像中心からの距離に依存した区分けに限らず、注目されるオブジェクトの像の領域などにより動的に区分けすることも考えられる。このように、オブジェクトの像が写っているか否か以外の要因に基づき、参照する基準画像の数を制御することにより、装置の処理性能や表示に求められる精度、表示の内容などを考慮した最適な条件での表示画像描画が可能となる。

　図９は、画素値決定部２６６が表示画像の画素値を決定する手法を説明するための図である。図８に示したように、基準視点２８ａ、２８ｂの基準画像に、オブジェクト２４のポイント２６の像が表されていることが判明しているとする。画素値決定部２６６は基本的に、それらの基準画像におけるポイント２６の像の画素値をブレンドすることにより、実際の視点に対応する表示画像におけるポイント２６の像の画素値を決定する。

　ここで、ポイント２６の像の、基準視点２８ａ、２８ｂの基準画像における画素値（カラー値）をそれぞれｃ_１、ｃ_２とすると、表示画像における画素値Ｃを次のように計算する。
　Ｃ＝ｗ_１・ｃ_１＋ｗ_２・ｃ_２
ここで係数ｗ_１、ｗ_２はｗ_１＋ｗ_２＝１の関係を有する重み、すなわち基準画像の寄与率を表し、基準視点２８ａ、２８ｂと、実際の視点を表す仮想カメラ３０との位置関係に基づき決定する。例えば仮想カメラ３０から基準視点までの距離が近いほど大きな係数とすることで寄与率を大きくする。

　この場合、仮想カメラ３０から基準視点２８ａ、２８ｂまでの距離をΔａ、Δｂとし、ｓｕｍ＝１／Δａ^２＋１／Δｂ^２とおくと、重み係数を次のような関数とすることが考えられる。
　ｗ_１＝（１／Δａ^２）／ｓｕｍ
　ｗ_２＝（１／Δｂ^２）／ｓｕｍ
上式を、用いる基準画像の数をＮ、基準視点の識別番号をｉ（１≦ｉ≦Ｎ）、仮想カメラ３０からｉ番目の基準視点までの距離をΔｉ、各基準画像における対応する画素値をｃ_ｉ、重み係数をｗ_ｉとして一般化すると次のようになる。

　なお上式においてΔｉが０の場合、すなわち仮想カメラ３０がいずれかの基準視点と一致する場合は、対応する基準画像の画素値に対する重み係数を１、他の基準画像の画素値に対する重み係数を０とする。これにより、当該視点に対し精度よく作成しておいた基準画像を、そのまま表示画像に反映させることができる。ただし計算式をこれに限る主旨ではない。

　また重み係数の算出に用いるパラメータは仮想カメラから基準視点までの距離に限らない。例えば仮想カメラ３０からポイント２６への視線ベクトルＶｒに対する、各基準視点からポイント２６への視線ベクトルＶａ、Ｖｂのなす角度θａ、θｂ（０≦θａ，θｂ≦９０°）に基づいてもよい。例えばベクトルＶａおよびＶｂとベクトルＶｒとの内積（Ｖａ・Ｖｒ）、（Ｖｂ・Ｖｒ）を用いて、重み係数を次のように算出する。
　ｗ_１＝（Ｖａ・Ｖｒ）／（（Ｖａ・Ｖｒ）＋（Ｖｂ・Ｖｒ））
　ｗ_２＝（Ｖｂ・Ｖｒ）／（（Ｖａ・Ｖｒ）＋（Ｖｂ・Ｖｒ））
この式を、上述同様、用いる基準画像の数をＮとし、基準視点ｉからポイント２６への視線ベクトルをＶ_ｉ、重み係数をｗ_ｉとして一般化すると次のようになる。

　いずれにしろポイント２６に対する状態が仮想カメラ３０に近い基準視点ほど大きい重み係数となるような算出規則を導入すれば、具体的な計算式は特に限定されない。距離および角度の双方から多角的に「状態の近さ」を評価して重み係数を決定してもよい。さらにオブジェクト２４の、ポイント２６における表面形状を加味してもよい。オブジェクトからの反射光の輝度は一般的に表面の傾斜（法線）に基づく角度依存性を有する。そこで、ポイント２６における法線ベクトルと仮想カメラ３０からの視線ベクトルＶｒとのなす角度と、当該法線ベクトルと各基準視点からの視線ベクトルＶａ、Ｖｂとのなす角度とを比較し、その差が小さいほど重み係数を大きくしてもよい。

　また、重み係数を算出する関数自体を、オブジェクト２４の材質や色などの属性によって切り替えてもよい。例えば鏡面反射成分が支配的な材質の場合、強い指向性を有し、視線ベクトルの角度によって観測される色が大きく変化する。一方、拡散反射成分が支配的な材質の場合、視線ベクトルの角度に対する色の変化がそれほど大きくない。そこで、前者の場合は仮想カメラ３０からポイント２６への視線ベクトルＶｒに近い視線ベクトルを持つ基準視点ほど重み係数を大きくするような関数を用い、後者の場合は、全ての基準視点に対し重み係数を等しくしたり、鏡面反射成分が支配的な場合と比較し角度依存性が小さくなるような関数を用いたりしてもよい。

　また同じ理由から、拡散反射成分が支配的な材質の場合、表示画像の画素値Ｃの決定に用いる基準画像を間引いたり、実際の視線ベクトルＶｒに所定値以上、近い角度の視線ベクトルを持つ基準画像のみを用いたりしてその数自体を減らし、計算の負荷を抑えてもよい。このように、画素値Ｃの決定規則をオブジェクトの属性によって異ならせる場合、基準画像データ記憶部２５６には、基準画像の像ごとに、それが表すオブジェクトの材質など、属性を表すデータを対応づけて格納しておく。

　以上述べた態様により、オブジェクトの表面形状や材質を加味し、鏡面反射による光の指向性などをより正確に表示画像に反映させることができる。なお重み係数の決定には、オブジェクトの形状に基づく計算、属性に基づく計算、仮想カメラから基準視点までの距離に基づく計算、各視線ベクトルのなす角度に基づく計算、のいずれか２つ以上を組み合わせてもよい。

　次に、これまで述べた構成によって実現できる画像生成装置の動作について説明する。図１０は、表示画像生成装置２００が視点に応じた表示画像を生成する処理手順を示すフローチャートである。このフローチャートはユーザ操作によりアプリケーション等が開始され初期画像が表示されるとともに、視点の移動を受け付ける状態となったときに開始される。上述のとおり図示する表示処理と並行して電子ゲームなど各種情報処理がなされてもよい。まず空間構築部２６２は、表示対象のオブジェクトが存在する３次元空間の初期状態をワールド座標系に形成する（Ｓ１０）。

　一方、視点情報取得部２６０は、ユーザ頭部の位置や姿勢に基づき、その時点での視点の位置や視線の方向を特定する（Ｓ１２）。次に射影部２６４は、視点に対するビュースクリーンを設定し、表示対象の空間に存在するオブジェクトを射影する（Ｓ１４）。上述のとおりこの処理では、３次元モデルを形成するポリゴンメッシュの頂点を透視変換するなど表面形状のみを考慮すればよい。次に画素値決定部２６６は、そのように射影されたメッシュ内部の画素のうち対象画素を１つ設定し（Ｓ１６）、その画素値の決定に用いる基準画像を選択する（Ｓ１８）。

　すなわち上述のように、対象画素が表すオブジェクト上のポイントが像として表れている基準画像を、各基準画像のデプス画像に基づき決定する。そして画素値決定部２６６は、それらの基準画像の基準視点と、実際の視点に対応する仮想カメラとの位置関係やオブジェクトの形状、材質などに基づき重み係数を決定したうえ、各基準画像の対応する画素値を加重平均するなどして対象画素の値を決定する（Ｓ２０）。なお基準画像の画素値から対象画素の画素値を導出する計算は、加重平均以外に統計処理や補間処理として様々に考えられることは当業者には理解されるところである。

　Ｓ１８、Ｓ２０の処理を、ビュースクリーン上の全ての画素について繰り返す（Ｓ２２のＮ、Ｓ１６）。全画素の画素値を決定したら（Ｓ２２のＹ）、出力部２６８は当該データを表示画像のデータとしてヘッドマウントディスプレイ１００に出力する（Ｓ２４）。なお左目用、右目用の表示画像を生成する場合は、それぞれについてＳ１６～Ｓ２２の処理を実施するとともに適宜つなげて出力する。表示を終了させる必要がなければ（Ｓ２６のＮ）、空間構築部２６２は次の時間ステップに対し表示対象の空間を形成する（Ｓ１０）。すなわちオブジェクトを初期状態から時間ステップ分だけ動かしたり変形させたりする。そしてその時点でのユーザの視点の情報を取得したうえでビュースクリーンを設定し、表示画像の生成、出力を行う（Ｓ１２～Ｓ２４）。Ｓ１０からＳ２４の処理を表示処理の終了まで繰り返し、表示を終了させる必要が生じたら全ての処理を終了する（Ｓ２６のＹ）。

　なお図１０の例ではビュースクリーン上の全ての画素について基準画像を用いて画素値を決定したが、表示画像上の領域や視点の位置によって描画手法を切り替えてもよい。例えば視点移動による光や色味の変化を必要としないオブジェクトの像については、従来のテクスチャマッピングを行うのみでもよい。また指向性の高い反射光など、局所的な視点でのみ観測される状態は、周囲の基準画像からは表現しきれないことがある。そのため、該当する範囲に視点が入ったときのみレイトレーシングによる描画に切り替えることにより、基準画像として準備するデータの量を抑えることができる。

　図１１は、基準画像データ記憶部２５６に格納されるデータの構造例を示している。基準画像のデータ２７０は、基準画像の識別情報２７２ごとに、基準視点の位置座標２７４、基準画像２７６、およびデプス画像２７８を対応づけたデータ構造を有する。基準視点の位置座標２７４は図７を参照して説明したように、ユーザ１２の可動範囲などを考慮して基準視点設定部３１０が設定する、仮想空間における３次元の位置座標である。

　基準画像２７６は、各基準視点から見たときの、動くオブジェクトを含む空間を表す動画のデータである。デプス画像２７８も、動くオブジェクトを含む空間の、スクリーン面からの距離を表す動画のデータとなる。同図では基準画像を「動画Ａ」、「動画Ｂ」、「動画Ｃ」、デプス画像を「デプス動画Ａ」、「デプス動画Ｂ」、「デプス動画Ｃ」といった文字情報で表象しているが、実際には基準画像データ記憶部２５６における格納領域などの情報を含んでよい。

　図１２は、動きのあるオブジェクトを表すための基準視点の設定例を示している。図の表し方は図８と同様である。同図（ａ）および（ｂ）に示す仮想空間において、オブジェクト３４とオブジェクト３５が存在している。これに対し基準画像生成装置３００の基準視点設定部３１０は、５つの基準視点３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅを設定する。ここで一方のオブジェクト３５が、矢印で示すように移動したとする。これに対し（ａ）は、基準視点を移動させない態様を示している、

　この場合、各基準画像における変化は、主にオブジェクト３５の像の領域に限られる。すなわち基準画像の動画およびデプス画像の動画の各フレームにおいて、広範囲の領域で変化が生じないため、例えばフレーム間差分を利用した圧縮手法を適用することによりデータサイズを小さくできる。一方、（ｂ）に示す態様は、オブジェクト３５の移動に対応するように、基準視点３０ａ～３０ｅの少なくとも一部を移動させ、基準視点３６ａ～３６ｅとしている。図示する例では、オブジェクト３５の速度ベクトルと同じ速度ベクトルで、４つの基準視点３０ａ～３０ｄを基準視点３６ａ～３６ｄに移動させている。ただし移動規則はこれに限定されず、オブジェクトとの距離が所定のしきい値を超えないように、かつ基準視点同士の距離が所定のしきい値を下回らないように、基準視点を移動させればよい。

　このようにすると、移動するオブジェクト３５以外の背景なども相対的に変化するため、フレーム間で変化する領域が広くなりデータ圧縮効率が低くなる。一方、オブジェクトと基準視点の距離を略一定に保てるため、表示画像においてオブジェクトの像の詳細度が変化しにくい。これらの点を踏まえ、オブジェクトを表現するうえで表示画像に求められる詳細度、オブジェクトの移動範囲、好適なデータサイズなどを考慮して、基準視点の設定規則を適宜選択する。

　ただし全ての基準視点を同じ規則で移動させなくてもよい。例えば図示するように、表示対象の空間に複数のオブジェクト３４、３５が存在し、その一方のみが移動する場合、停止しているオブジェクト３４の近傍にある基準視点３０ｅ（＝３６ｅ）は固定としてもよい。複数のオブジェクト間で移動方向や速度が異なる場合も、それらに対応させて、基準視点の移動方向や速度を個別に設定してよい。

　例えばオブジェクトごとに、その所定範囲内に当該オブジェクトを担当する基準視点を分布させ、オブジェクトとの位置関係が維持されるように基準視点の位置を制御する。ここで「担当する」とは位置の追随のみを指し、その基準画像には、当該基準視点から見える全てのオブジェクトを表してよい。あるいは上述したように、担当するオブジェクトの像のみを基準画像として表しておき、表示画像の画素値を決定する際に合成してもよい。

　例えば背景のみを表す基準画像を用いて表示画像の画素値を仮に決定したあと、前景となるオブジェクトのみを表す基準画像を用いて表示画像を上書きする。なお複数のオブジェクトを同時に担当する基準視点があってもよい。例えばある基準視点を、複数のオブジェクトの移動速度ベクトルの平均ベクトルで移動させてもよい。なお（ｂ）の態様では、図１１で示した基準画像のデータのうち、基準視点の位置座標が時間軸に対し変化するデータとなる。

　したがって基準画像生成装置３００は、基準画像のデータと基準視点の位置座標を時間ステップごとに対応づけて基準画像データ記憶部２５６に格納する。表示画像生成装置２００の画素値決定部２６６は、同じ時間ステップにおける基準視点とユーザの視点との位置関係に基づき上述の重み係数を算出したうえで、当該時間ステップの表示画像の画素値を決定する。

　図１２の例は、準備する基準画像の全てを用いて表示画像を生成することを想定したが、基準視点を固定として基準画像を生成したうえで、表示画像の生成に用いる基準画像を、オブジェクトの動きに応じて切り替えてもよい。図１３は、表示画像の生成に用いる基準画像を、オブジェクトの動きに応じて切り替える態様を説明するための図である。図の表し方は図１２と同様である。すなわち仮想空間にはオブジェクト３４、３５が存在し、そのうち後者が矢印で示すように移動する。

　基準画像生成装置３００は、オブジェクトの移動範囲を網羅するように固定の基準視点３８ａ～３８ｆを設定し、それぞれの基準画像を生成しておく。一方、表示画像生成装置２００は、オブジェクトの移動に応じて表示に用いる基準画像を切り替える。例えばオブジェクト３５の初期位置では、実線で示した基準画像（基準視点３８ａ、３８ｂ、３８ｃ、３８ｆの基準画像）を表示画像の生成に用いる。一方、移動後の位置では、破線で示した基準画像（基準視点３８ｄ、３８ｅの基準画像）を表示画像生成時の参照先に加えると同時に、太い実線で示した基準画像（基準視点３８ｂ、３８ｆの基準画像）を参照対象から除外する。

　このとき例えば、オブジェクト３４、３５からの距離がしきい値より小さい基準視点に対応する基準画像を表示画像の生成に用いることとする。このようにしても実質的には基準視点を移動させた場合と同様に、安定した詳細度でオブジェクトを表現できる。また各基準画像の動画自体は視点の移動がないため、フレーム間で変化する領域が限定され圧縮効率が高くなる。ただし基準視点を比較的多く設ける必要があるため、基準画像の動画の数は増える傾向となる。

　これまで述べたように、基準画像は基本的に動画データとなる。したがってＭＰＥＧ（Moving Picture Experts Group）など一般的な動画データの圧縮符号化方式を利用して、基準画像データ記憶部２５６にデータを格納したり伝送したりすることができる。あるいは全天球の画像を正距円筒で表す場合は、一般的な球面調和関数の係数に変換して圧縮してもよい。さらにはＪＰＥＧ（Joint Photographic Experts Group）など一般的な静止画データの圧縮符号化方式を利用してフレームごとに圧縮してもよい。

　一方、本実施の形態では、基準画像とデプス画像の動画が対をなすこと、同期をとるべき複数の基準視点の動画を格納対象とすること、などの特性を有するため、固有の圧縮手法を導入することにより効果を高めることができる。図１４は、基準画像のデータの圧縮／伸張処理機能を導入した場合の、基準画像生成装置３００の基準画像データ生成部と、表示画像生成装置２００の画素値決定部の機能ブロックの構成を示している。

　この態様において基準画像データ生成部３１８ａは、基準画像生成部３３０、デプス画像生成部３３２、およびデータ圧縮部３３４を含む。基準画像生成部３３０およびデプス画像生成部３３２は、これまで述べたように基準画像とデプス画像のデータを生成する。すなわち基準視点設定部３１０が設定した各基準視点からの空間の様子を表した基準画像の動画像、および距離値を表したデプス画像の動画像を生成する。ここで基準視点は固定としてもよいし、オブジェクトの動きに応じてその一部を移動させてもよい。

　データ圧縮部３３４は、そのようにして時間軸に対し所定のレートで生成される基準画像とデプス画像を、所定の規則で圧縮する。具体的には次の処理の少なくとも一方を実施する。
（１）同じ時間ステップにおける基準画像とデプス画像を、必要に応じて縮小したうえ、１フレーム分の画像として表した統合動画像を生成する
（２）基準画像およびデプス画像において、変化のある領域のみを時系列データとして表す

　データ圧縮部３３４は、そのようにして圧縮したデータを基準画像データ記憶部２５６に格納する。この際、統合画像や変化のある領域の画像の１フレーム分を、ＪＰＥＧによりさらに圧縮してもよい。あるいは統合画像の動画をＭＰＥＧにより圧縮してもよい。一方、画素値決定部２６６ａは、データ伸張部３３６、参照部３３８、および演算部３４０を含む。データ伸張部３３６は、各時間ステップにおける基準画像のデータを基準画像データ記憶部２５６から読み出し、伸張することにより、基準画像およびデプス画像を復元する。

　すなわち上記（１）の圧縮がなされている場合、データ伸張部は、統合動画像の各フレームから、基準画像およびデプス画像を切り出し、必要に応じて拡大する。上記（２）の圧縮がなされている場合は、前のフレーム画像のうち変化のある領域のみを、時系列データを用いて更新する。（１）および（２）の圧縮を同時に実施する場合は、伸張する場合もその双方を実施する。

　参照部３３８はそのようにして復元された、各時間ステップのデプス画像を用いて、上述のとおり表示画像の画素ごとに、描画対象のオブジェクト上のポイントを表す基準画像を選択し、当該基準画像の画素値を取得する。演算部３４０も上述したように、参照先の基準画像から取得した画素値に適切な重みをつけて平均することにより、表示画像の画素値を決定する。

　図１５は、データ圧縮部３３４によって生成される、統合動画像の例を模式的に示している。この統合動画像４２は、１つのフレーム４０を分割してなる４つの領域に、２つの基準視点に対し生成された「第１基準画像」および「第２基準画像」と、それらに対応する「第１デプス画像」および「第２デプス画像」のうち、同じ時間ステップのフレームをそれぞれ表したデータ構造を有する。データ圧縮部３３４は、統合動画像４２に設定される画像平面のサイズに応じて、基準画像およびデプス画像のフレームを適宜縮小したうえ、図示するような所定の配置で接続する。

　例えば統合動画像４２を、元の基準画像やデプス画像のフレームと同サイズとした場合、データ圧縮部３３４は各基準画像およびデプス画像のフレームを、縦横双方向に１／２に縮小する。データ圧縮部３３４はさらに、統合動画像として統合された２つの基準視点の位置座標を、当該動画像の付加データとして対応づける。これらの処理は、図１１で示した基準画像のデータにおいて、２行分のデータを１つの動画像に変換することに対応する。

　このようにすれば、基準画像のデータ全体のサイズを小さくできるため、伝送帯域や記憶装置の容量を節約できる。また４種類の動画を一度に復号伸張できるため、多数の基準視点を設定しても復元のための並列処理が容易になる。さらに当該４種類のデータ間では自ずと同期がとれるため、全基準視点のデータを考慮しても同期処理を簡略化できる。なお１つの統合動画像４２によって統合する基準視点は２つに限らず、各画像に許容される縮小率によってはそれより多くてもよい。

　図１６は、データ圧縮部３３４によって生成される、統合動画像の別の例を模式的に示している。この統合動画像４６は、１つのフレーム４４を分割してなる４つの領域に、３つの基準視点に対し生成された「第１基準画像」、「第２基準画像」、および「第３基準画像」と、それらに対応する「第１デプス画像」、「第２デプス画像」、および「第３デプス画像」のうち、同じ時間ステップのフレームを表したデータ構造を有する。

　図１５で示した統合動画像４２の場合、「第１デプス画像」と「第２デプス画像」を、画像平面の別の領域に表すことにより、用いるチャンネルや階調は限定されない。一方、図１６に示す統合動画像４６は、「第１デプス画像」、「第２デプス画像」、および「第３デプス画像」を、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３チャンネルを使用して画像平面の同じ領域に表す。これにより、残りの３領域に３つの基準画像を表すことができる。

　このようなデータ構造によれば、画像の縮小率は図１５の場合と同じでありながら、３つの基準視点のデータを１つの動画に含めることができる。結果として画質を維持しつつ、同期処理や復号伸張処理をより効率化できる。ただしＲＧＢの画像をＹＣｂＣｒの画像に変換して圧縮符号化する場合は、表示画像生成装置２００において復号伸張した際、他のデプス画像の画素値が影響して完全に復元されない可能性がある。したがって、ＲＧＢの値を精度よく復元できる圧縮符号化方式を採用することが望ましい。

　図１７は、データ圧縮部３３４が実施する圧縮処理の一つとして、変化のある領域の画像のみを時系列データとする手法を説明するための図である。この例は道路を走行する自動車を表す動画像を想定しており、（ａ）はそのうちの６フレーム分の基準画像を、横軸を時間として連続して示している。ここで基準画像の各フレームは、基準視点から見た全方位の画像を、正距円筒で表したものである。この場合、オブジェクトである自動車以外の道路や背景はほぼ動きがない。

　同図（ｂ）は（ａ）で示した各フレームのうち、自動車を含む固定サイズの領域（例えば領域５０）を抽出したものである。上述したように基準画像の動画のうち変化するのは、抽出した領域にほぼ限定される。したがってデータ圧縮部３３４は、ある時点でのフレーム、例えばフレーム５２を基準フレームとしてその全体領域を保存し、それより後の時間ステップのフレームについては、オブジェクトを含む所定サイズの領域の画像（例えば画像５４）の時系列データと、基準画像平面における当該領域の位置情報を対応づけて保存することにより、圧縮後の基準画像のデータとする。

　データ伸張部３３６は、基準フレームが与えられている時間ステップについてはそれを基準画像とし、それより後の時間ステップについては、時系列データとして保存されている領域のみを更新していくことで基準画像を復元する。なお図示するように、オブジェクトを含む固定サイズの領域の画像５４は、基準フレームにおける対応する領域５０の画像より高い解像度としてもよい。これによれば、基準フレームのサイズを縮小してデータサイズを軽減させても、ユーザが注視することが想定されるオブジェクトの領域については詳細度を維持できる。また基準フレームは各動画の最初のフレームでもよいし、所定の時間間隔のフレームでもよい。

　同図（ｃ）はさらに、オブジェクトの像の領域、例えばオブジェクトの輪郭から所定距離に４辺を有する矩形領域のみを抽出したものである。この場合、基準視点とオブジェクトの位置関係によって抽出される領域のサイズは様々となる。データ圧縮部３３４は（ａ）に示した基準画像の各フレームから、オブジェクトの像を抽出して切り出す領域を決定する。そしてある時点でのフレーム、例えばフレーム５２を基準フレームとしてその全体領域を保存し、それより後の時間ステップのフレームについては、オブジェクトの像の領域の画像（例えば画像５６）の時系列データと、基準画像平面における当該領域の位置情報およびサイズの情報を対応づけて保存することにより、圧縮後の基準画像のデータとする。

　あるいは基準画像生成部３３０が基準画像を生成する段階で、オブジェクトのみを表す画像を画像５６として生成してもよい。この場合、基準視点は固定としたままオブジェクトをズームするようにスクリーン面を調整すればよい。データ伸張部３３６の動作は（ｂ）の場合と同様である。（ａ）～（ｃ）の態様は、基準画像のみならずデプス画像についても同様に実施できる。基準画像とデプス画像に適用する圧縮手法は同じでもよいし異なっていてもよい。（ｃ）の圧縮手法によれば、基準視点とオブジェクトの距離によらず同様の詳細度でオブジェクトの情報を保持することができる。

　図１８は、データ圧縮部３３４が実施する圧縮処理の一つとして、変化のある画素のみを表す情報を時系列データとする手法を説明するための図である。図の横軸は時間を示している。まず画像６０は、基準画像の１フレームあるいはそのうちの一部である。画像６２ａは、画像６０の次のフレームに対応するが、画像６０との画素値の差が所定値以上ある画素をグレーで示している。画像６２ｂはさらに次のフレームに対応し、同様に前のフレームとの画素値の差が所定値以上ある画素をグレーで示している。

　データ圧縮部３３４は、基準画像のフレーム間差分をとり、画素値に所定値以上の差がある画素を抽出する。その結果、図示する例では自動車のボンネットやバンパーを含むフロント部分や、自動車前方の路面を表す画素が抽出される。次にデータ圧縮部３３４は、抽出した画素の位置座標と変化後の画素値からなるデータ（ｘ，ｙ，Ｒ，Ｇ，Ｂ）を、５チャンネルの画素値としてラスタ順につめて保持した画像６４ａ、６４ｂを生成する。ここで（ｘ，ｙ）は基準画像平面における画素の位置座標、（Ｒ，Ｇ，Ｂ）は基準画像の画素値すなわちカラー値である。

　デプス画像の場合は、（ｄ）をデプス画像の画素値すなわち距離値としたとき、抽出した画素の位置座標と変化後の画素値からなるデータ（ｘ，ｙ，ｄ）を、３チャンネルの画素値としてラスタ順につめて保持した画像を生成する。そして画像６０を基準フレームとしてその全体領域を保存し、それより後の時間ステップのフレームについては、変化のある画素の情報のみを表す画像６４ａ、６４ｂを時系列データとして保存することにより、圧縮後の基準画像の動画データとする。

　データ伸張部３３６は、基準フレームが与えられている時間ステップについてはそれを基準画像とし、それより後の時間ステップについては、時系列データとして保存されている画素のみを更新していくことで基準画像を復元する。デプス画像も同様である。これにより図１７に示した態様より、オブジェクトの形状を加味してデータサイズをさらに軽減できる。なお基準フレームは各動画の最初のフレームでもよいし、所定の時間間隔のフレームでもよい。図１７の態様と図１８の態様を適宜組み合わせてもよい。

　図１９は、基準画像の動画において前後する２つのフレームを例示している。これまで述べたように、表示対象の空間において移動したり変形したりするメインのオブジェクトの数が限定される場合、そのフレーム間で差が生じるのはごく一部の領域に限られる。図示する自動車が走行する画像でも、上段のフレームから下段のフレームの間では、自動車の像７０ａ、７０ｂの微小な動きと、道路上７２ａ、７２ｂの微細な反射の変化のみが生じている。

　またこの例では、画像平面において道路より上側の領域７４ａ、７４ｂは遠景である。遠景は本実施の形態で想定する、表示対象の空間に配置したオブジェクトの表面とは性質が異なり、ユーザの視点の移動に対して変化させる必要がない場合が多い。したがって別途、所定の基準視点における画像をテクスチャマッピングなどにより表示画像に表して差し支えない。換言すれば当該領域の画像のデータを、基準視点ごとに保持する必要性が低い。これらの性質を利用して、基準画像およびデプス画像を所定サイズのタイル画像に分割したうえで、当該タイル画像の単位で圧縮処理を制御してもよい。

　図２０は、データ圧縮部３３４が基準画像の圧縮処理をタイル画像単位で制御する手法を説明するための図である。図示する画像は図１９で示した１フレームに対応し、格子に区切られてなるマトリクス状の矩形がタイル画像を表している。タイル画像のサイズはあらかじめ設定しておく。そのようなタイル画像のうち、遠景領域８０に含まれる、白枠で囲まれたタイル画像は、上述のとおりユーザの視点の移動を反映させる必要がないため、基準視点ごとの基準画像のデータから除外する。

　残りの黒線で囲まれたタイル画像は近景、すなわちオブジェクトの描画に用いる領域８２に含まれるため、時系列データとして基準視点ごとの基準画像のデータに含める。あるいはさらに、実線で囲まれたタイル画像（例えばタイル画像８４）のように、前のフレームとの差が生じたタイル画像を抽出し、その時系列データのみを基準画像のデータに含めてもよい。例えば同位置のタイル画像の画素値の平均値が、フレーム間で所定値以上の差を有するとき、前のフレームとの差が生じたと判定し抽出する。

　または前のフレームとの差が生じているタイル画像（例えばタイル画像８４）のうち、前のフレームから所定値以上の差がある画素を抽出し、当該画素の位置座標および画素値からなるデータを表す画像を生成してもよい。この処理は図１８で説明したとおりである。デプス画像も同様に、タイル画像単位でデータを省いたり圧縮状態を制御したりできる。デプス画像全体を一般的な動画データとして扱った場合、例えば距離値をＳＤＲ（Standard Dynamic Range）の２５６階調などで表現せざるを得ないため、小数点以下の情報が欠落する。タイル画像単位で元の画素値（距離値）を浮動小数点のデータとして保存するようにすれば、距離値の分解能が上がり、描画に用いる基準画像を精度よく選択できる。

　図２１は、基準画像およびデプス画像の圧縮処理をタイル画像単位で制御する態様における、圧縮後のデータの構造例を示している。圧縮後基準画像データ３５０は基準視点ごとに生成され、画像平面におけるタイル画像の位置座標（「タイル位置」と表記）に対応づけて、タイル画像のデータを時系列順に接続したデータ構造を有する。図では時系列を「フレーム番号」０、１、２、・・・の順としている。例えば位置座標（０，０）や（１，０）のタイル画像が遠景領域に含まれる場合、その領域の画像はオブジェクトの描画には用いないため基準画像のデータとしては無効とし、別途、テクスチャデータなどの形式で準備する。図では当該タイル画像のデータが無効であることを「－」と表記している。

　一方、近景領域に含まれオブジェクトの描画に用いられる可能性のあるタイル画像については、まず最初のフレーム（フレーム番号「０」）のデータを基準画像のデータに含める。図では当該タイル画像を「画像ａ」、「画像ｂ」などとしている。その後のフレームについては、タイル画像に変化が生じた場合のみ、その変化を表す情報を基準画像のデータに含める。図示する例では、位置座標（７０，６５）と（７１，６５）のタイル画像はフレーム番号「１」で変化があるため、その差分を表す画像「差分画像ｃ１」、「差分画像ｄ１」を含めている。

　位置座標（７０，６５）のタイル画像は次のフレームでも差が生じているため、フレーム番号「２」に対応づけて「差分画像ｃ２」を含めている。ここで差分画像は、前のフレームとの差分を表す画像であり、例えば図１８の画像６４ａ、６４ｂに対応する。また位置座標（３０，５０）のタイル画像はフレーム番号「２４」で、位置座標（３１，５０）のタイル画像はフレーム番号「２５」で変化があるため、それぞれの差分を表す画像「差分画像ａ１」、「差分画像ｂ１」を含めている。

　表示画像生成装置２００のデータ伸張部３３６は、フレーム番号「０」に対応づけられた各タイル画像を位置座標に基づき接続することで、当該フレームの基準画像やデプス画像を復元する。以後のフレームについては、差分画像が含められているタイル領域のみ、差分画像として表されている画素を更新すれば、基準画像やデプス画像の動画を全て復元できる。

　これまで説明した態様は、基準画像として全方位の画像を正距円筒で表すことを想定していたが、本実施の形態はそれに限らない。図２２は基準画像およびデプス画像の全方位の画像をキューブマップで表した場合の、データ圧縮処理の例を説明するための図である。（ａ）は全方位のスクリーン面とキューブマップの面の関係を示している。キューブマップの面３６２は、視点３６４から全方位に同じ距離を有する球状のスクリーン面３６０を包含する立方体を構成する面である。

　スクリーン面３６０上のある画素３６６は、視点３６４から画素３６６への直線がキューブマップの面３６２で交わる位置３６８にマッピングされる。このようなキューブマッピング技術は、パノラマ画像の表現手段の一つとして知られている。本実施の形態では、基準画像およびデプス画像をキューブマップのデータとして保持することができる。（ｂ）は、ある基準視点のデプス画像をキューブマップで表したときの、６面の展開図を示している。

　これまで述べたように基準画像を動画とした場合、図示するような画像データが所定のレートで生成される。ただし図１７～図２０で例示したような空間を表した場合、前のフレームからの差が生じているのは、同図（ｂ）に矢印で示した自動車の像の領域に限定される。キューブマップは元来、画像平面が６つの区画に分かれていることを利用すれば、動きのある面（図示する例では面３７０）のみを時系列データとして基準画像のデータに含めることが容易にできる。

　例えば図２１で示したデータ構造において、タイル画像をキューブマップの面に置き換え、「差分画像」を、前のフレームからの差が生じている面の画像とすれば、データ圧縮部３３４やデータ伸張部３３６の動作は上述と同様である。あるいは、キューブマップの面をさらにタイル画像に分割し、タイル画像の単位で基準画像のデータに含めるか否かを決定してもよい。さらには、前のフレームから変化のあったキューブマップの面、あるいはそのうち変化のあったタイル画像について、図１８で示したように差が生じている画素に係る情報のみを表したデータを「差分画像」としてもよい。

　基準画像やデプス画像を正距円筒法で表した場合、その性質上、視点の真下や真上のオブジェクトの像は、画像平面の下部や上部で横方向に引き延ばされる。そのため、表示対象の空間においてそのような領域に変化が生じた場合、正距円筒の画像において広い範囲が変化し、データ圧縮の効率が悪くなることが考えられる。キューブマップ法によれば、画像平面での変化が、空間での変化に対応する面積に限定されるため、データ圧縮の効率を安定化できる。

　これまで述べた態様では主に、基準視点ごとに基準画像とデプス画像を対として生成し、それらを同様に圧縮したり伸張したりして、オブジェクトの描画に利用した。ここでデプス画像は、オブジェクト表面上のポイントごとに、そこを描画する際に参照すべき基準画像を選択するのに用いられる。これを事前計算してオブジェクト表面上の位置に対応づけておけば、デプス画像自体を基準画像のデータに含める必要がなくなる。

　図２３は、参照先の基準画像に係る情報を、オブジェクト表面上の位置に対応づけて保存する機能を導入した場合の、基準画像生成装置３００の基準画像データ生成部と、表示画像生成装置２００の画素値決定部の機能ブロックの構成を示している。この態様におい基準画像データ生成部３１８ｂは、基準画像生成部３３０、データ圧縮部３３４、デプス画像生成部３３２、および参照先情報付加部３４２を含む。基準画像生成部３３０、データ圧縮部３３４、およびデプス画像生成部３３２の機能は、図１４で示した対応する機能ブロックと同様である。

　参照先情報付加部３４２は、デプス画像生成部が生成したデプス画像を用いて、オブジェクト表面上の位置に対し、当該位置を描画するのに参照すべき基準画像を指定する情報を生成する。この処理は基本的に、図８で示したのと同様である。すなわちオブジェクト上のポイント（図８におけるポイント２６など）が像として表れている基準画像を、デプス画像が示すオブジェクトまでの距離と、表示対象の空間における基準視点からポイントまでの距離との比較によって決定する。

　ただし図８で説明したように表示時に参照先を選択する場合は、表示画像における描画対象の画素を起点とし、それに対応するポイントを定めたが、参照先情報付加部３４２は、参照先を求めるオブジェクト表面上の単位領域を所定の規則で設定する。具体例は後に述べる。参照先情報付加部３４２は、そのようにして決定した参照先の基準画像の識別情報を、オブジェクトモデル記憶部２５４に格納されたオブジェクトモデルに対応づけて書き込む。

　オブジェクトが移動したり変形したりする場合、基準視点からの見え方も変化するため、オブジェクトモデルに書き込まれる基準画像の識別情報の一部は時系列データとなる。この構成により、表示画像生成装置２００が表示画像を生成する際、デプス画像を参照する必要がなくなる。したがってデータ圧縮部３３４は、基準画像生成部３３０が生成した基準画像のみを上述のいずれかの手法で圧縮し、基準画像データ記憶部２５６に格納する。

　表示画像生成装置２００の画素値決定部２６６ｂは、データ伸張部３３６、参照部３４４、および演算部３４０を含む。データ伸張部３３６と演算部３４０の機能は、図１４で示した対応する機能ブロックと同様である。ただしデータ伸張部３３６は、基準画像データ記憶部２５６に格納された基準画像についてのみ、上述のように伸張処理を施す。一方、参照部３４４は図１４の参照部３３８と異なり、表示画像上の各画素に対応する、オブジェクト上のポイントを描画するのに用いる基準画像を、オブジェクトモデルに付加された情報に基づき決定する。

　そして決定した基準画像から、当該ポイントの像を表す画素値を取得し、演算部３４０に供給する。このような構成により参照部３４４の処理の負荷が軽減され、表示画像の生成処理を高速化できる。また参照先の基準画像の識別情報は、デプス画像の距離値と比較し必要な階調が少なくてすむため、時系列のデータとしてもデータサイズを軽減できる。

　図２４は、参照先の基準画像の識別情報をオブジェクトモデルに対応づける手法の例を説明するための図である。図の表し方は図８と同様である。すなわちオブジェクト４２４が存在する空間に、５つの基準視点が設定され基準画像４２８ａ、４２８ｂ、４２８ｃ、４２８ｄ、４２８ｅが生成されている。各基準画像（あるいは基準視点）の識別情報を「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、「Ｅ」とする。この例で参照先情報付加部３４２は、丸印で示したオブジェクト４２４の頂点単位、あるいは頂点を結ぶ直線で囲まれた面（メッシュ）単位で、参照すべき基準画像の識別情報を対応づける。

　例えばオブジェクト４２４の面４３０ａは、識別情報「Ａ」および「Ｃ」の基準画像に表れていることがデプス画像から判明する。したがって当該面４３０ａに、識別情報「Ａ」および「Ｃ」を対応づける。面４３０ｂが、識別情報「Ａ」および「Ｂ」の基準画像に表れていることが判明したら、当該面４３０ｂに、識別情報「Ａ」および「Ｂ」を対応づける。面４３０ｃが、識別情報「Ｃ」および「Ｄ」の基準画像に表れていることが判明したら、当該面４３０ｃに、識別情報「Ｃ」および「Ｄ」を対応づける。

　オブジェクトのそのほかの面についても、どの基準画像にその像が表れているかをデプス画像を用いて特定し、その識別情報を対応づける。図では対応づけられる識別情報を、オブジェクト４２４の各面からの吹き出し内に示している。表示画像生成装置２００の参照部３４４は、描画対象の画素に対応するオブジェクト上のポイントが含まれる面、あるいはその近傍の頂点を特定し、それに対応づけられている基準画像の識別情報を取得する。このような構成によれば、オブジェクトモデルとしてすでに形成されている頂点やメッシュの情報をそのまま利用して情報を付加できるため、データサイズの増大を抑えられる。また、オブジェクトモデルにおける参照先が限定されるため表示時の処理の負荷が小さい。

　一方、面や頂点など情報を格納する粒度が大きくなるため、オクルージョンなどにより同一面で参照先の基準画像が変化する場合、それを正確に表すことができない。この場合、当該面の全体が表れている基準画像のみを参照先とすることが考えられるが、描画に用いる基準画像が少なくなり表示画像の質が低下することが考えられる。画質を維持するためには、参照先が異なる領域ごとに面（メッシュ）を分割し、その単位で基準画像の情報を設定する必要があるが、データサイズや処理負荷の面では不利となる。これらのことから図示する手法は、比較的単純な形状のオブジェクトに適用することが望ましい。

　図２５は、参照先の基準画像の識別情報をオブジェクトモデルに対応づける手法の別の例を説明するための図である。図の表し方は図２４と同様である。この態様では、参照先の基準画像の識別情報をテクスチャ画像として生成する。例えばオブジェクト４２４の面４３０ａに対し、当該面上の位置ごとに参照先の基準画像の識別情報を画素値として表したテクスチャ画像４３２を生成する。面内で参照先が変化しなければ、テクスチャ画像４３２の画素値は均一となる。オクルージョンなどにより参照先の基準画像が面内で変化する場合、テクスチャ画像４３２の画素値がそれに対応するように変化する。これにより面単位より小さい粒度での参照先の制御が可能となる。

　この場合、表示画像生成装置２００の参照部３４４は、描画対象のオブジェクト上のポイントに対応するテクスチャ画像上の（ｕ，ｖ）座標を特定し、その位置に表されている基準画像の識別情報を読み出す。この処理は基本的には、コンピュータグラフィクスにおける一般的なテクスチャマッピングと同様である。このような構成によれば、オブジェクトモデルで規定されるメッシュを分割することなく、オクルージョンなどによる同一面内での参照先の切り替えを、軽い負荷で実現できる。

　図２６は、参照先の基準画像の識別情報をオブジェクトモデルに対応づける手法のさらに別の例を説明するための図である。図の表し方は図２４と同様である。この態様では、オブジェクトを所定サイズのボクセルに分割し、当該ボクセル単位で、参照すべき基準画像の識別情報を対応づける。例えばオブジェクト２４２の面４３０ａが識別情報「Ａ」および「Ｃ」の基準画像に表れている場合、当該面４３０ａを含むボクセル（例えばボクセル４３２ａ、４３２ｂ）に識別情報「Ａ」および「Ｃ」を対応づける。その他の面を含むボクセルについても同様である。１つのボクセルに２つの面が含まれる場合は、面ごとに参照先の情報を対応づける。

　面内で参照先が変化しなければ、それを含むボクセルに対応づけられる情報は同一となる。オクルージョンなどにより面内で参照先の基準画像が変化しても、参照先の情報をボクセル単位で保持することにより、細かい粒度で適切な参照先を取得できる。この場合、表示画像生成装置２００の参照部３４４は、描画対象のオブジェクト上のポイントが含まれるボクセルを特定し、それに対応づけられている基準画像の識別情報を取得する。このような構成によれば、オブジェクトの形状や空間の複雑さによらず統一されたデータ構造および処理で、高精度に画像を描画できる。

　なお図示する例では同一サイズのボクセルを俯瞰した状態を、正方形の集合で表している。一方、参照すべき基準画像の識別情報を対応づける３次元空間の単位は、同一サイズのボクセルに限定されない。例えば、３次元空間の位置に対応づける情報を効率的に検索する手法の一つとして広く知られる八分木（オクトツリー）による空間分割を導入してもよい。当該手法は、対象となる空間をルートのボックスとし、それを３次元の各軸方向に２分割して８つのボックスとし、当該ボックスをさらに分割して８つのボックスとする、という処理を必要に応じて繰り返すことにより、空間を八分木のツリー構造で表す手法である。

　位置によって分割回数を変化させることにより、情報を対応づける空間の粒度の局所性によって、最終的に形成されるボックスのサイズを制御できる。またそれらのボックスに与えたインデックス番号と、空間における位置との関係が、単純なビット演算により容易に判明する。この場合、表示画像生成装置２００の参照部３４４は、描画対象のオブジェクト上のポイントが含まれるボックスのインデックス番号をビット演算により取得することにより、それに対応づけられている基準画像の識別情報を高速に特定できる。

　以上述べた本実施の形態によれば、動画像を任意の視点から鑑賞する技術において、オブジェクトの仮想空間での動きを規定するデータとともに、当該動きを複数の基準視点から見た動画像を、基準画像として準備しておく。そして表示時には、ユーザの視点に基づくビュースクリーンに、所定の時間ステップでオブジェクトを射影するとともに、各時刻の基準画像から、同じオブジェクトを表す画素の値を取得することにより、表示画像の画素値を決定する。画素値の算出には、実際の視点と基準視点との位置関係やオブジェクトの属性に基づく規則を導入する。

　基準画像は視点に応じた表示とは別のタイミングで時間をかけて生成できるため、高品質なものを準備できる。表示時にはこの高品質な画像から値を引いてくることにより、時間をかけることなく高品質な画像を提示できる。ここでオブジェクトの動きに追随するように基準視点を移動させると、基準画像におけるオブジェクトの詳細度を一定にでき、表示画像においてもオブジェクトの像を高品質で安定的に表すことができる。

　また基準画像や、表示時に参照先の基準画像を選択するために用いるデプス画像の動画像において、変化する領域のみを抽出して時系列データとすることにより、動画像の表示であっても必要なデータのサイズを抑えることができる。さらに基準画像とデプス画像の対応するフレームを、同一フレームに含めた統合動画像のデータを生成し、当該動画像の単位で圧縮符号化することにより、表示時における復号処理や同期処理の負荷を軽減できる。

　さらに、参照先の基準画像を決定するためにデプス画像のデータを用いる代わりに、オブジェクト表面の位置に対し参照先の基準画像をあらかじめ特定しておき、その識別情報をオブジェクトモデルに対応づける。これにより、表示に必要なデータのサイズをさらに軽減できる。また表示時には参照先の基準画像を演算により決定する処理が省略できるため、ユーザの視点の取得から表示までの時間を短縮できる。

　以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　１００　ヘッドマウントディスプレイ、　２００　表示画像生成装置、　２２２　ＣＰＵ、　２２４　ＧＰＵ、　２２６　メインメモリ、　２３６　出力部、　２３８　入力部、　２５４　オブジェクトモデル記憶部、　２５６　基準画像データ記憶部、　２６０　視点情報取得部、　２６２　空間構築部、　２６４　射影部、　２６６　画素値決定部、　２６８　出力部、　３００　基準画像生成装置、　３１０　基準視点設定部、　３１４　オブジェクトモデル記憶部、　３１６　空間構築部、　３１８　基準画像データ生成部、　３３０　基準画像生成部、　３３２　デプス画像生成部、　３３４　データ圧縮部、　３３６　データ伸張部、　３３８　参照部、　３４０　演算部、　３４２　参照先情報付加部、　３４４　参照部。

　以上のように本発明は、ヘッドマウントディスプレイ、ゲーム装置、画像表示装置、携帯端末、パーソナルコンピュータなど各種情報処理装置や、それらのいずれかを含む情報処理システムなどに利用可能である。

Claims

　表示対象のオブジェクトを含む空間を任意視点から見たときの表示画像を生成するのに用いる、当該空間を所定の基準視点から見たときの像を表す基準画像のデータを生成する基準画像生成装置であって、
　前記オブジェクトの変位を規定する情報に従い、前記空間において当該オブジェクトを変位させる空間構築部と、
　前記空間に前記基準視点を配置し、前記オブジェクトの変位に応じて当該基準視点を変位させる基準視点設定部と、
　前記基準視点に対応する視野で、前記基準画像を所定のフレームレートで生成し出力する基準画像データ生成部と、
　を備えたことを特徴とする基準画像生成装置。
　前記基準視点設定部は、前記空間に複数の前記基準視点を配置し、そのうちの一部を前記オブジェクトの変位に応じて変位させることを特徴とする請求項１に記載の基準画像生成装置。
　前記基準視点設定部は、複数の前記オブジェクトのそれぞれに対応する前記基準視点を、当該オブジェクトの所定範囲に配置し、前記オブジェクトの変位に応じて、対応する前記基準視点を変位させることを特徴とする請求項１または２に記載の基準画像生成装置。
　前記基準画像データ生成部は、前記基準視点に対応するオブジェクトの像のみを表した前記基準画像を生成することを特徴とする請求項３に記載の基準画像生成装置。
　前記空間構築部は、前記空間におけるオブジェクトの変位に係る情報を、前記表示画像を生成するのに用いるデータとして出力することを特徴とする請求項１から４のいずれかに記載の基準画像生成装置。
　表示対象の空間におけるオブジェクトの変位を規定する情報を格納するオブジェクトモデル記憶部と、
　前記オブジェクトを含む空間を、前記オブジェクトの変位に応じて変位する基準視点から見たときの像を表す基準画像の動画データを格納する基準画像データ記憶部と、
　ユーザの視点に係る情報を取得する視点情報取得部と、
　前記空間を前記ユーザの視点から見たときの前記オブジェクトの像を、所定のレートで表示画像の平面に表す射影部と、
　前記表示画像における画素ごとに、前記オブジェクトの像の色を、前記基準画像における同じオブジェクトの像の色を用いて決定する画素値決定部と、
　前記表示画像のデータを出力する出力部と、
　を備えることを特徴とする表示画像生成装置。
　前記画素値決定部は、変位する前記基準視点と前記ユーザの視点の、同一時刻における位置関係に基づき決定した重み係数を用いて、前記基準画像におけるオブジェクトの像の色の加重平均を算出することにより、前記表示画像における色を決定することを特徴とする請求項６に記載の表示画像生成装置。
　前記基準画像データ記憶部は、複数の前記オブジェクトごとに、その像を表す前記基準画像を格納し、
　前記画素値決定部は、前記オブジェクトごとに、前記ユーザの視点に対応する像を表す画像を生成したうえ、それらを合成することにより前記表示画像を生成することを特徴とする請求項６または７に記載の表示画像生成装置。
　表示対象の空間におけるオブジェクトの変位を規定する情報を格納するオブジェクトモデル記憶部と、
　前記オブジェクトを含む空間を、所定の複数の基準視点から見たときの像を表す基準画像の動画データを格納する基準画像データ記憶部と、
　ユーザの視点に係る情報を取得する視点情報取得部と、
　前記空間を前記ユーザの視点から見たときの前記オブジェクトの像を、所定のレートで表示画像の平面に表す射影部と、
　前記表示画像における画素ごとに、前記オブジェクトの像の色を、前記基準画像における同じオブジェクトの像の色を用いて決定する画素値決定部と、
　前記表示画像のデータを出力する出力部と、
　を備え、
　前記画素値決定部は、前記オブジェクトの像の色を決定するために参照する前記基準画像を、前記オブジェクトの位置に応じて切り替えることを特徴とする表示画像生成装置。
　表示対象のオブジェクトを含む空間を任意視点から見たときの表示画像を生成するのに用いる、当該空間を所定の基準視点から見たときの像を表す基準画像のデータを生成する基準画像生成装置が、
　前記オブジェクトの変位を規定する情報に従い、前記空間において当該オブジェクトを変位させるステップと、
　前記空間に前記基準視点を配置し、前記オブジェクトの変位に応じて当該基準視点を変位させるステップと、
　前記基準視点に対応する視野で、前記基準画像を所定のフレームレートで生成しメモリに出力するステップと、
　を含むことを特徴とする基準画像生成方法。
　表示対象の空間におけるオブジェクトの変位を規定する情報をメモリから読み出すステップと、
　前記オブジェクトを含む空間を、前記オブジェクトの変位に応じて変位する基準視点から見たときの像を表す基準画像の動画データをメモリから読み出すステップと、
　ユーザの視点に係る情報を取得するステップと、
　前記空間を前記ユーザの視点から見たときの前記オブジェクトの像を、所定のレートで表示画像の平面に表すステップと、
　前記表示画像における画素ごとに、前記オブジェクトの像の色を、前記基準画像における同じオブジェクトの像の色を用いて決定するステップと、
　前記表示画像のデータを出力するステップと、
　を含むことを特徴とする表示画像生成装置による表示画像生成方法。
　表示対象の空間におけるオブジェクトの変位を規定する情報をメモリから読み出すステップと、
　前記オブジェクトを含む空間を、所定の複数の基準視点から見たときの像を表す基準画像の動画データをメモリから読み出すステップと、
　ユーザの視点に係る情報を取得するステップと、
　前記空間を前記ユーザの視点から見たときの前記オブジェクトの像を、所定のレートで表示画像の平面に表すステップと、
　前記表示画像における画素ごとに、前記オブジェクトの像の色を、前記基準画像における同じオブジェクトの像の色を用いて決定するステップと、
　前記表示画像のデータを出力するステップと、
　を含み、
　前記決定するステップは、前記オブジェクトの像の色を決定するために参照する前記基準画像を、前記オブジェクトの位置に応じて切り替えることを特徴とする表示画像生成装置による表示画像生成方法。
　表示対象のオブジェクトを含む空間を任意視点から見たときの表示画像を生成するのに用いる、当該空間を所定の基準視点から見たときの像を表す基準画像のデータを生成するコンピュータに、
　前記オブジェクトの変位を規定する情報に従い、前記空間において当該オブジェクトを変位させる機能と、
　前記空間に前記基準視点を配置し、前記オブジェクトの変位に応じて当該基準視点を変位させる機能と、
　前記基準視点に対応する視野で、前記基準画像を所定のフレームレートで生成し出力する機能と、
　を実現させることを特徴とするコンピュータプログラム。
　表示対象の空間におけるオブジェクトの変位を規定する情報をメモリから読み出す機能と、
　前記オブジェクトを含む空間を、前記オブジェクトの変位に応じて変位する基準視点から見たときの像を表す基準画像の動画データをメモリから読み出す機能と、
　ユーザの視点に係る情報を取得する機能と、
　前記空間を前記ユーザの視点から見たときの前記オブジェクトの像を、所定のレートで表示画像の平面に表す機能と、
　前記表示画像における画素ごとに、前記オブジェクトの像の色を、前記基準画像における同じオブジェクトの像の色を用いて決定する機能と、
　前記表示画像のデータを出力する機能と、
　をコンピュータに実現させることを特徴とするコンピュータプログラム。
　表示対象の空間におけるオブジェクトの変位を規定する情報をメモリから読み出す機能と、
　前記オブジェクトを含む空間を、所定の複数の基準視点から見たときの像を表す基準画像の動画データをメモリから読み出す機能と、
　ユーザの視点に係る情報を取得する機能と、
　前記空間を前記ユーザの視点から見たときの前記オブジェクトの像を、所定のレートで表示画像の平面に表す機能と、
　前記表示画像における画素ごとに、前記オブジェクトの像の色を、前記基準画像における同じオブジェクトの像の色を用いて決定する機能と、
　前記表示画像のデータを出力する機能と、
　をコンピュータに実現させ、
　前記決定する機能は、前記オブジェクトの像の色を決定するために参照する前記基準画像を、前記オブジェクトの位置に応じて切り替えることを特徴とするコンピュータプログラム。