JP5003252B2 - 画像表示装置及び画像表示方法 - Google Patents

Description

本発明は、描画する画像生成時の計算負荷を低減することができる画像表示装置及び画像表示方法に関する。

従来から実時間型の立体画像表示方法において、操作者が表示画面上の何処を注視しているかに関わらず画面上に表示される画像全域を同一の画像生成アルゴリズムによって生成されていたため、計算負荷が高くなるという問題を解決するために、操作者の視点を求め、視点周辺以外の領域に表示するべき画像の精細度を低くして計算負荷を軽減する画像表示方法が知られている（例えば、特許文献１参照）。
特許第３４７８６０６号公報

ところで、近年は、技術進歩に伴ってリアルタイムに生成された画像は特に高精細化してきており、よりリアルな表現を求めて、モデルのデータ量、シェーダ（陰影処理プログラム）の計算負荷ともに増大してきている。しかしながら、ハードウェアの処理能力が充分でないため、リアルタイム性の確保が困難となっている。特に、立体映像を生成するためには、１フレーム当たり少なくとも２枚の画像を生成する必要があるため、２次元画像に比べてさらなる計算負荷の低減が求められる。また、立体画像の高精細化をするためには、シェーダによって陰影処理を施す必要があるが、陰影処理は、画像中に含まれるオブジェクト（画像中の物体）を構成するポリゴン毎に施す必要があるため、画像中に含まれるポリゴンの数に応じて、計算負荷が増大してしまうという問題がある。したがって、表示装置の能力を超えた数のポリゴンをリアルタイムで表示することが困難になるため、表示するべき画像の内容に応じて表示装置の能力を向上させていかなければならず、表示装置のコストが高くなってしまうという問題もある。

本発明は、このような事情に鑑みてなされたもので、陰影処理を伴う立体画像表示を表示装置の能力を向上させることなく、陰影処理を伴う高精細な立体画像表示を行うことができる画像表示装置及び画像表示方法を提供することを目的とする。

本発明は、陰影処理を施した立体画像を表示する画像表示装置であって、前記立体画像を表示する表示手段と、前記表示手段に表示するべき前記立体画像の画像データが記憶された画像データ記憶手段と、動体が視点に対して前後方向に動くときのＫＶＡ動体視力と、動体が視点に対して水平方向に動くときのＤＶＡ動体視力のそれぞれと、前記動体の移動速度の関係が予め定義された視力データ記憶手段と、描画対象の前記画像データに対して施す前記陰影処理の精細度が異なる複数のシェーダが、前記ＫＶＡ動体視力及び前記ＤＶＡ動体視力それぞれの値と関係付けられて記憶されたシェーダ記憶手段と、視聴者の視点位置を求める視点位置算出手段と、描画するべき画像データ中の動体の移動速度と生成するべき画像の画角を前記画像データから求め、前記視力データ記憶手段を参照して、求めた前記画角が小さい場合は、前記ＤＶＡ動体視力の影響が大きくなり、求めた前記画角が大きい場合は、前記ＫＶＡ動体視力の影響が大きくなるように、求めた前記移動速度に対応する前記ＫＶＡ動体視力及び前記ＤＶＡ動体視力を取得する動体視力取得手段と、前記シェーダ記憶手段から、前記取得した前記ＫＶＡ動体視力及び前記ＤＶＡ動体視力に応じた精細度の前記シェーダを選択して、描画するべき画像データに対して、選択したシェーダを用いて陰影処理を施す陰影処理手段とを備えたことを特徴とする。

本発明は、前記陰影処理手段は、前記陰影処理を施す画像データの単位がポリゴンまたはピクセルであることを特徴とする。

本発明は、陰影処理を施した立体画像を表示するために、前記立体画像を表示する表示手段と、前記表示手段に表示するべき前記立体画像の画像データが記憶された画像データ記憶手段と、動体が視点に対して前後方向に動くときのＫＶＡ動体視力と、動体が視点に対して水平方向に動くときのＤＶＡ動体視力のそれぞれと、前記動体の移動速度の関係が予め定義された視力データ記憶手段と、描画対象の前記画像データに対して施す前記陰影処理の精細度が異なる複数のシェーダが、前記ＫＶＡ動体視力及び前記ＤＶＡ動体視力それぞれの値と関係付けられて記憶されたシェーダ記憶手段とを備えた画像表示装置における画像表示方法であって、視聴者の視点位置を求める視点位置算出ステップと、描画するべき画像データ中の動体の移動速度と生成するべき画像の画角を前記画像データから求め、前記視力データ記憶手段を参照して、求めた前記画角が小さい場合は、前記ＤＶＡ動体視力の影響が大きくなり、求めた前記画角が大きい場合は、前記ＫＶＡ動体視力の影響が大きくなるように、求めた前記移動速度に対応する前記ＫＶＡ動体視力及び前記ＤＶＡ動体視力を取得する動体視力取得ステップと、前記シェーダ記憶手段から、前記取得した前記ＫＶＡ動体視力及び前記ＤＶＡ動体視力に応じた精細度の前記シェーダを選択して、描画するべき画像データに対して、選択したシェーダを用いて陰影処理を施す陰影処理ステップとを有することを特徴とする。

本発明によれば、画像の複雑さに比例して計算量が増加する陰影処理において、描画対象のポリゴンまたはピクセル毎に移動速度（視点との相対速度）を求めて、移動速度に応じたシェーダを選択するようにしたため、描画を行うハードウェアの性能を向上させることなく、複雑な画像（描画するべきポリゴンの数が多い画像）の描画を行うことが可能となる。これにより、視聴者に画像の質の低下を認識されずに、計算量を削減させることが可能になるという効果が得られる。

以下、本発明の一実施形態による画像表示装置を図面を参照して説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、画像表示装置の処理動作を統括して制御することにより画像の描画を行う描画部である。符号２は、画像を表示する表示部であり、液晶のディスプレイやプロジェクタ等で構成する。符号３は、表示部２に表示する画像データを一時的に記憶するフレームバッファである。符号４は、表示部２に表示する立体画像のデータが予め記憶された画像データ記憶部である。符号５は、人間の標準的な動体視力のデータが予め記憶された視力データ記憶部である。符号６は、画像データ記憶部４に記憶されている画像データに対して陰影処理を施す複数種類のシェーダ（陰影処理プログラム）が予め記憶されたシェーダ記憶部である。

ここで、人間の動体視力について説明する。動体視力は、視点に対して相対的に移動している物体を見るときの視力であり、静止視力よりも劣る。人間の動体視力には、ＫＶＡ（Kinetic Visual Acuity）動体視力とＤＶＡ（Dynamic Visual Acuity）動体視力の２種類がある。ＫＶＡ動体視力とは、視点に対して、前後方向に動く時の視力であり、毛様体筋による水晶体の厚みの変化に関連する。一方、ＤＶＡ動体視力とは、視点に対して、水平方向に動くときの視力であり、外眼筋による眼球移動に関連する。それぞれの動体視力と移動速度の関連（特開２０００−２３７１３３号広報より引用）を図３に示す。図３に示すように、ＫＶＡ動体視力とＤＶＡ動体視力のいずれも動体の速度が速くなるにしたがて視力は低下する。２次元映像では、前後方向の焦点移動は不要なため、水晶体の厚みの変化は起こらないが、立体映像においては、前後方向の焦点移動が必要なため、視聴者の視力にＫＶＡ動体視力も関連する。そのため、立体画像中に含まれる動体の陰影処理において、動体視力に応じて最適なシェーダを選択して陰影処理計算を行うことにより、計算時間を大幅に短縮することができる。図１に示す視力データ記憶部５には、図３に示す２つの動体視力のそれぞれについて、速度（または角速度）と視力の関係が定義されたデータが記憶されている。したがって、速度または角速度が決まると、視力データ記憶部５を参照してこれらの速度または角速度に対応する２つの動体視力のいずれかを得ることが可能となる。

次に、図２を参照して、図１に示す画像表示装置の動作を説明する。まず、描画部１は、画像データ記憶部４に記憶されている画像を参照するときの仮想空間内の視点位置情報を求める。視点位置情報は、視聴者の両目の位置と描画面の幅・高さを求め、それらを基に、仮想空間内での左右の視点位置を求める（ステップＳ１）。次に、描画部１は、生成するべき画像の画角から、ＫＶＡ動体視力とＤＶＡ動体視力のそれぞれに掛ける描画パラメータを求める（ステップＳ２）。描画パラメータは、以下のようにして求める。生成する画像の画角が小さい場合は、ＫＶＡ動体視力の影響が小さくなるようにするために描画パラメータを小さい値とし、ＤＶＡ動体視力の影響が大きくなるように描画パラメータを大きい値とする。一方、生成する画像の画角が大きい場合は、ＫＶＡ動体視力の影響が大きくなるように描画パラメータを大きい値とし、ＤＶＡ動体視力の影響が小さくなるように描画パラメータを小さい値とする。

次に、描画するべき対象ポリゴンの移動量、移動方向およびフレームレートから、視点に対して前後方向の速度と水平方向の角速度を求め、それぞれステップＳ２において求めたパラメータとの積を算出する。そして、描画部１は、視力データ記憶部５を参照して、求めた２つの積の値（描画パラメータが乗算された前後方向の速度と水平方向の角速度の値）に対応するＫＶＡ動体視力とＤＶＡ動体視力をそれぞれ求める（ステップＳ３）。動体が視点から十分遠くにある場合、その動体が前後方向に動いても、人間の目ではその距離の違いを認識することはできない。人間の副尺視力（接する２本の線における位相差の検知限）は１０秒程度であり、輻輳角が２０秒あれば誰にでも見分けることができる。輻輳角が２０秒のときの、視点から動体までの距離は約６５０ｍである。そのため、視点から対象ポリゴンまでの距離が６５０ｍ以上の場合は、ＫＶＡ視力を考慮しない。

次に、描画部１は、対象ポリゴンの表面テクスチャから、知覚のしやすさを示すパラメータを求める（ステップＳ４）。移動体の知覚のしやすさは、物体表面の柄・模様にも依存するため、対象ポリゴンの表面テクスチャが、知覚しにくい場合は、より計算負荷を低減することができる。続いて、描画部１は、ステップＳ３において求めたＫＶＡ動体視力とＤＶＡ動体視力それぞれの値と、ステップＳ４において求めた知覚のしやすさパラメータの積を求め、その値に応じたシェーダを選択する（ステップＳ５）。シェーダ記憶部６には、ＫＶＡ動体視力とＤＶＡ動体視力それぞれの値と、知覚のしやすさのパラメータとの積の値と、用いるべきシェーダが関係付けされている。描画部１はこの関係を参照して、最適なシェーダを選択する。

次に、描画部１は、選択したシェーダにより描画対象のポリゴンに対して、陰影処理のための演算を実行して（ステップＳ６）、得られた結果を描画データとしてフレームバッファ３に書き込む（ステップＳ７）。描画部１は、ステップＳ２からＳ７の処理を、フレームバッファ３に書き込むべき全てのポリゴンに対して実行することに１フレームの描画データがフレームバッファ３に書き込まれることになる。これにより、フレームバッファ３には、ポリゴンの移動速度毎に異なった陰影処理が施された描画データが書き込まれることになる。すなわち、移動速度（視点との相対速度）が速い場合は、低精細の陰影処理が施され、移動速度が遅い場合は、高精細の陰影処理が施された描画データとなる。表示部２は、フレームバッファ３に書き込まれた描画データを順次読み出すことにより画像表示が行われる。

このように、ＫＶＡ動体視力を考慮して描画データの生成を行うことにより、従来の手法よりも、画像の質の低下を認識されることなく、計算量を削減させることができる。また、ポリゴン毎にシェーダを選択するようにしたため、計算負荷の軽いシェーダを適用した際に、従来の手法のように、オブジェクト内で一様に画質が低下することなく描画データを生成することが可能となる。

なお、前述した手法では、ポリゴン毎に、適用するシェーダを選択する例を説明したが、ポリゴン毎ではなく、表面テクスチャのピクセル単位で、適用するシェーダを選択するようにしてもよい。このようにすることにより、一般的に、ポリゴンよりもテクスチャのピクセルは小さいので、より厳密に移動速度の計算を行うことができるため、さらに計算量を低減することができる。また、ポリゴンでは考慮できなかった、ポリゴンの回転・テクスチャアニメーションが視力に与える影響も考慮することができる。

また、図１においては、複数のシェーダプログラムをシェーダ記憶部６に記憶しておく例を示したが、複数のシェーダのプログラムに代えて、シェーディングを実行する複数の専用ハードウェアを備えておき、これらの専用ハードウェアを選択して陰影処理を実行するようにしてもよい。

このように、画像の複雑さに比例して計算量が増加する陰影処理において、描画対象のポリゴンまたはピクセル毎に移動速度（視点との相対速度）を求めて、移動速度に応じたシェーダを選択するようにしたため、描画を行うハードウェアの性能を向上させることなく、複雑な画像（描画するべきポリゴンの数が多い画像）の描画を行うことが可能となる。これにより、視聴者に画像の質の低下を認識されずに、計算量を削減させることが可能となる。

特に、対象物体が移動している時、もしくは視点が移動している時の人間の視力は、静止している時に比べて低くなることを利用して、対象物体の視点に対する相対的な移動速度に応じて、最適な陰影計算手法を選択するようにしたため、視聴者に生成画像の質の低下を認知されることなく、計算負荷を低減することができる。また、立体画像表示に重要となるＫＶＡ動体視力の影響を考慮して描画データを生成するようにしたため、視聴者に画質の低下を認識させることなく陰影処理の計算量を削減することが可能である。従来の手法では、対象物体の移動速度に関わらず、同一の陰影計算手法を用いていたため、負荷の軽い手法を用いた際、対象物体が静止していると画質の低下が認識されてしまうが、ポリゴンの移動速度に応じて最適なシェーダを選択するようにしたため、視聴者に画質の低下を認識されてしまうことを防止することができる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像表示処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明の一実施形態の構成を示すブロック図である。 図１に示す描画部１の動作を示すフローチャートである。 図１に示す視力データ記憶部５に記憶されるデータの一例を示す説明図である。

符号の説明

１・・・描画部、２・・・表示部、３・・・フレームバッファ、４・・・画像データ記憶部、５・・・視力データ記憶部、６・・・シェーダ記憶部

Claims (3)

1. 陰影処理を施した立体画像を表示する画像表示装置であって、
   前記立体画像を表示する表示手段と、
   前記表示手段に表示するべき前記立体画像の画像データが記憶された画像データ記憶手段と、
   動体が視点に対して前後方向に動くときのＫＶＡ動体視力と、動体が視点に対して水平方向に動くときのＤＶＡ動体視力のそれぞれと、前記動体の移動速度の関係が予め定義された視力データ記憶手段と、
   描画対象の前記画像データに対して施す前記陰影処理の精細度が異なる複数のシェーダが、前記ＫＶＡ動体視力及び前記ＤＶＡ動体視力それぞれの値と関係付けられて記憶されたシェーダ記憶手段と、
   視聴者の視点位置を求める視点位置算出手段と、
   描画するべき画像データ中の動体の移動速度と生成するべき画像の画角を前記画像データから求め、前記視力データ記憶手段を参照して、求めた前記画角が小さい場合は、前記ＤＶＡ動体視力の影響が大きくなり、求めた前記画角が大きい場合は、前記ＫＶＡ動体視力の影響が大きくなるように、求めた前記移動速度に対応する前記ＫＶＡ動体視力及び前記ＤＶＡ動体視力を取得する動体視力取得手段と、
   前記シェーダ記憶手段から、前記取得した前記ＫＶＡ動体視力及び前記ＤＶＡ動体視力に応じた精細度の前記シェーダを選択して、描画するべき画像データに対して、選択したシェーダを用いて陰影処理を施す陰影処理手段と
   を備えたことを特徴とする画像表示装置。
2. 前記陰影処理手段は、前記陰影処理を施す画像データの単位がポリゴンまたはピクセルであることを特徴とする請求項１に記載の画像表示装置。
3. 陰影処理を施した立体画像を表示するために、前記立体画像を表示する表示手段と、前記表示手段に表示するべき前記立体画像の画像データが記憶された画像データ記憶手段と、動体が視点に対して前後方向に動くときのＫＶＡ動体視力と、動体が視点に対して水平方向に動くときのＤＶＡ動体視力のそれぞれと、前記動体の移動速度の関係が予め定義された視力データ記憶手段と、描画対象の前記画像データに対して施す前記陰影処理の精細度が異なる複数のシェーダが、前記ＫＶＡ動体視力及び前記ＤＶＡ動体視力それぞれの値と関係付けられて記憶されたシェーダ記憶手段とを備えた画像表示装置における画像表示方法であって、
   視聴者の視点位置を求める視点位置算出ステップと、
   描画するべき画像データ中の動体の移動速度と生成するべき画像の画角を前記画像データから求め、前記視力データ記憶手段を参照して、求めた前記画角が小さい場合は、前記ＤＶＡ動体視力の影響が大きくなり、求めた前記画角が大きい場合は、前記ＫＶＡ動体視力の影響が大きくなるように、求めた前記移動速度に対応する前記ＫＶＡ動体視力及び前記ＤＶＡ動体視力を取得する動体視力取得ステップと、
   前記シェーダ記憶手段から、前記取得した前記ＫＶＡ動体視力及び前記ＤＶＡ動体視力に応じた精細度の前記シェーダを選択して、描画するべき画像データに対して、選択したシェーダを用いて陰影処理を施す陰影処理ステップと
   を有することを特徴とする画像表示方法。

Images