JP4857601B2

JP4857601B2 - シミュレーション画像生成装置、方法、演算プログラム、及びそのプログラムを記録した記録媒体

Info

Publication number: JP4857601B2
Application number: JP2005143611A
Authority: JP
Inventors: 久史小黒
Original assignee: Toppan Inc
Current assignee: Toppan Inc
Priority date: 2005-05-17
Filing date: 2005-05-17
Publication date: 2012-01-18
Anticipated expiration: 2025-05-17
Also published as: JP2006323450A

Description

本発明は、シミュレーション画像を生成する技術に関する。

美術工芸品などの立体物のデジタル化保存観察手段として、バーチャルリアリティ技術を用いることによって、任意の観察位置や照明条件の下での対象物の見えを対話的に再現することが出来る。

ここでのバーチャルリアリティ技術とは、美術工芸品などの実物の立体物を実写で計測して得た三次元データ（対象物の三次元形状データや対象物表面の性状を示すマテリアル情報とテクスチャ画像などからなり、三次元シーン内で対象物表面を表すもの）をもとに、観察位置や照明条件などに基づいたリアルタイム画像生成（レンダリング）処理を行うことによって自由な視点移動や対象物の操作などの仮想体験を実現しようというものである。

仮想体験のリアリティを向上させるには、映像の画質に加えて、視点移動などに追従した動きの滑らかさなどのリアルタイム性が重要である。しかしながら、対象物の細部までを正確に再現しようとすると、三次元形状データや、テクスチャ画像のデータ量が増大し、レンダリング処理速度の低下を招くことになる。

また、表示品質を最優先する場合には、リアルタイムレンダリング（バーチャルリアリティ）技術を用いずに、長時間を要する高精度レンダリングによって静止画や動画を生成することになるが、この場合にはバーチャルリアリティの特徴である対話的機能は実現できない。

このように、バーチャルリアリティ技術を用いる場合では、レンダリング処理の結果得られる画像（以後、結果画像とも云う）の正確さや詳細度を向上させるためには、三次元形状データの詳細化やテクスチャ画像の高精度化が必要であり、その結果として、レンダリング処理速度の低下を招き、他方、レンダリング処理のリアルタイム性を確保するためには、データ量の削減などによって詳細度を抑える結果として、対象物の細部や微妙な質感の十分な再現が困難である。

ところで、画面全体の色調変換のような結果画像の画素を対象とする処理の負荷は、当然ながら、三次元形状データの詳細度には無関係であり、一定時間で実行することができる。

しかしながら、このようなレンダリング後の処理は、ＲＧＢ画像などの画像データに基づいた色変換、輝度変換、フィルタ処理などに限定され、有用性の高い照明再現や質感再現などの三次元データに基づいた処理は実行できない。

本発明は斯かる背景技術に鑑みてなされたもので、対象物の高品質再現のために高精細大容量の三次元データを用いる場合でも、利用時の速度低下を伴うことなく、リアルタイム性の高いインタラクティブな鑑賞を可能にすることを課題とする。

本発明において上記課題を達成するために、まず第１の発明では、コンピュータが、少なくとも記憶装置、画像生成演算部、画像出力部を備え、該記憶装置に三次元データが記憶され、該データを元に該画像生成演算部で動画の各フレーム毎にレンダリング処理を行い、前記各フレームに対応する画像データを生成し、該画像出力部が前記生成した画像データを含む動画ファイルを出力し、
シミュレーション画像生成装置が、少なくとも操作部、制御部、動画再生部、画像演算部、記憶装置を備え、
該制御部は、操作部で入力される照明条件から光源を設定し、操作部で指定される動画シーケンスの最初のフレームを着目フレームと設定し、
該動画再生部は、前記制御部で設定したフレームに対応する前記動画ファイルの情報から、
動画の各フレームに属する色画像データを動画における各フレームの順序に従って並べた情報である色画像シーケンス、
動画の各フレームに属するデプス画像データを動画における各フレームの順序に従って並べた情報であるデプス画像シーケンス、
動画の各フレームに属する法線画像データを動画における各フレームの順序に従って並べた情報である法線画像シーケンス、
動画の各フレームに属するマテリアル画像における各フレームの順序に従って並べた情報であるマテリアル画像シーケンス、
動画の各フレーム毎に、色画像データ、デプス画像データ、法線画像データ、マテリアル画像データを順次生成するために用いた、各フレームに対応する時間のカメラ情報を、画像における各フレームの順序に従って並べた情報であるカメラ情報シーケンス、
スクリーン上の各画素毎に、各画素それぞれの位置に対応する対象物表面の光学的特性を表すマテリアル情報を格納したリストであるマテリアルリスト、の中から一つ以上の情報を読み出し、
該画像演算部は、該記憶装置に記憶された、演算部における演算の内容を定義する演算プログラムが画像演算部に以下の工程を行わせ、
（１）入力された照明条件と着目フレームから、スクリーン上の最初の画素を着目画素Ｓとする工程、
（２）当該着目画素Ｓについて前記着目フレームの色画像データから、
Ｓにおける拡散反射光色を読み出す工程
（３）前記着目フレームのデプス画像データからＳにおけるデプス値Ｄを読み出す工程
（４）前記着目フレームの法線画像データからＳにおける法線ベクトルＮを読み出す工程、
（５）前記着目フレームのカメラ情報に基づき、スクリーン座標系から三次元シーン座標系への変換関数を、Ｓ（Ｘｓ，Ｙｓ）に対応する対象物表面の三次元シーン座標点Ｐから、
Ｆｉｎｖ（Ｘｓ，Ｙｓ，Ｄ）＝Ｐ（Ｘ，Ｙ，Ｚ）を決定する工程、
（６）前記着目画素Ｓに対応する対象物表面の三次元シーン座標点Ｐを前記Ｆｉｎｖ（Ｘｓ，Ｙｓ，Ｄ）から求める工程、
（７）前記点Ｐに対する光源の位置ベクトルＶを求める工程、
（８）前記位置ベクトルＶの長さと前記法線ベクトルＮから、光の入射角であるＣｏｓθを求める工程、
（９）前記着目画素Ｓに表示されるべき、前記着目フレームの画素値（Ｒ’、Ｇ’、Ｂ’）を求める工程、
（１０）着目フレーム中の全ての画素について画素値を求めて着目フレームをディスプレイに表示する工程、
（１１）動画シーケンスの全てのフレームがディスプレイに表示されるまで上記（１）〜（１０）を繰り返す。
前記動画再生部で読み出した前記情報とから、レンダリング処理を行い、前記各フレームを再生してディスプレイに表示することを特徴とする、照明・質感シミュレーション画像生成装置としたものである。

請求項２の発明では、請求項１に記載のシミュレーション画像生成装置が実行する方法であって、
コンピュータの記憶装置に三次元データが記憶される工程と、該データを元に動画の各フレーム毎にレンダリング処理を行い、前記各フレームに対応する画像データを生成する工程と、前記生成した画像データを含む動画ファイルを出力する工程と、
シミュレーション画像生成装置は、入力される照明条件から光源を設定する工程と、指定される動画シーケンスの最初のフレームを着目フレームと設定する工程と、
設定したフレームに対応する前記動画ファイルの情報から、
動画の各フレームに属する色画像データを動画における各フレームの順序に従って並べた情報である色画像シーケンス、
動画の各フレームに属するデプス画像データを動画における各フレームの順序に従って並べた情報であるデプス画像シーケンス、
動画の各フレームに属する法線画像データを動画における各フレームの順序に従って並べた情報である法線画像シーケンス、
動画の各フレームに属するマテリアル画像における各フレームの順序に従って並べた情報であるマテリアル画像シーケンス、
動画の各フレーム毎に、色画像データ、デプス画像データ、法線画像データ、マテリアル画像データを順次生成するために用いた、各フレームに対応する時間のカメラ情報を、画像における各フレームの順序に従って並べた情報であるカメラ情報シーケンス、
スクリーン上の各画素毎に、各画素それぞれの位置に対応する対象物表面の光学的特性を表すマテリアル情報を格納したリストであるマテリアルリスト、の中から一つ以上の情報を読み出す工程と、
記憶装置に記憶された、演算部における演算の内容を定義する演算プログラムが画像演算部に以下の工程を行わせ、
（１）入力された照明条件と着目フレームから、スクリーン上の最初の画素を着目画素Ｓとする工程、
（２）当該着目画素Ｓについて前記着目フレームの色画像データから、
Ｓにおける拡散反射光色を読み出す工程
（３）前記着目フレームのデプス画像データからＳにおけるデプス値Ｄを読み出す工程
（４）前記着目フレームの法線画像データからＳにおける法線ベクトルＮを読み出す工程、
（５）前記着目フレームのカメラ情報に基づき、スクリーン座標系から三次元シーン座標系への変換関数を、Ｓ（Ｘｓ，Ｙｓ）に対応する対象物表面の三次元シーン座標点Ｐから、
Ｆｉｎｖ（Ｘｓ，Ｙｓ，Ｄ）＝Ｐ（Ｘ，Ｙ，Ｚ）を決定する工程、
（６）前記着目画素Ｓに対応する対象物表面の三次元シーン座標点Ｐを前記Ｆｉｎｖ（Ｘｓ，Ｙｓ，Ｄ）から求める工程、
（７）前記点Ｐに対する光源の位置ベクトルＶを求める工程、
（８）前記位置ベクトルＶの長さと前記法線ベクトルＮから、光の入射角であるＣｏｓθを求める工程、
（９）前記着目画素Ｓに表示されるべき、前記着目フレームの画素値（Ｒ’、Ｇ’、Ｂ’）を求める工程、
（１０）着目フレーム中の全ての画素について画素値を求めて着目フレームをディスプレイに表示する工程、
（１１）動画シーケンスの全てのフレームがディスプレイに表示されるまで上記（１）〜（１０）を繰り返す。
前記動画再生部で読み出した前記情報とから、前記各フレームを再生してディスプレイに表示する工程を含むことを特徴とする、照明・質感シミュレーション画像生成方法としたものである。

請求項３の発明では、請求項１において前記動画ファイルが、
前記色画像シーケンス、前記デプス画像シーケンス、前記法線画像シーケンス、前記マテリアル画像シーケンス、前記カメラ情報シーケンス、前記マテリアルリストの何れか一以上を含み、前記コンピュータの画像出力部と、前記ブラウザ装置の動画再生部へ、前記動画ファイルが、記憶媒体またはネットワークを介して入力されることを特徴とする、照明・質感シミュレーション画像生成装置としたものである。

請求項４の発明では、請求項２において前記動画ファイルが、
前記色画像シーケンス、前記デプス画像シーケンス、前記法線画像シーケンス、前記マテリアル画像シーケンス、前記カメラ情報シーケンス、前記マテリアルリストの何れか一以上を含み、前記コンピュータの画像出力部と、前記ブラウザ装置の動画再生部へ、前記動画ファイルが、記憶媒体またはネットワークを介して入力されることを特徴とする照明・質感シミュレーション画像生成方法としたものである。

請求項５の発明では、請求項１に記載の照明・質感シミュレーション画像生成装置で行われる演算プログラムが、画像演算部に以下の工程を行わせることを特徴とする演算プログラムとしたものである。
（１）入力された照明条件と着目フレームから、スクリーン上の最初の画素を着目画素Ｓとする工程、
（２）当該着目画素Ｓについて前記着目フレームの色画像データから、
Ｓにおける拡散反射光色を読み出す工程
（３）前記着目フレームのデプス画像データからＳにおけるデプス値Ｄを読み出す工程
（４）前記着目フレームの法線画像データからＳにおける法線ベクトルＮを読み出す工程、
（５）前記着目フレームのカメラ情報に基づき、スクリーン座標系から三次元シーン座標系への変換関数を、Ｓ（Ｘｓ，Ｙｓ）に対応する対象物表面の三次元シーン座標点Ｐから、
Ｆｉｎｖ（Ｘｓ，Ｙｓ，Ｄ）＝Ｐ（Ｘ，Ｙ，Ｚ）を決定する工程、
（６）前記着目画素Ｓに対応する対象物表面の三次元シーン座標点Ｐを前記Ｆｉｎｖ（Ｘｓ，Ｙｓ，Ｄ）から求める工程、
（７）前記点Ｐに対する光源の位置ベクトルＶを求める工程、
（８）前記位置ベクトルＶの長さと前記法線ベクトルＮから、光の入射角であるＣｏｓθを求める工程、
（９）前記着目画素Ｓに表示されるべき、前記着目フレームの画素値（Ｒ’、Ｇ’、Ｂ’）を求める工程、
（１０）着目フレーム中の全ての画素について画素値を求めて着目フレームをディスプレイに表示する工程、
（１１）動画シーケンスの全てのフレームがディスプレイに表示されるまで上記（１）〜（１０）を繰り返す。

また請求項６の発明では、請求項５に記載の演算プログラムを記録した記録媒体としたものである。

請求項１から４の発明では、静止画像について、対象物の高品質再現のために高精細大容量の三次元データを用いる場合でも、利用時の速度低下を伴うことなく、リアルタイム性の高いインタラクティブな鑑賞を可能にするという効果がある。

請求項１から４の発明では、動画像について、対象物の高品質再現のために高精細大容量の三次元データを用いる場合でも、利用時の速度低下を伴うことなく、リアルタイム性の高いインタラクティブな鑑賞を可能にするという効果がある。

請求項５及び６の発明では、請求項１に記載のシミュレーション装置に、画像データとカメラ情報とに基づいて、各画素毎に、三次元シーン内で、対象物が、シミュレーション条件に置かれたときの画素値を求める演算を実行させることができるという効果がある。

以下に、本発明の最良の一実施形態を説明する。

本実施形態には、図１に示すように、コンピュータと、ブラウザ装置とディスプレイとを備えるシミュレーション画像生成装置とが係わる。

コンピュータは、このコンピュータの備える記憶装置に、三次元データと、カメラパスデータとを記憶し、また、プログラムを実行することにより、画像生成演算部と、画像出力部とを有する。

ブラウザ装置は、このブラウザ装置の備える記憶装置に演算プログラムを記憶し、また、操作部と、制御部と、動画再生部と、画像演算部とを有し、さらに、画像演算部はディスプレイに接続している。

記憶媒体又はネットワークを介して、画像出力部から動画再生部へ、動画ファイルが入力される。動画ファイルは、色画像シーケンスと、デプス画像シーケンスと、法線画像シーケンスと、マテリアル画像シーケンスと、カメラ情報シーケンスと、マテリアルリストとを含む。

まず、コンピュータについて説明する。

三次元データは、対象物の三次元形状データや対象物表面の性状を示すマテリアル情報とテクスチャ画像などから構成され、三次元シーン内で対象物表面を表す。三次元データは、美術工芸品などの実物の立体物を実写で計測して得たものであっても良いし、コンピュータを利用して架空の立体物を描いて得たものであっても良い。

カメラパスデータは、三次元シーン内の視点位置、視線回転角（視線方向）、視野角からなるカメラ情報を、一つ一つ、時間的な順序に従って並べた情報から構成される。それぞれの時間のカメラ情報は、それぞれの時間における三次元シーン内の視点（カメラ）操
作を表しており、これらの視点（カメラ）操作によって、三次元データが表す対象物を、三次元シーン内で撮影することで、動画が得られる。この動画は、カメラによって撮影されたフレームと呼ばれる静止画を、撮影順に並べたものである。

画像生成演算部は、三次元データと、カメラパスデータとに基づいて、動画の各フレーム毎に、それぞれのフレームに対応する時間のカメラ情報に基づく周知の方法によるレンダリング処理を行い、色画像データ、デプス画像データ、法線画像データ、マテリアル画像データを順次生成する。

色画像データは、図２に示すように、スクリーン上の各画素毎に、各画素それぞれの位置に対応する対象物表面の対応点における反射光の色（ＲＧＢそれぞれの反射率）を示す情報である。但し、照明条件やカメラ情報などの環境条件によって変化する陰影や表面反射などの成分を含まない。

デプス画像データは、図３に示すように、スクリーン上の各画素毎に、視点から、各画素それぞれの位置に対応する対象物表面の対応点までの一次元的な距離情報（デプス値Ｄ）を示す情報である。このデプス値Ｄは、スクリーン座標系を用いて表される。

法線画像データは、図４に示すように、スクリーン上の各画素毎に、各画素それぞれの位置に対応する対象物表面の対応点における法線ベクトルＮ（Ｎｘ，Ｎｙ，Ｎｚ）を示す情報である。この法線ベクトルＮ（Ｎｘ，Ｎｙ，Ｎｚ）は、三次元シーン座標系を用いて表される。

マテリアル画像データは、図５に示すように、スクリーン上の各画素毎に、各画素それぞれの位置に対応する対象物表面の光学的特性を表すマテリアル情報が格納されたマテリアルリストの参照番号を示す情報である。マテリアル情報は、ＲＧＢ各色についての鏡面反射率、拡散反射率を含む。また、マテリアル情報は、レンダリング処理に用いられたものでもある。

画像出力部は、色画像シーケンスと、デプス画像シーケンスと、法線画像シーケンスと、マテリアル画像シーケンスと、カメラ情報シーケンスと、マテリアルリストとを含む動画ファイルを出力する。ここで、色画像シーケンスとは、動画の各フレームに属する色画像データを、動画における各フレームの順序に従って並べた情報である。また、デプス画像シーケンスとは、動画の各フレームに属するデプス画像データを、動画における各フレームの順序に従って並べた情報である。また、法線画像シーケンスとは、動画の各フレームに属する法線画像データを、動画における各フレームの順序に従って並べた情報である。また、マテリアル画像シーケンスとは、動画の各フレームに属するマテリアル画像を、動画における各フレームの順序に従って並べた情報である。また、カメラ情報シーケンスとは、動画の各フレーム毎に、色画像データ、デプス画像データ、法線画像データ、マテリアル画像データを順次生成するために用いた、各フレームに対応する時間のカメラ情報を、動画における各フレームの順序に従って並べた情報である。また、マテリアルリストは、レンダリング処理に用いられたマテリアル情報を、格納したリストである。

ここで、図６を参照しながら、三次元データの記述に用いる三次元シーン座標系と、スクリーン座標系との関係について述べる。

バーチャルリアリティ技術において、三次元シーンから画像を生成するには、透視投影として知られる座標変換によって三次元シーン内の各座標点をスクリーン座標に変換し、遠近感のある映像を生成する方法が一般的である。また、座標変換後の座標点のスクリーン奥行き方向に沿っての位置を示す値が、デプス値である。

本実施形態では、視点Ａを用いた画像生成の際に、三次元シーンの中の点Ｐ（Ｘ，Ｙ，Ｚ）を、スクリーン上の点Ｓ（Ｘｓ，Ｙｓ）およびデプス値Ｄに変換する関数を、
（Ｘｓ，Ｙｓ，Ｄ）＝Ｆ（Ｘ，Ｙ，Ｚ）とする。

また、この逆関数を、（Ｘ，Ｙ，Ｚ）＝Ｆｉｎｖ（Ｘｓ，Ｙｓ，Ｄ）とする。

これらの変換関数Ｆ（）、Ｆｉｎｖ（）は、視点位置、視線回転角（視線方向）、視野角などの視点操作によって定まるもので、視点操作によって変化する。

次に、ブラウザ装置について説明する。

操作部は、再生する動画シーケンスを指定する情報を、ユーザに入力させ、また、照明条件を始め、演算プログラムの実行に必要なシミュレーション条件を、ユーザに入力させる。ここで、動画シーケンスは、フレームを再生する順に並べたものである。

再生する動画シーケンスを指定する情報は、例えば、時間的に前に撮影された特定の一つのフレームから、時間的に後に撮影された特定の一つのフレームまでの間に撮影された各フレームを、撮影順に再生することを指定するものであっても良い。また、例えば、時間的に後に撮影された特定の一つのフレームから、時間的に前に撮影された特定の一つのフレームまでの間に撮影された各フレームを、撮影とは逆の順序で再生することを指定するものであっても良い。また、例えば、特定の一つのフレームだけを再生することを指定するものであっても良い。

制御部は、操作部からの入力に基づいて、動画シーケンスの再生制御と、照明条件を始め演算プログラムの実行に必要な処理条件の設定と、動画再生部および画像演算部の制御とを行う。

動画再生部は、動画ファイル内の各シーケンスから、動画シーケンスを構成する各フレーム毎の色画像データとデプス画像データと法線画像データとマテリアル画像データとカメラ情報とを順次再生し、また、動画ファイルからマテリアルリストを読み出して、各フレーム毎の各画像データとカメラ情報とを、マテリアルリストと共に画像演算部に渡す。

画像演算部は、動画再生部から渡された各フレーム毎のデータに対して、演算プログラムに基づく演算を行うことにより、各フレームを再生して、ディスプレイに表示する。演算ロジックの高速ハードウェア化によって、高精細動画のリアルタイム処理を行っても良い。

演算プログラムは、画像演算部における演算の内容を定義する。

以下、照明シミュレーションのために、ブラウザ装置が実行する処理の流れの例を、図７を参照しながら、図８のフローチャートに従って、説明する。

Ｓ（ＳＴＥＰ）１；
制御部は、操作部から入力された照明条件に基づいて、三次元シーン内の座標（Ｘｌ，Ｙｌ，Ｚｌ）に、光度Ｉの無指向性の自然点光源を置く。これにより、光源から距離Ｌにおける照度は、Ｅ＝Ｉ／Ｌ²として表されることとなる。

Ｓ（ＳＴＥＰ）２；
制御部は、操作部から入力された情報で指定される動画シーケンスの最初のフレームを
着目フレームとする。

Ｓ（ＳＴＥＰ）３；
動画再生部は、動画ファイル内の各シーケンスから、着目フレームの色画像データとデプス画像データと法線画像データとマテリアル画像データとカメラ情報とを再生し、また、動画ファイルからマテリアルリストを読み出して、着目フレームの各画像データとカメラ情報とを、マテリアルリストと共に画像演算部に渡す。

Ｓ（ＳＴＥＰ）４；
画像演算部は、スクリーン上の最初の画素を、着目画素Ｓ（Ｘｓ，Ｙｓ）とする。

Ｓ（ＳＴＥＰ）５；
画像演算部は、着目フレームの色画像データから、着目画像Ｓ（Ｘｓ，Ｙｓ）における拡散反射光色（Ｒ，Ｇ，Ｂ）を読み出す。

Ｓ（ＳＴＥＰ）６；
画像演算部は、着目フレームのデプス画像データから、着目画素Ｓ（Ｘｓ，Ｙｓ）におけるデプス値Ｄを読み出す。

Ｓ（ＳＴＥＰ）７；
画像演算部は、着目フレームの法線画像データから、着目画素Ｓ（Ｘｓ，Ｙｓ）における法線ベクトルＮ（Ｎｘ，Ｎｙ，Ｎｚ）を読み出す。

Ｓ（ＳＴＥＰ）８；
画像演算部は、着目フレームのカメラ情報に基づき、スクリーン座標系から三次元シーン座標系への変換関数Ｆｉｎｖ（）を決定する。

Ｓ（ＳＴＥＰ）９；
画像演算部は、着目画素Ｓ（Ｘｓ，Ｙｓ）に対応する対象物表面の三次元シーン座標点Ｐ（Ｘ，Ｙ，Ｚ）＝Ｆｉｎｖ（Ｘｓ，Ｙｓ，Ｄ）を求める。

Ｓ（ＳＴＥＰ）１０；
画像演算部は、Ｐ（Ｘ，Ｙ，Ｚ）に対する、光源（Ｘｌ，Ｙｌ，Ｚｌ）の位置ベクトルＶ（Ｖｘ，Ｖｙ，Ｖｚ）＝（Ｘｌ，Ｙｌ，Ｚｌ）−（Ｘ，Ｙ，Ｚ）を求める。

Ｓ（ＳＴＥＰ）１１；
画像演算部は、位置ベクトルＶの長さ、すなわち、光源と座標点Ｐとの距離をＬ＝｜Ｖ｜とし、光源から着目画素Ｓに対応する対象表面への光の入射角をθとして、Ｃｏｓθ＝（Ｖｘ・Ｎｘ＋Ｖｙ・Ｎｙ＋Ｖｚ・Ｎｚ）／Ｌを求める。

Ｓ（ＳＴＥＰ）１２；
画像演算部は、着目画素Ｓ（Ｘｓ，Ｙｓ）に表示されるべき、着目フレームの画素値をＲ’，Ｇ’，Ｂ’として、（Ｒ’，Ｇ’，Ｂ’）＝Ｅ’（Ｒ，Ｇ，Ｂ）を求める。ここで、Ｅ’は、着目画素Ｓに対応する対象物表面の照度であって、周知の照度計算式により、Ｅ’＝Ｉ・Ｃｏｓθ／Ｌ²である。

Ｓ（ＳＴＥＰ）１３；
画像演算部は、スクリーン上の全ての画素について、着目フレームの画素値を求めたか否かを確かめ、
スクリーン上の全ての画素について、着目フレームの画素値を求めてない場合、ＳＴＥ
Ｐ１４に進み、
スクリーン上の全ての画素について、着目フレームの画素値を求めた場合、ＳＴＥＰ１５に進む。

Ｓ（ＳＴＥＰ）１４；
画像演算部は、スクリーン上で着目画素Ｓ（Ｘｓ，Ｙｓ）の次の画素を、新たに、着目画素Ｓ（Ｘｓ，Ｙｓ）とし、その後、ＳＴＥＰ５に戻る。

Ｓ（ＳＴＥＰ）１５；
画像演算部は、スクリーン上の各画素における着目フレームの画素値に基づいて、着目フレームを、ディスプレイに表示する。

Ｓ（ＳＴＥＰ）１６；
制御部は、操作部から入力された情報で指定される動画シーケンスの全てのフレームが、ディスプレイに表示されたか否かを確かめ、
全てのフレームがディスプレイに表示されてない場合、ＳＴＥＰ１７に進み、
全てのフレームがディスプレイに表示された場合、ＥＮＤに進む。

Ｓ（ＳＴＥＰ）１７；
制御部は、操作部から入力された情報で指定される動画シーケンスの中で、着目フレームの次のフレームを、新たに、着目フレームとし、その後、ＳＴＥＰ３に戻る。

演算プログラムで、以下の（１）〜（４）に示す内容の演算を、画像演算装置に行わせるように、定義しても良い。

（１）マテリアル画像に含まれる、鏡面反射率を用いることによって、前述の照明シミュレーションに鏡面反射成分を加えても良い。

（２）デプス値の増加に伴って、表示画素値を減ずることにより、手前を明るく浮き上がらせる奥行き効果を加えても良い。

（３）デプス値に応じて「ぼかし量」を変えたぼかしフィルタ処理を行うことによって、被写界深度効果を加えても良い。具体的には、焦点位置に対応するデプス値に対しては「ぼかし量」を０とし、デプス値が焦点位置から離れるに従って「ぼかし量」を増大させる。

（４）対象物の部位毎にマテリアルを変えておくことで、マテリアル単位の部分的な色や質感の変更処理を行っても良い。

以上の説明から分かるように、本実施形態では、三次元データから得られる各種の情報を、三次元データの精細度には非依存な最終画像の解像度のみに依存した形式で記録再生することによって、静止画あるいは動画形式の高精細映像に対して、照明再現や質感再現を含めた、各種の対話的シミュレーションの実行を可能にするものである。

本実施形態に係わる各装置の構成を説明する図。色画像データを説明する図。デプス画像データを説明する図。法線画像データを説明する図。マテリアル画像データを説明する図。三次元シーン座標系とスクリーン座標系との関係を説明する図。照明シミュレーションの例を説明する図。照明シミュレーションのために、ブラウザ装置が実行する処理の流れの例を示すフローチャート。

Claims

コンピュータが、少なくとも記憶装置、画像生成演算部、画像出力部を備え、該記憶装置に三次元データが記憶され、該データを元に該画像生成演算部で動画の各フレーム毎にレンダリング処理を行い、前記各フレームに対応する画像データを生成し、該画像出力部が前記生成した画像データを含む動画ファイルを出力し、
シミュレーション画像生成装置が、少なくとも操作部、制御部、動画再生部、画像演算部、記憶装置を備え、
該制御部は、操作部で入力される照明条件から光源を設定し、操作部で指定される動画シーケンスの最初のフレームを着目フレームと設定し、
該動画再生部は、前記制御部で設定したフレームに対応する前記動画ファイルの情報から、
動画の各フレームに属する色画像データを動画における各フレームの順序に従って並べた情報である色画像シーケンス、
動画の各フレームに属するデプス画像データを動画における各フレームの順序に従って並べた情報であるデプス画像シーケンス、
動画の各フレームに属する法線画像データを動画における各フレームの順序に従って並べた情報である法線画像シーケンス、
動画の各フレームに属するマテリアル画像における各フレームの順序に従って並べた情報であるマテリアル画像シーケンス、
動画の各フレーム毎に、色画像データ、デプス画像データ、法線画像データ、マテリアル画像データを順次生成するために用いた、各フレームに対応する時間のカメラ情報を、画像における各フレームの順序に従って並べた情報であるカメラ情報シーケンス、
スクリーン上の各画素毎に、各画素それぞれの位置に対応する対象物表面の光学的特性を表すマテリアル情報を格納したリストであるマテリアルリスト、の中から一つ以上の情報を読み出し、
該画像演算部は、該記憶装置に記憶された、演算部における演算の内容を定義する演算プログラムが画像演算部に以下の工程を行わせ、
（１）入力された照明条件と着目フレームから、スクリーン上の最初の画素を着目画素Ｓとする工程、
（２）当該着目画素Ｓについて前記着目フレームの色画像データから、
Ｓにおける拡散反射光色を読み出す工程
（３）前記着目フレームのデプス画像データからＳにおけるデプス値Ｄを読み出す工程
（４）前記着目フレームの法線画像データからＳにおける法線ベクトルＮを読み出す工程、
（５）前記着目フレームのカメラ情報に基づき、スクリーン座標系から三次元シーン座標系への変換関数を、Ｓ（Ｘｓ，Ｙｓ）に対応する対象物表面の三次元シーン座標点Ｐから、
Ｆｉｎｖ（Ｘｓ，Ｙｓ，Ｄ）＝Ｐ（Ｘ，Ｙ，Ｚ）を決定する工程、
（６）前記着目画素Ｓに対応する対象物表面の三次元シーン座標点Ｐを前記Ｆｉｎｖ（Ｘｓ，Ｙｓ，Ｄ）から求める工程、
（７）前記点Ｐに対する光源の位置ベクトルＶを求める工程、
（８）前記位置ベクトルＶの長さと前記法線ベクトルＮから、光の入射角であるＣｏｓθを求める工程、
（９）前記着目画素Ｓに表示されるべき、前記着目フレームの画素値（Ｒ’、Ｇ’、Ｂ’）を求める工程、
（１０）着目フレーム中の全ての画素について画素値を求めて着目フレームをディスプレイに表示する工程、
（１１）動画シーケンスの全てのフレームがディスプレイに表示されるまで上記（１）〜（１０）を繰り返す。
前記動画再生部で読み出した前記情報とから、レンダリング処理を行い、前記各フレームを再生してディスプレイに表示することを特徴とする、照明・質感シミュレーション画像生成装置。
請求項１に記載のシミュレーション画像生成装置が実行する方法であって、
コンピュータの記憶装置に三次元データが記憶される工程と、該データを元に動画の各フレーム毎にレンダリング処理を行い、前記各フレームに対応する画像データを生成する工程と、前記生成した画像データを含む動画ファイルを出力する工程と、
シミュレーション画像生成装置は、入力される照明条件から光源を設定する工程と、指定される動画シーケンスの最初のフレームを着目フレームと設定する工程と、
設定したフレームに対応する前記動画ファイルの情報から、
動画の各フレームに属する色画像データを動画における各フレームの順序に従って並べた情報である色画像シーケンス、
動画の各フレームに属するデプス画像データを動画における各フレームの順序に従って並べた情報であるデプス画像シーケンス、
動画の各フレームに属する法線画像データを動画における各フレームの順序に従って並べた情報である法線画像シーケンス、
動画の各フレームに属するマテリアル画像における各フレームの順序に従って並べた情報であるマテリアル画像シーケンス、
動画の各フレーム毎に、色画像データ、デプス画像データ、法線画像データ、マテリアル画像データを順次生成するために用いた、各フレームに対応する時間のカメラ情報を、画像における各フレームの順序に従って並べた情報であるカメラ情報シーケンス、
スクリーン上の各画素毎に、各画素それぞれの位置に対応する対象物表面の光学的特性を表すマテリアル情報を格納したリストであるマテリアルリスト、の中から一つ以上の情報を読み出す工程と、
記憶装置に記憶された、演算部における演算の内容を定義する演算プログラムが画像演算部に以下の工程を行わせ、
（１）入力された照明条件と着目フレームから、スクリーン上の最初の画素を着目画素Ｓとする工程、
（２）当該着目画素Ｓについて前記着目フレームの色画像データから、
Ｓにおける拡散反射光色を読み出す工程
（３）前記着目フレームのデプス画像データからＳにおけるデプス値Ｄを読み出す工程
（４）前記着目フレームの法線画像データからＳにおける法線ベクトルＮを読み出す工程、
（５）前記着目フレームのカメラ情報に基づき、スクリーン座標系から三次元シーン座標系への変換関数を、Ｓ（Ｘｓ，Ｙｓ）に対応する対象物表面の三次元シーン座標点Ｐから、
Ｆｉｎｖ（Ｘｓ，Ｙｓ，Ｄ）＝Ｐ（Ｘ，Ｙ，Ｚ）を決定する工程、
（６）前記着目画素Ｓに対応する対象物表面の三次元シーン座標点Ｐを前記Ｆｉｎｖ（Ｘｓ，Ｙｓ，Ｄ）から求める工程、
（７）前記点Ｐに対する光源の位置ベクトルＶを求める工程、
（８）前記位置ベクトルＶの長さと前記法線ベクトルＮから、光の入射角であるＣｏｓθを求める工程、
（９）前記着目画素Ｓに表示されるべき、前記着目フレームの画素値（Ｒ’、Ｇ’、Ｂ’）を求める工程、
（１０）着目フレーム中の全ての画素について画素値を求めて着目フレームをディスプレイに表示する工程、
（１１）動画シーケンスの全てのフレームがディスプレイに表示されるまで上記（１）〜（１０）を繰り返す。
前記動画再生部で読み出した前記情報とから、前記各フレームを再生してディスプレイに表示する工程を含むことを特徴とする、照明・質感シミュレーション画像生成方法。
請求項１において前記動画ファイルが、
前記色画像シーケンス、前記デプス画像シーケンス、前記法線画像シーケンス、前記マテリアル画像シーケンス、前記カメラ情報シーケンス、前記マテリアルリストの何れか一以上を含み、前記コンピュータの画像出力部と、前記ブラウザ装置の動画再生部へ、前記動画ファイルが、記憶媒体またはネットワークを介して入力されることを特徴とする、照明・質感シミュレーション画像生成装置。
請求項２において前記動画ファイルが、
前記色画像シーケンス、前記デプス画像シーケンス、前記法線画像シーケンス、前記マテリアル画像シーケンス、前記カメラ情報シーケンス、前記マテリアルリストの何れか一以上を含み、前記コンピュータの画像出力部と、前記ブラウザ装置の動画再生部へ、前記動画ファイルが、記憶媒体またはネットワークを介して入力されることを特徴とする照明・質感シミュレーション画像生成方法。
請求項１に記載の照明・質感シミュレーション画像生成装置で行われる演算プログラムが、画像演算部に以下の工程を行わせることを特徴とする演算プログラム。
（１）入力された照明条件と着目フレームから、スクリーン上の最初の画素を着目画素Ｓとする工程、
（２）当該着目画素Ｓについて前記着目フレームの色画像データから、
Ｓにおける拡散反射光色を読み出す工程
（３）前記着目フレームのデプス画像データからＳにおけるデプス値Ｄを読み出す工程
（４）前記着目フレームの法線画像データからＳにおける法線ベクトルＮを読み出す工程、
（５）前記着目フレームのカメラ情報に基づき、スクリーン座標系から三次元シーン座標系への変換関数を、Ｓ（Ｘｓ，Ｙｓ）に対応する対象物表面の三次元シーン座標点Ｐから、
Ｆｉｎｖ（Ｘｓ，Ｙｓ，Ｄ）＝Ｐ（Ｘ，Ｙ，Ｚ）を決定する工程、
（６）前記着目画素Ｓに対応する対象物表面の三次元シーン座標点Ｐを前記Ｆｉｎｖ（Ｘｓ，Ｙｓ，Ｄ）から求める工程、
（７）前記点Ｐに対する光源の位置ベクトルＶを求める工程、
（８）前記位置ベクトルＶの長さと前記法線ベクトルＮから、光の入射角であるＣｏｓθを求める工程、
（９）前記着目画素Ｓに表示されるべき、前記着目フレームの画素値（Ｒ’、Ｇ’、Ｂ’）を求める工程、
（１０）着目フレーム中の全ての画素について画素値を求めて着目フレームをディスプレイに表示する工程、
（１１）動画シーケンスの全てのフレームがディスプレイに表示されるまで上記（１）〜（１０）を繰り返す。
請求項５に記載の演算プログラムを記録した記録媒体。