JP7067016B2 - 多視点質感シミュレーションシステム及び多視点質感シミュレーション方法 - Google Patents

Description

本発明は、仮想的な３次元空間に配置された仮想的な物体を複数の異なる視点から撮影した多視点画像からなる光線空間圧縮画像として表示する多視点質感シミュレーションシステム及び多視点質感シミュレーション方法に関する。

従来から、壁紙、合成皮革、車の内装材、床や家具に用いられる化粧シート等の工業製品の表面に、白地や単色、または複数の色から構成される絵柄とともに凹凸形状を設けた凹凸模様を形成する技術が知られている。凹凸模様の形成では、例えば、初めに面材表面に対する絵柄の印刷を行い、その後、当該面材にエンボス加工等により凹凸形状が形成される。

こうした凹凸模様の質感を確認するため、例えば特許文献１あるいは特許文献２によるシミュレーションでは表面に凹凸模様を有する物体の模様の仕上がりを表示することができる。上記のシミュレーションでは光源および視点の位置関係から物体の表面において反射する光の強度等を計算し、これを画像として表示することで観察者に対して物体の質感を知覚させる。

特許第５４３４４９９号公報 特開２０１７－１１７１２９号公報 特開２０１４－９３７７９号公報

しかしながら、特許文献１および特許文献２の凹凸模様のシミュレーションでは、通常の２次元ディスプレイに表示する画像を生成し観察者に対して提示しているため、観察者が視点を動かした際に本来あるべき光沢や凹凸による模様の変化を表現することが出来ない。物体の質感を知覚するためには、運動視差および両眼視差による模様の変化は重要であり、２次元ディスプレイを用いた質感表示方法では観察者に物体の質感を正しく伝えることが難しいという問題がある。

また、レンチキュラレンズやパララックスバリアを用いた裸眼式３次元ディスプレイといった視差型３次元ディスプレイがある。この視差型３次元ディスプレイはそれぞれの視点方向に対応した物体模様仕上がり画像を表示することで質感を提示することができる。しかし視差型３次元ディスプレイは表示できる視差画像の数が少なく、観察者に質感を知覚するために十分な視点を提供することができない。

これに対して、物体から出る反射光をディスプレイ上で光線波形の再生として再現する光線再生型ディスプレイがある。その中でも透過型パネルを複数枚重ねて、それぞれのディスプレイに表示される画像の重畳により光線波形を再生するディスプレイを積層型ディスプレイという。積層型ディスプレイでは同時に複数の観察者（視点）に画像を提示することが可能である。しかし積層型ディスプレイに表示する画像は特許文献３に示されるように多視点で撮影した画像もしくはＣＧ画像を圧縮して作成するため、その計算量が膨大となり高速な画像の生成が困難になるという問題がある。

本発明は、このような状況に鑑みてなされたもので、積層型ディスプレイに表示する画像の生成を高速に行う多視点質感シミュレーションシステム及び多視点質感シミュレーション方法を提供することを目的とする。

上述した課題を解決するための本発明の一局面は、透過型パネルを複数枚組み合わせた積層型ディスプレイに、仮想的な３次元空間に配置された仮想的な物体を複数の異なる視点から撮影した多視点画像からなる光線空間圧縮画像を表示する多視画像処理システムであり、物体の表面に描かれた絵柄の絵柄画像データと、物体の表面の光沢情報である光沢特性データと、物体の表面の法線ベクトル情報である法線画像データと、物体表面に照射される光を出射する光源の光の特性を示す光源特性データと、観察条件情報と、を含む計算情報から光線空間画像データを生成する画像処理部と、画像処理部において生成された光線空間画像データから、積層型ディスプレイの透過型パネルの各々に表示する複数の光線空間圧縮画像を生成する光線空間圧縮部と、光線空間圧縮画像を複数枚の透過型パネルのそれぞれに表示する画像表示制御部と、を備える、多視点質感シミュレーションシステムである。

また、光線空間画像データは、観察条件情報に基づいた複数の観察位置を視点として撮影された複数の異なる視点における画像データにより生成されてもよい。

また、光線空間圧縮画像は、光線空間画像データを解の条件として最適化計算により生成した、積層型ディスプレイが有する透過型パネルの枚数分の透過率パターンを用いて生成されてもよい。

また、画像処理部が、絵柄画像データ、法線画像データ、物体の３次元空間における位置を示す物体位置データ及び光源の３次元空間における位置を示す光源位置データを用いて物体の表面の拡散反射光画像データを生成し、光線空間圧縮部は、生成する複数の光線空間圧縮画像の内１枚を、拡散反射光画像データにスケーリング係数を乗算し鏡面反射光比率を足した画像として固定してもよい。

また、画像表示制御部は、積層型ディスプレイが有する複数の透過型パネルの内１枚に拡散反射光画像データにスケーリング係数を乗算し鏡面反射光比率を足した画像を表示してもよい。

また、本発明の他の局面は、仮想的な３次元空間に配置された仮想的な物体を複数の異なる視点から撮影した多視点画像からなる光線空間圧縮画像を、透過型パネルを複数枚組み合わせた積層型ディスプレイに表示する多視点質感シミュレーションシステムのコンピュータが実行する方法であり、コンピュータが、少なくとも物体の表面に描かれた絵柄の絵柄画像データと、物体の表面の光沢情報である光沢特性データと、物体の表面の法線ベクトル情報である法線画像データと、物体表面に照射される光を出射する光源の光の特性を示す光源特性データと、観察条件情報と、を用いて光線空間画像データを生成する画像処理過程と、コンピュータが、生成された光線空間画像データから、積層型ディスプレイの透過型パネルの各々に表示する光線空間圧縮画像を生成する光線空間圧縮過程と、コンピュータが、光線空間圧縮画像を複数枚の透過型パネルにそれぞれ表示する画像表示制御過程とを含む、多視点質感シミュレーション方法である。

本発明によれば、積層型ディスプレイに表示する画像の生成を高速に行う多視点画像処理システム及び多視点画像処理方法を提供することができる。

本発明の一実施形態に係る多視点質感シミュレーションシステムの構成を示すブロック図 シミュレーションに用いるテーブルの構成例を示す図 結果データテーブルの構成例を示す図 画像処理部の構成例を示す図 光線空間画像データの取得方法の例 生成された光線空間画像データの例 光源から出射される出射光Ｉｉと画素に入力される放射照度Ｅとの対応を説明する図 積層型ディスプレイの構成例を示す図 拡散反射画像の放射輝度値Ｉｄを入力として、レイヤに表示する画素値ｄＡとの関係を示す図 積層型ディスプレイへ光線空間圧縮画像を表示する処理の動作例を示すフローチャート

以下、本発明の実施形態について、図面を参照して説明する。
図１は、本発明の一実施形態に係る多視点質感シミュレーションシステム１の構成を示すブロック図である。多視点質感シミュレーションシステム１は、入力部１０１、操作部１０２、画像処理部１０３、光線空間圧縮部１０４、画像表示制御部１０５、表示部１０６、データベース１０７、拡散反射画像記憶部１０８、光線空間画像記憶部１０９、表示画像記憶部１１０、記憶部１１１を備えている。

多視点質感シミュレーションシステム１は、光源を備える仮想的な３次元空間上に配置された、所定の絵柄（模様）が表面に描かれた計算対象である仮想的な物体からの反射光をシミュレーションにより求めて、表示部１０６である後述の積層型ディスプレイ３０１に複数の異なる視点における画像（多視点画像）をデータを圧縮した光線空間圧縮画像として表示することができる。なお、多視点質感シミュレーションシステム１は、請求項の「多視点画像処理システム」に相当する。

入力部１０１は、多視点質感シミュレーションシステム１のユーザが、シミュレーションに必要な情報を入力する入力手段であり、例えばキーボード、マウス、タッチパッドなどを用いることができる。入力部１０１からは、光源特性データ、光源位置データ、観察位置データ、物体位置データ、絵柄画像データ、光沢特性データ、法線画像データ、などシミュレーションに必要な情報（計算情報）を、例えば図示しないモニターに表示した選択肢から選択するなどの操作により入力することができる。

ここで、光源特性データは、計算対象である物体表面に対して光源から放射される光の特性を示す情報である。

光源位置データは、計算対象である物体に対する光源の３次元空間における位置を示す情報である。

観察位置データは、計算対象の物体を撮影（観察）する視点の３次元空間における位置を示す情報である。ただし本システムでは多視点で物体を撮影するため、予め複数の観察位置データを保持している。この観察位置データの数はユーザが設定可能であり、後述する光線空間圧縮画像生成に用いる多視点画像の縦、横方向の視点数を設定できる。ただし、視点数増加により光線空間圧縮画像生成の計算時間は増加する。

物体位置データは、シミュレーションの３次元空間における計算対象である物体表面の位置を示す。例えば、３次元空間における計算対象である物体表面を有限個の複数の面に分割し、各面の中心点の座標位置を示す情報を用いることができる。

絵柄画像データは、計算対象である物体表面に描かれる絵柄の画像データである。

光沢特性データは、計算対象である物体表面の光沢情報である。光沢情報は、例えば、双方向反射率分布関数（ＢＲＤＦ）、双方向散乱面反射率分布関数（ＢＳＳＲＤＦ）を用いて反射モデル化されたものを用いることができる。モデル化された光沢情報としては、例えば、光沢の強さ、光沢の鋭さ（広がり）、光沢の方向性などの情報を含んで構成することができる。

法線画像データは、計算対象である物体表面の法線ベクトル情報である。

絵柄画像データ、光沢特性データ及び法線画像データは、例えば計算対象である物体表面を形成する画素の各点について付与することができる。

図２は、データベース１０７に予め書き込まれて記憶されている、シミュレーションに用いるテーブルの構成例を示す図である。

図２の（ａ）は、シミュレーションに用いる光源の情報を示す光源情報テーブルであり、光源を識別する光源識別情報と、この光源識別情報の示す光源の波長の特性が記憶されているデータベース１０７におけるアドレスなどのインデックスである光源特性データインデックスとが、対応付けられて予め書き込まれて記憶されている。

図２の（ｂ）は、計算対象である物体表面の絵柄の領域の色データ（例えば、拡散反射率情報）を示す絵柄情報テーブルであり、絵柄を識別する絵柄識別情報と、この絵柄識別情報の示す絵柄の領域における各画素の色データが記憶されているデータベース１０７におけるアドレスなどのインデックスである絵柄画像データインデックスとが、対応付けられて予め書き込まれて記憶されている。

図２の（ｃ）は、計算対象である物体表面の光沢情報を示す特性情報テーブルであり、光沢特性を識別する光沢特性識別情報と、この光沢特性識別情報の示す物体表面の各画素における光沢画像データが記憶されているデータベース１０７におけるアドレスなどのインデックスである光沢特性データインデックスとが、対応付けられて予め書き込まれて記憶されている。光沢特性データは、上述したように物体表面の画素ごとに設定されており、各画素における光沢を示す鏡面反射率及び表面粗さなどを示している。

図２の（ｄ）は、計算対象である物体表面の凹凸形状を示す法線情報テーブルであり、法線を識別する法線識別情報と、この法線識別情報の示す物体表面の各画素における法線ベクトルが記憶されているデータベース１０７におけるアドレスなどのインデックスである法線画像データインデックスとが、対応付けられて予め書き込まれて記憶されている。

図１に戻り、データベース１０７は、本実施形態において、多視点質感シミュレーションシステム１に設けられているが、図示しないネットワーク上に設けられていても良い。この場合、多視点質感シミュレーションシステム１は、必要に応じて光源情報テーブル、絵柄情報テーブル、光沢特性情報テーブル及び法線情報テーブルの各々を、ネットワークを介して参照する構成としても良い。また、データベース１０７は、光学ドライブなどのメディア読み取り装置、ハードディスクなどを用いて構成できる。

記憶部１１１には、結果データテーブルが記憶されている。図３は、シミュレーションの結果に対応して記憶部１１１に記憶される結果データテーブルの構成例を示す図である。図３に示すように、結果データテーブルには、シミュレーション結果識別情報に対応して、光源特性データインデックス、光源位置データ、観察位置データ、物体位置データ、絵柄画像データインデックス、光沢特性データインデックス、法線画像データインデックス、結果インデックスの各々が書き込まれて記憶されている。光源特性データインデックス、絵柄画像データインデックス、光沢特性データインデックス、法線画像データインデックスの各々は、ユーザの入力部１０１における選択などにより、図２に示した光源情報テーブル、絵柄情報テーブル、光沢特性情報テーブル、法線情報テーブルそれぞれから読み込まれたデータである。

結果インデックスには、光源特性データ、光源位置データ、観察位置データ、物体位置データ、絵柄画像データ、光沢特性データ及び法線画像データを用いたシミュレーションにより得られた計算対象である物体表面の多視点画像群から得た光線空間圧縮画像が記憶されている記憶部１１１におけるアドレスなどが書き込まれて記憶される。

結果データテーブルの光源位置データ、観察位置データ、物体位置データの各々には、入力部１０１においてユーザが入力した光源位置データ、観察位置データ、物体位置データが書き込まれて記憶される。

また、結果データテーブルの光源特性データインデックスには、入力部１０１においてユーザが選択した光源特性データをデータベース１０７の光源識別情報をもとに識別して、光源情報テーブルから対応する光源特性データインデックスが読み出されて、結果識別情報に対応させて記憶部１１１の結果データテーブルに書き込まれて記憶される。

また、結果データテーブルの絵柄画像データインデックス、光沢特性データインデックス、および法線画像データインデックスには、入力部１０１においてユーザが選択した絵柄画像データ、光沢特性データ及び法線画像データをデータベース１０７の絵柄識別情報、光沢特性識別情報、および法線識別情報のそれぞれをもとに識別して、絵柄情報テーブル、光沢特性情報テーブル、および法線情報テーブルから対応する絵柄画像データインデックス、光沢特性データインデックス、および法線画像データインデックスが読み出されて、結果識別情報に対応させて記憶部１１１の結果データテーブルに書き込まれて記憶される。

操作部１０２は、光源位置データ、観察位置データ、および物体位置データから構成される観察条件情報の少なくともいずれかを変更するための操作手段である。具体的には、タブレット、マウス、タッチパネル等を用いることができ、タブレット内のジャイロセンサーによる傾き情報、マウスやタッチパネルなどによるカーソル操作情報を入力として光源位置データ、観察位置データ、および物体位置データの少なくともいずれかを変更するものである。多視点質感シミュレーションシステム１は、操作部１０２からの入力に基づいて記憶部１１１の結果データテーブルの光源位置データ、観察位置データ、および物体位置データの少なくとも１つを更新するように構成してもよい。

画像処理部１０３は、ユーザが入力部１０１において選択した光源特性データと、絵柄画像データと、光沢特性データと、法線画像データと、観察条件情報である光源位置データ、観察位置データ、および物体位置データとに基づいて、光線空間画像データを生成する。ここで光線空間画像データとは、入力部１０１に入力された観察位置に表示したい計算対象である物体の複数の画像を並べた多視点画像を示す。多視点質感シミュレーションシステム１では光線空間画像データを圧縮した光線空間圧縮画像を表示部１０６である積層型ディスプレイ３０１に表示することで観察者に、計算対象である物体表面の質感を知覚させることができる。以下では、画像処理部１０３による光線空間画像データの生成方法について説明する。

まず、光線空間情報について説明する。光線空間情報は、計算対象とする物体が存在する空間内の光線の量（方向と強度）の情報である。光線空間情報は、所定空間内の任意の点（Ｖ）を通過する光線を、式（１）に示す値の組みあわせで定義する。ここで、（θ、φ）は光線の方向、λは色（波長）、ｔは時間、（Ｖｘ，Ｖｙ，Ｖｚ）は任意の点の位置である。

しかしながら、数１のような７次元の光線空間情報を取得することは困難であるため、一般的には奥行き位置、色、時間を除いた式（２）に示す値の組みあわせで表される４次元の光線空間情報が用いられる。

次に、図５および図６を参照しながら、仮想空間内に存在する光線を４次元の光線空間情報として記録する方法について説明する。まず、同一平面上（Ｖｘ，Ｖｙ）に並んだ複数個の観察位置２０２を視点として対象物体２０１の画像をレンダリングする。各視点における画像生成方法については後述する。図５の例では、縦３個×横３個の計９個の観察位置２０２で同一の対象物体２０１をレンダリングしている。そのため、９枚の画像２０３が生成されることとなる。これらの複数の画像２０３は、観察位置２０２のそれぞれで視差が存在する（観察位置がずれている）ため各画像２０３によって物体表面上の光沢模様２０４の見え方（位置、大きさ、強度）がそれぞれ異なる。このようにして、画像２０３ごとに、異なる光線情報が得られ、これらは図示しない所定の記録装置に記録される。図５の場合、９枚の画像２０３が撮影されたので、９つの異なる光線情報が記録される。

図４は、画像処理部１０３の構成例を示す図である。画像処理部１０３は、入射光計算部１３１、鏡面反射光計算部１３２、拡散反射光計算部１３３、反射光合成部１３４及び光線空間生成部１３５を備えている。

入射光計算部１３１は、光源特性データ、光源位置データ、物体位置データ、法線画像データに基づいて、光源から出射される出射光の照度Ｉｉから計算対象である物体表面の画素Ｇ（対象点）毎に対して入射される光の放射照度Ｅｉを以下の式（３）を用いて算出する。図７に示すようにｄは光源から対象点Ｇまでの距離を示している。θｉは対象点の法線ベクトルＮと対象点に対して入射される光線Ｌとのなす角度である。

入射光計算部１３１は式（３）を用いて計算対象である物体表面の全画素についても放射照度Ｅｉの計算を行う。放射照度Ｅｉは視点によらず同じであるため、位置の異なる観察位置２０２からのレンダリング時においても同じ放射照度データを用いる。

次に、入射光計算部１３１で計算された放射照度Ｅｉを用いて、計算対象である物体からの反射光を計算する。本実施形態では二色性反射モデルを元とした反射計算を行い、鏡面反射光と拡散反射光とをそれぞれ鏡面反射光計算部１３２および拡散反射光計算部１３３において計算する。

二色性反射モデルとは、Ｓ．Ａ．Ｓｈａｆｅｒによって提案された反射モデルで、反射光のスペクトルは鏡面反射成分と拡散反射成分とのスペクトルの線形和で表すことができるというモデルである。反射光の輝度をＩ、鏡面反射成分の輝度をＩｓ、拡散反射成分の輝度をＩｄとすると、二色性反射モデルでの反射光輝度Ｉは式（４）で表される。

まず鏡面反射光計算部１３２にて鏡面反射光の放射輝度Ｉｓを計算する。具体的には、鏡面反射光計算部１３２は、入射光計算部１３１が算出した各画素に入射される放射照度Ｅｉと、記憶部１１１の結果データテーブルに記憶された光源特性データインデックス、光源位置データ、観察位置データ、物体位置データ、光沢特性データインデックスおよび法線画像データインデックスに基づいて、計算対象である物体表面に於ける各画素からの観察位置２０２のそれぞれに対する鏡面反射光の放射輝度Ｉｓを算出して鏡面反射光画像データを生成する。

このとき、鏡面反射光計算部１３２は双方向反射率分布関数（ＢＲＤＦ：Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ）のモデル式を用い、鏡面反射光の放射輝度Ｉｓを算出する。また、ＢＲＤＦのモデル式としては、「Ｔｈｅｏｒｙ ｆｏｒ Ｏｆｆ－Ｓｐｅｃｕｌａｒ Ｒｅｆｌｅｃｔｉｏｎ Ｆｒｏｍ Ｒｏｕｇｈｅｎｅｄ Ｓｕｒｆａｃｅｓ、 Ｋ． Ｅ． Ｔｏｒｒａｎｃｅ、 ａｎｄ Ｅ．Ｍ．Ｓｐａｒｒｏｗ、ＪＯＳＡ， ｖｏｌ．５７， Ｉｓｓｕｅ ９， ｐｐ．１１０５－１１１２， １９６７」に記載されている式（５）（Ｔｏｒｒａｎｃｅ―Ｓｐａｒｒｏｗモデル）がある。

ここでρｓは鏡面反射率である。Ｄは法線分布項であり計算対象である物体表面の微細構造の法線のばらつきを表現する。Ｇは幾何減衰項であり、微小面の凹凸によって生ずる自己遮蔽・自己陰影を表現する。またＦはフレネル項であり、入射角度により反射率の変化するフレネル反射を表現する。Ｎは計算対象である物体表面のベクトルであり、Ｖは視点方向ベクトルである。よって観察位置が異なると鏡面反射光の放射輝度Ｉｓが変化するため、観察位置データごとに鏡面反射光の放射輝度Ｉｓを算出する必要がある。図５の例でいうと、観察位置２０２が９点あるため、計算対象である物体表面の同一画素に対して９個の放射輝度Ｉｓが得られる。

拡散反射光計算部１３３では計算対象である物体表面の拡散反射光の放射輝度Ｉｄを計算する。具体的には、拡散反射光計算部１３３は、記憶部１１１の結果データテーブルに記憶された絵柄画像データインデックス、光源位置データ、物体位置データ、および法線画像データインデックスを用いて、拡散反射光の放射輝度Ｉｄを算出し、拡散反射光画像データを生成する。

本実施形態においては拡散反射モデルとしてＬａｍｂｅｒｔモデルを用いる。Ｌａｍｂｅｒｔモデルによると拡散反射の強さは式（６）で表される。ここでρｄは拡散反射率である。式（６）で表されるように拡散反射光の放射輝度Ｉｄは視点位置に依存しないため、各観察位置２０２において同一の拡散反射光の放射輝度Ｉｄを用いることができる。拡散反射光計算部１３３は拡散反射光の放射輝度Ｉｄにより拡散反射光画像データを生成した後、拡散反射光画像データを拡散反射画像記憶部１０８に記憶する。記憶された拡散反射光画像データは、光線空間圧縮画像を生成する際に用いる。

反射光合成部１３４では、鏡面反射光計算部１３２および拡散反射光計算部１３３において生成された鏡面反射光画像データと拡散反射光画像データを二色性反射モデルにもとづいて足し合わせることで、それぞれの観察位置２０２から見た反射光画像データを生成する。

光線空間生成部１３５では反射光合成部１３４で生成した反射光画像データに観察位置情報を付けて光線空間画像データとし、光線空間画像記憶部１０９に記憶する。上述したような処理によって画像処理部１０３では、光線空間画像データと拡散反射画像データを生成することができる。

光線空間圧縮部１０４は、画像処理部１０３により光線空間画像記憶部１０９に記憶された光線空間画像データを用いて表示部１０６の具体例である積層型ディスプレイ３０１に表示する光線空間圧縮画像を生成する。

ここで図８を参照して積層型ディスプレイ３０１の説明をする。積層型ディスプレイ３０１はバックライト３０２および複数枚の透過型パネル３０３～３０５で構成される。図８の例では３枚の透過型パネル３０３～３０５（レイヤ３０３～３０５ともいう）をバックライト３０２の前にレイヤ状に配置している。観察する方向Ｖ１、Ｖ２…に応じて、それぞれの光線は異なる透過率を持った画素を通過するため、異なる光が観察される。

観察する方向ごとに目的の画像を提示するためには、各レイヤ３０３～３０５の画素ごとの透過率であるレイヤパターンを算出する必要がある。レイヤパターンの算出時には、光線空間画像記憶部１０９に記憶された光線空間画像データを条件として最適化計算を繰返す。この処理を光線空間圧縮処理と呼び、光線空間画像データに含まれる多数の視点の画像が積層型ディスプレイ３０１の備える透過型パネル３０３～３０５の枚数分の画像に圧縮され光線空間圧縮画像が得られる。光線空間画像データの圧縮は従来技術で実施でき、例えば非負テンソル因子分解を用いて最適化計算が可能である。

光線空間圧縮処理では式（７）の最小化問題を解く。式（７）のＡ、Ｂ、Ｃはそれぞれのレイヤ３０３～３０５の画素値（透過率）を一次元配列としてベクトル表現したものである。またＹは入力画像群（光線空間画像）の全画素値をベクトル表現したものである。ベクトルＹのｋ番目の要素Ｙｋに対応する光線とレイヤ３０３との交点のインデックスをａ（ｋ）とし、ｂ（ｋ）、ｃ（ｋ）も同様に定める。入力画像群が忠実に再現されるためには、すべてのｋについて式（７）が最小となることが期待される。

上述した光線空間圧縮処理で、光線空間圧縮部１０４は光線空間画像記憶部１０９に記憶された光線空間画像データを圧縮しても良いが、画像の画素数や設定した視点数によっては計算量が膨大になってしまう。光源位置が静止した状態であれば良いが、例えば操作部１０２により光源位置設定が変化した場合には、再度光線空間画像データを生成して、圧縮し直す必要がある。

そこで最適化計算の高速化のために画像処理部１０３で光線空間画像データを生成し、拡散反射画像記憶部１０８に記憶した拡散反射画像データを用いても良い。拡散反射成分は視点位置によらず一定であるため、物体表面の同じ画素からの光線は全て同一の値を用いることができる。そこで積層型ディスプレイ３０１のレイヤ３０３～３０５の内一枚の画素値を拡散反射画像データから決定して固定する。例えば図８の３枚の透過型パネル３０３～３０５の内レイヤ３０３の画素値は式（８）で求められる。

ｄＡがレイヤ３０３の画素値であり、αはスケーリング係数である。図９は拡散反射画像データの放射輝度値Ｉｄを入力として、レイヤ３０３に表示する画素値ｄＡとの関係を示す図である。κは対象物体に入射する光の鏡面反射成分の割合（鏡面反射光比率）でありユーザが決定できる。鏡面反射成分の割合が多く、光沢のコントラストを表現したい場合にはκを増やす。逆に光沢が少なく拡散成分のコントラストを上げたい場合にはκを下げる。

上述した手法により一枚のレイヤ３０３～３０５の表示画像は決定される。図８の例で言えばレイヤ３０３は式（８）で求めた画素値に基づいた表示をする。残りの２枚のレイヤ３０４および３０５の画素値は式（７）において式（８）で求めた画素値ｄＡをＡａ（ｋ）として固定して最適化計算を繰り返すことでＢｂ（ｋ）およびＣｃ（ｋ）によって算出される。

このようにして光線空間圧縮部１０４で算出された積層型ディスプレイ３０１のそれぞれの透過型パネル３０３～３０５に表示する光線空間圧縮画像は表示画像の画像データとして表示画像記憶部１１０に記憶される。そして光線空間圧縮部１０４は、表示画像の画像データを表示画像記憶部１１０に書き込んだアドレスを、結果識別情報に対応させて結果インデックスとして記憶部１１１における結果データテーブルに対して書き込んで記憶させる。

画像表示制御部１０５は記憶部１１１の結果データテーブルから結果インデックスを読み出す。そして画像表示制御部１０５は、この結果インデックスにより、表示画像記憶部１１０より表示画像の画像データを読み出して、この画像データを表示部１０６である積層型ディスプレイ３０１の複数枚の透過型パネル３０３～３０５のそれぞれに表示する。

上述したように本発明の実施形態に係る多視点質感シミュレーションシステム１では、光源特性データ、絵柄画像データ、光沢特性データ、法線画像データ、物体位置データ、観察位置データ、光源位置データを入力として光線空間画像データを生成し、積層型ディスプレイ３０１の持つパネル枚数と同じ枚数の画像に光線空間画像データを圧縮し積層型ディスプレイ３０１に表示させることで、多視点方向へと異なる物体模様仕上がりを表示する。ユーザはこの積層型ディスプレイ３０１に表示された複数の画像を重畳して観察することで、両眼で異なる光沢を持った画像を観ることができるため物体の質感をより知覚することができる。

次に、フローチャートを用いて、本実施形態における多視点質感シミュレーションシステム１における光源位置の変更を含む光線空間圧縮画像の生成および表示の動作を説明する。図１０は、本実施形態の多視点質感シミュレーションシステム１における光線空間圧縮画像を生成し、表示する処理の動作例を示すフローチャートである。

ステップＳ１：
入力部１０１から、光源特性データ、光源位置データ、観察位置データ、物体位置データ、絵柄画像データ、光沢特性データ、法線画像データが入力される。

これにより、多視点質感シミュレーションシステム１は、入力された光源特性データ、絵柄画像データ、光沢特性データおよび法線画像データの各々の情報に紐づくインデックスをデータベース１０７におけるテーブルから読み出して、記憶部１１１の結果データテーブルに対して書き込んで記憶させる。また、多視点質感シミュレーションシステム１は、入力された光源位置データ、観察位置データ及び物体位置データを記憶部１１１の結果データテーブルに対して書き込んで記憶させる。

ステップＳ２：
操作部１０２からの入力に基づく光源位置データを記憶部１１１の結果データテーブルに対して書き込んで更新する。図示しないが、操作部１０２の入力の更新に伴い、記憶部１１１の結果データテーブルの光源位置データを定期的に更新してもよい。

ステップＳ３：
画像処理部１０３内の入射光計算部１３１が、記憶部１１１における結果データテーブルを参照してデータベース１０７に記憶されている光源特性データインデックス及び法線画像データインデックスに紐づく情報を読み出す。また記憶部１１１の結果データテーブルから、光源位置データ及び物体位置データを読み出す。そして、入射光計算部１３１は、光源特性データインデックスに紐づく情報、光源位置データインデックスに紐づく情報、物体位置データ及び法線画像データに基づいて、物体表面の画素ごとに対して入射される光の放射照度Ｅｉを算出する。

ステップＳ４：
画像処理部１０３内の鏡面反射光計算部１３２が、記憶部１１１における結果データテーブルを参照してデータベース１０７に記憶されている光沢特性データインデックスおよび法線画像データインデックスに紐づいた情報を読み出す。また記憶部１１１の結果データテーブルから、光源位置データ、観察位置データ、物体位置データを読み出す。そして、鏡面反射光計算部１３２は、読み出した情報およびデータと入射光計算部１３１が算出した放射照度Ｅｉを用いて観察位置データ毎に鏡面反射光の放射輝度Ｉｓを算出して鏡面反射光画像データを生成する。鏡面反射光画像データは観察位置データに対応する数を生成する。

ステップＳ５：
画像処理部１０３内の拡散反射光計算部１３３が、記憶部１１１における結果データテーブルを参照してデータベース１０７に記憶されている絵柄画像データインデックス及び法線画像データインデックスに紐付いた情報を読み出す。また記憶部１１１の結果データテーブルから、光源位置データ、物体位置データを読み出す。そして、拡散反射光計算部１３３は、読み出した情報およびデータと入射光計算部１３１が算出した放射照度Ｅを用いて拡散反射光の放射輝度Ｉｄを算出して拡散反射光画像データを生成する。拡散反射光画像データは拡散反射画像記憶部１０８に記憶される。

ステップＳ６：
画像処理部１０３内の反射光合成部１３４が、鏡面反射光計算部１３２および拡散反射光計算部１３３において生成された鏡面反射光画像データと拡散反射光画像データとを足し合わせて観察位置データ毎の反射光画像データを生成する。観察位置データの数に対応する数ある鏡面反射光画像データに対して、１つの拡散反射光画像データを足し合わせることで複数の観察位置データに対応する反射光画像データを生成する。

ステップＳ７：
画像処理部１０３内の光線空間生成部１３５が、反射光合成部１３４で生成した反射光画像データに観察位置情報を付けて光線空間画像データを生成し、これを光線空間画像記憶部１０９に記憶する。

ステップＳ８：
画像処理部１０３にて生成され光線空間画像記憶部１０９に記憶された光線空間画像データと、拡散反射画像記憶部１０８に記憶された拡散反射画像データを用いて、光線空間圧縮部１０４が積層型ディスプレイの複数の透過型ディスプレイ３０１に表示する光線空間圧縮画像を生成する。生成した光線空間圧縮画像は透過型パネル３０３～３０５のインデックスとともに表示画像記憶部１１０に記憶される。

ステップＳ９：
画像表示制御部１０５が、表示部１０６の積層型ディスプレイ３０１の持つ透過型パネル３０３～３０５それぞれのインデックスを参照して、表示画像記憶部１１０に記憶された光線空間圧縮画像を読み出してそれぞれの透過型パネル３０３～３０５に表示する。

以上のフローによって、本実施形態に係る多視点質感シミュレーションシステム１は、ユーザに対して多視点へと異なる質感を提示する画像を提示することができる。またステップＳ２においてユーザが操作部１０２を操作して光源位置データを変更した際には、改めて光線空間圧縮画像を生成して表示部１０６へと表示してもよい。

また操作部１０２によって変更される情報は光源位置データに限らず、物体位置データもしくは観察位置データのいずれかであってでも良い。

このように、本発明では、絵柄画像データ、光沢特性データ及び法線画像データからなる物体表面のデータと、観察位置データ、物体位置データ、光源位置データ及び光源特性データとから光線空間画像データを生成し、これを積層型ディスプレイのための光線空間圧縮画像へと変換して表示することで多視点方向へと異なる光線を表示することができる。特に光線空間圧縮部において、拡散反射光画像データをスケーリングした画像を用いることで、光源位置データ、物体位置データ及び観察位置データが変更された際における光線空間圧縮画像の再計算が高速に行われる。

なお、多視点質感シミュレーションシステム１の実装方法は、特に限定されないが、例えばプログラムと各種データとを記憶装置から読みだして実行するプロセッサを有するコンピュータを用いて、実現することができる。

本発明は、透過型パネルを複数枚重ねた光線再生型ディスプレイに表示される画像の処理に好適に用いることができる。

１…多視点質感シミュレーションシステム
１０１…入力部
１０２…操作部
１０３…画像処理部
１０４…光線空間圧縮部
１０５…画像表示制御部
１０６…表示部
１０７…データベース
１０８…拡散反射画像記憶部
１０９…光線空間画像記憶部
１１０…表示画像記憶部
１１１…記憶部
１３１…入射光計算部
１３２…鏡面反射光計算部
１３３…拡散反射光計算部
１３４…反射光合成部
１３５…光線空間生成部
２０１…対象物体
２０２…観察位置
２０３…画像
３０１…積層型ディスプレイ
３０２…バックライト
３０３～３０５…透過型パネル

Claims (6)

1. 透過型パネルを複数枚組み合わせた積層型ディスプレイに、仮想的な３次元空間に配置された仮想的な物体を複数の異なる視点から撮影した多視点画像からなる光線空間圧縮画像を表示する多視点質感シミュレーションシステムであり、
   前記物体の表面に描かれた絵柄の絵柄画像データと、前記物体の表面の光沢情報である光沢特性データと、前記物体の表面の法線ベクトル情報である法線画像データと、前記物体表面に照射される光を出射する光源の光の特性を示す光源特性データと、観察条件情報と、を含む計算情報から光線空間画像データを生成する画像処理部と、
   前記画像処理部において生成された前記光線空間画像データから、前記積層型ディスプレイの前記透過型パネルの各々に表示する複数の光線空間圧縮画像を生成する光線空間圧縮部と、
   前記光線空間圧縮画像を複数枚の前記透過型パネルのそれぞれに表示する画像表示制御部と、
   を備える、多視点質感シミュレーションシステム。
2. 前記光線空間画像データは、前記観察条件情報に基づいた複数の観察位置を視点として撮影された複数の異なる視点における画像データにより生成される、請求項１に記載の多視点質感シミュレーションシステム。
3. 前記光線空間圧縮画像は、前記光線空間画像データを解の条件として最適化計算により生成した、前記積層型ディスプレイが有する前記透過型パネルの枚数分の透過率パターンを用いて生成される、請求項１または２に記載の多視点質感シミュレーションシステム。
4. 前記画像処理部が、前記絵柄画像データ、前記法線画像データ、前記物体の前記３次元空間における位置を示す物体位置データ及び前記光源の前記３次元空間における位置を示す光源位置データを用いて前記物体の表面の拡散反射光画像データを生成し、
   前記光線空間圧縮部は、生成する複数の前記光線空間圧縮画像の内１枚を、前記拡散反射光画像データにスケーリング係数を乗算し鏡面反射光比率を足した画像として固定する、請求項１から３のいずれかに記載の多視点質感シミュレーションシステム。
5. 前記画像表示制御部は、前記積層型ディスプレイが有する複数の前記透過型パネルの内１枚に前記拡散反射光画像データにスケーリング係数を乗算し鏡面反射光比率を足した画像を表示する、請求項４に記載の多視点質感シミュレーションシステム。
6. 仮想的な３次元空間に配置された仮想的な物体を複数の異なる視点から撮影した多視点画像からなる光線空間圧縮画像を、透過型パネルを複数枚組み合わせた積層型ディスプレイに表示する多視点質感シミュレーションシステムのコンピュータが実行する方法であり、
   前記コンピュータが、少なくとも前記物体の表面に描かれた絵柄の絵柄画像データと、前記物体の表面の光沢情報である光沢特性データと、前記物体の表面の法線ベクトル情報である法線画像データと、前記物体表面に照射される光を出射する光源の光の特性を示す光源特性データと、観察条件情報と、を用いて光線空間画像データを生成する画像処理過程と、
   前記コンピュータが、生成された前記光線空間画像データから、前記積層型ディスプレイの前記透過型パネルの各々に表示する前記光線空間圧縮画像を生成する光線空間圧縮過程と、
   前記コンピュータが、前記光線空間圧縮画像を複数枚の前記透過型パネルにそれぞれ表示する画像表示制御過程とを含む、多視点質感シミュレーション方法。

Images