JP5058689B2 - 質感映像表示装置 - Google Patents

Description

本発明は、オブジェクトの質感を表示する質感映像表示装置に関する。

映像表示装置としては、例えば、液晶表示装置やプラズマ表示装置等がある。従来、これらの表示装置では、色、輝度、解像度の基本三要素の性能を上げることで、オブジェクトの質感表示を向上させている。

ところで、非特許文献１や非特許文献２では、オブジェクトの質感を表現するための技術が開示されている。具体的に、非特許文献１には、ＢＲＤＦ（Bidirectional Reflectance Distribution Function：双方向反射率分布関数）が開示され、非特許文献２には、ＢＴＦ（Bidirectional Texture Function：双方向質感関数）が開示されている。これらの関数は、いずれも、光の入射角と反射角（出射角）を引数とした関数である。このことは、質感を表現するには、色や輝度の性能を上げるだけでは十分ではなく、光線方向も考慮する必要があることを示している。

このように、光線方向を考慮した表示装置としては、裸眼立体視表示装置がある。例えば、非特許文献３には、光線方向を制御して立体視させるインテグラルフォトグラフィの原理が開示されている。

F.E. Nicodemus, et. al., Geometric considerations and nomenclature for reflectance, Monograph 161, National Bureau of Standards (US), October 1977. Kristin J. Dana, et. al., Reflectance and Texture of Real-World Surfaces, ACM Transactions on Graphics, Vol. 18, No. 1, pp. 1-34, 1999. M.G.Lippmann, Epreuves reversibles donnant la sensation du relief, J. de Phys, Vol. 7, pp. 821-825, 1908.

以上のように、従来の映像表示装置では、色や輝度の性能を上げるだけに留まり、オブジェクトの質感を十分に表現できていないという問題点がある。

本発明は、このような従来の問題点に着目してなされたもので、オブジェクトをより高い質感で表現することができる質感映像表示装置を提供することを目的とする。

前記問題点を解決するための質感映像表示装置に係る発明は、
複数の画素を有する表示デバイスと、
光の入射パラメータに応じて入射した光を予め定められた複数の出射方向に向わせる光線制御素子を複数有し、前記表示デバイスが発する光の出射方向を制御する光線制御素子アレイと、
表示させるコンテンツ内の同一位置の像の輝度が前記予め定められた複数の出射方向に応じて変わるよう、前記表示デバイスの各画素毎に、該画素からの光の該出射方向に応じて画素データを作成する画素データ作成手段と、
前記画素データ作成手段により作成された前記表示デバイスの各画素毎の前記画素データに基づいて駆動信号を生成し、該駆動信号を該表示デバイスに与えて、該表示デバイスを駆動させる駆動手段と、を備え、
前記光線制御素子アレイの複数の前記光線制御素子は、それぞれ、一つの光線制御素子に対して前記パネル表示デバイスの複数の画素のうちの一つの画素が対応し、該複数の画素と同数の光学素子と、該光学素子の向きを変えて該光学素子からの光を前記予め定められた複数の出射方向に向ける駆動源と、を有する、
ことを特徴とする。

ここで、前記質感映像表示装置は、
表示させるオブジェクトに対する入射光の方向と出射光の方向とをパラメータとし、該入射光に対する該出射光の光量の割合である反射率を示す反射率関数と、該オブジェクトのテクスチャーデータと、該入射光の輝度を示す入射光データとを、該オブジェクトの各位置毎に取得するデータ取得手段を備え、
前記画素データ作成手段は、前記光線制御素子により所定の射出方向に向う光を出力して前記オブジェクトの所定位置を表現する前記画素の前記画素データとして、該所定位置に関して前記所定の出射方向をパラメータとする前記反射率関数が示す反射率と、該所定位置に関する前記テクスチャーデータと、該所定位置に関する前記入射光データとを掛け合わせて得られた値を用いる、ことが好ましい。

本発明では、表示させるコンテンツ内の同一位置の像の輝度が予め定められた複数の出射方向に応じて変わるので、観察者の観察方向により、オブジェクトの見え方が変わる。したがって、本発明によれば、オブジェクトをより高い質感で表現することができる。

以下、本発明に係る質感映像表示装置の各種実施形態にについて、図面を用いて説明する。

まず、図１〜図６を用いて、本発明に係る第一の実施形態としての質感映像表示装置について説明する。

本実施形態の質感映像装置１は、図１に示すように、複数の画素２１,２１，…を有するパネル表示デバイス２０と、このパネル表示デバイス２０の各画素２１,２１，…からの光の向きを変える複数のレンズ３１，３１，…を有するレンズアレイ３０と、データ処理回路１０と、このデータ処理回路１０で処理されたデータに基づいてパネル表示デバイス２０を駆動させるパネル駆動回路１５と、を備えている。

パネル表示デバイス２０は、具体的には、例えば、液晶パネル表示デバイス、プラズマパネル表示デバイス、ＥＬパネル表示デバイス等である。

レンズアレイ３０の一つのレンズ３１は、図２及び図３に示すように、複数の画素２１,２１，…からの光が入射でき、且つ複数の画素２１,２１，…からの光を互いに異なる方向へ出射できるように、サイズ設定されていると共に配置されている。図２及び図３の例では、一つのレンズ３１は、パネル表示デバイス２０の横方向及び縦方向のそれぞれに３つずつ、合計９個の画素２１からの光が入射できるようになっている。

ここで、画素座標系及びレンズ座標系について説明する。

画素座標系は、各画素２１,２１，…の位置を特定するための座標系であり、パネル表示デバイス２０の横方向をｘ方向、縦方向をｙ方向として、一つの画素幅を単位長さ「１」としている。このため、例えば、座標（1,0）の画素２１は座標（0,0）の画素２１に対して＋ｘ方向側に隣接している画素を示し、座標（0,1）の画素２１は座標（0,0）の画素２１に対して＋ｙ方向側に隣接している画素を示すことになる。

レンズ座標系は、各レンズ３１，３１，…の位置を特定するための座標系であり、パネル表示デバイス２０の横方向をｓ方向、縦方向をｔ方向として、一つのレンズの有効径を単位長さ「１」としている。このため、例えば、座標（1,0）のレンズ３１は座標（0,0）のレンズ３１に対して＋ｓ方向側に隣接しているレンズを示し、座標（0,1）のレンズ３１は座標（0,0）のレンズ３１に対して＋ｔ方向側に隣接しているレンズを示すことになる。

レンズ座標（ｓ，ｔ）と画素座標（ｘ、ｙ）との関係は、以下の関係式で表すことができる。

ｓ＝ｘ／３ （小数点以下は切り捨て）
ｔ＝ｙ／３ （小数点以下は切り捨て）
このため、例えば、レンズ座標（0,0）のレンズ３１に光が入射する画素座標（0,0），（1,0），（2,0），（1,0），（1,1），（1，2），（2,0），（2,1），（2，2）の画素２１をレンズ座標系で示すと、全て（0,0）となる。

再び、図１を用いて、データ処理回路１０について説明する。

このデータ処理回路１０は、この質感映像表示装置１で再生する像のデータを取得するデータ取得部１１と、データ取得部１１が取得する三次元幾何学データを二次元データに変換する頂点処理部１３と、パネル表示デバイス２０の各画素２１,２１，…とレンズアレイ３０の各レンズ３１，３１，…との関係等が記憶されているプロファイルデータ記憶部１２と、パネル表示デバイス２０の各画素２１,２１，…毎の画素データを生成する画素データ生成部１４とを有している。

データ取得部１１は、例えば、通信網を介して質感映像表示装置１で再生する像のデータを受信する受信装置や、質感映像表示装置１で再生する像のデータが記憶されている記憶媒体を再生する再生装置等により構成されている。

プロファイルデータ記憶部１２には、図４に示すように、パネル表示デバイス２０の各画素２１,２１，…の画素座標（ｘ，ｙ）と、各画素２１,２１，…の画素座標（ｘ，ｙ）をレンズ座標系で示した座標、言い換えると、各画素２１,２１，…からの光が入射するレンズ３１のレンズ座標（ｓ，ｔ）と、対応レンズ３１を通過した後の各画素２１,２１，…からの光の方向のベクトル、つまり出射方向ベクトル（ｕ，ｖ）が記憶されている。

次に、本実施形態の質感映像表示装置１の動作について説明する。

まず、質感映像表示装置１のデータ取得部１１が再生すべきデータを取得する。このデータとしては、図１に示すように、三次元幾何データと、ＢＲＤＦ（Bidirectional Reflectance Distribution Function：双方向反射率分布関数）と、テクスチャーデータと、入射光データとがある。

三次元幾何学データは、オブジェクトの外形を示すデータである。ここでは、オブジェクトの表面形状を複数の三角形の集合として扱う。したがって、三次元幾何学データは、オブジェクトの表面形状を示す各三角形毎の各頂点の三次元座標の集合である。

頂点処理部１３は、データ取得部１１から三次元幾何学データを受け取ると、三角形の各頂点の三次元座標を二次元のレンズ座標（ｓ，ｔ）に変換する。したがって、一つの頂点を一つのレンズ３１で表現することになる。このことは、一つのレンズ３１に対応する９つの画素２１,２１，…のそれぞれも、同じ一つの頂点を示す光を出力することを意味する。

画素データ生成部１４は、変換後の三角形の各頂点座標を基に、ラスタライズ処理を行う。ラスタライズ処理は、コンピュータグラフィックス技術における基本的な処理の一つであり、三角形の中を所定の色及び輝度で塗り潰す技術である。画素データ生成部１４は、この三角形の中を所定の色及び輝度で塗り潰すために、パネル表示デバイス２０の各画素２１,２１，…が出力する光の色や輝度を定めて、このデータを駆動制御信号としてパネル駆動回路１５に渡す。

ここで、簡単のために、パネル表示デバイス２０が白黒表示デバイスであるとし、パネル表示デバイス２０の各画素２１,２１，…が出力する光の輝度の定め方について説明する。

データ取得部１１は、前述したように、三次元幾何データの他に、ＢＲＤＦ、テクスチャーデータ、入射光データを取得する。

ＢＲＤＦ ｆは、以下に示すように、座標（ｓ，ｔ）と、オブジェクトへの入射光の方向ベクトル（ｕ’，ｖ’）と、オブジェクトからの出射光の方向ベクトル（ｕ，ｖ）とをパラメータとして、入射光に対する出射光の反射率を示す関数である。このＢＲＤＦが示す反射率は、0〜1の浮動小数で示される値である。

ＢＲＤＦ：ｆ（ｓ，ｔ，ｕ，ｖ，ｕ’，ｖ’）
テクスチャデータＴは、輝度の係数としての性質を持ち、以下に示すように、座標（ｓ，ｔ）をパラメータとした無次元の値で、0〜1の浮動小数で示される値である。

テクスチャデータ：Ｔ（ｓ，ｔ）
入射光データＩは、以下に示すように、座標（ｓ，ｔ）と、オブジェクトへの入射光の方向ベクトル（ｕ’，ｖ’）とをパラメータとして輝度を示すデータである。

入射光データ：Ｉ（ｓ，ｔ，ｕ’，ｖ’）
なお、データ取得部１１が、ＢＲＤＦ、テクスチャーデータ、入射光データを取得した段階では、これらのデータ等のパラメータ中に含まれている座標が三次元座標系で示されており、画素データ生成部１４は、この三次元座標系で示されている座標を、二次元のレンズ座標系（ｓ，ｔ）に変換する。したがって、以上で示しているＢＲＤＦ、テクスチャーデータ、入射光データは、座標変換した後のものである。

画素データ生成部１４は、以上のＢＲＤＦ ｆ、テクスチャーデータＴ、入射光データＩと、プロファイルデータ記憶部１２に記憶されているプロファイルデータとを用いて、各画素座標（ｘ，ｙ）の画素２１の画素値、つまりその画素２１で表現する光の輝度を求める。

次に、画素データ生成部１４が各画素２１の輝度を求める手順について、図５に示すフローチャートに従って説明する。

画素データ生成部１４は、まず、初期設定として、画素座標（ｘ，ｙ）のｙ、ｘにそれぞれ「0」を設定する（Ｓ１，Ｓ２）。

次に、ステップ１，２で設定した画素座標（ｘ，ｙ）に対応するレンズ座標（ｓ，ｔ）を求めると共に、プロファイルデータ記憶部１２に記憶されているプロファイルデータを参照して、画素座標（ｘ，ｙ）に対応する光の出射方向ベクトル（ｕ，ｖ）を取得する（Ｓ３）。

次に、先に取得したＢＲＤＦ ｆ、テクスチャデータＴ、入射光データＩのうちから、ステップ３で得たパラメータを含むＢＲＤＦ ｆ、テクスチャデータＴ、入射光データＩを抽出する（Ｓ４）。具体的には、先に取得したＢＲＤＦ ｆのうちから、ステップ３で求めた、レンズ座標（ｓ，ｔ）、画素座標（ｘ，ｙ）に対応する光の出射方向ベクトル（ｕ，ｖ）をパラメータとして含むＢＲＤＦ ｆを抽出する。さらに、先に取得したテクスチャデータＴのうちから、ステップ３で求めたレンズ座標（ｓ，ｔ）をパラメータとして含むテクスチャデータＴを抽出すると共に、さらに、先に取得した入射光データＩのうちからレンズ座標（ｓ，ｔ）をパラメータとして含む入射光データＩを抽出する。

そして、画素データ生成部１４は、以下に示すように、ステップ４で得たＢＲＤＦ ｆ、テクスチャデータＴ、入射光データＩを相互に掛け合わせて、画素座標（ｘ，ｙ）で示される画素２１の輝度Ｏ_{（ｘ，ｙ）}を求める（Ｓ５）。

Ｏ_{（ｘ，ｙ）}＝ｆ（ｓ,ｔ,ｕ,ｖ,ｕ’,ｖ’）×Ｔ（ｓ,ｔ）×Ｉ（ｓ,ｔ,ｕ’,ｖ’）
先に定めた画素座標（ｘ，ｙ）で示される画素２１の輝度Ｏ_{（ｘ，ｙ）}を求めると、画素座標のｘの値に１を加え（Ｓ６）、このｘ座標値がパネル表示デバイス２０の最大値か否かを判断する（Ｓ７）。このｘ座標値がパネル表示デバイス２０の最大値でなければ、ステップ３に戻り、新たな画素座標（ｘ，ｙ）に関してステップ３からステップ７の処理を実行する。また、このｘ座標値がパネル表示デバイス２０の最大値であれば、画素座標のｙの値に１を加え（Ｓ８）、このｙ座標値がパネル表示デバイス２０の最大値か否かを判断する（Ｓ９）。このｙ座標値がパネル表示デバイス２０の最大値でなければ、ステップ２に戻り、このｙ座標値がパネル表示デバイス２０の最大値であれば、全ての画素２１の輝度が求まったとして、処理を終了する。

なお、以上では、簡単のために、パネル表示デバイス２０が白黒表示デバイスであるとしているが、パネル表示デバイスがカラー表示デバイスである場合には、以下の式に示すように、ＢＲＤＦ ｆ、入射光データＩのパラメータには、色を示すλが追加され、これらＢＲＤＦ ｆ、入射光データＩと、テクスチャーデータＴを互いに掛け合わせて、画素座標（ｘ，ｙ）で示される画素２１の色及びその輝度Ｏ_{（ｘ，ｙ）λ}が求められる。

ＢＲＤＦ：ｆ（ｓ，ｔ，ｕ，ｖ，ｕ’，ｖ’，λ）
入射光データ：Ｉ（ｓ，ｔ，ｕ’，ｖ’，λ）
但し、λは、色の三原色であるＲＧＢ成分の割合を示すベクトル値である。

以上のように求められたパネル表示デバイス２０の各画素２１，２１，…の輝度のデータは、駆動制御信号としてパネル駆動回路１５へ送られ、パネル表示デバイス２０の各画素２１，２１，…は、定められた輝度の光を出射する。レンズアレイ３０の一つのレンズ３１には、９つの画素２１，２１，…からの光が入射する。これら９つの画素２１，２１，…は、いずれも表示するオブジェクトの同じ箇所を表示するための光を出射するものの、各光の輝度は異なっている。さらに、レンズ３１からの各光の出射方向も互いに異なっている。従って、この質感映像表示装置を見る観察者が映像中の同じ箇所を見る場合でも、観察場所が異なれば、同箇所の輝度も異なって見えることになる。

ここで、図６を用いて、本実施形態の質感映像表示装置１の効果について説明する。

図６（Ａ）に示すように、ある物体Ｏに光源からの光Ｌinが入射し、この物体Ｏから、同図中に示すような出射方向分布の光Ｌoutが出射されたとする。この物体Ｏの観察者は、この物体からの光Ｌoutを見ることになるが、観察者の位置が異なれば、物体Ｏの同じ箇所を見ていても、同箇所の見え方が異なる。

本実施形態の質感映像表示装置１は、物体Ｏのある箇所を表現するにあたり、図６（Ｂ）に示すように、同箇所を表現する光を複数の方向に出射し、しかも、実際の物体Ｏの同箇所からの出射方向分布の光Ｌoutが再現できるように、各方向の光の輝度を制御しているので、この質感映像表示装置１の観察者は、実際の物体Ｏを見ている観察者と同様に、この物体Ｏの表示像を見ることができる。従って、本実施形態によれば、オブジェクトをより高い質感で表現することができる。

なお、本実施形態では、光線制御素子アレイとして、複数のレンズ３１，３１，…を有するレンズアレイ３０を用いたが、このレンズアレイ３０の替わりに、複数のピンホールが形成されているピンホールアレイや、後述の実施形態で示すように複数の駆動ミラーを有するミラーアレイ、さらには液晶パネル等を用いてもよい。また、本実施形態のレンズアレイ３０は、正方形の升目の交点に複数のレンズ３１，３１，…を配置したものであるが、複数の光線制御素子の配置はこれに限定されるものではなく、例えば、デルタ配置等、他の配置であってもよい。

また、本実施形態では、同一径の複数のレンズ３１，３１，…が同一間隔Ｌａで配置されているが、レンズの径をレンズアレイの中心側よりも周辺側の方を小さくすると共に、レンズ間隔をレンズアレイの中心側よりも周辺側の方を小さくしてもよい。

図７（Ａ）に示す本実施形態のように、同一径の複数のレンズ３１，３１，…が同一間隔Ｌａで配置されている場合、レンズアレイ３０の一方の端部からの光で形成される像と他方の端部からの光で形成される像とに関して、質感を認識できる観察者の位置は、同図中でハッチングが示されている領域である。この領域は、レンズアレイ３０の一方の端部のレンズ３１からの出射方向が制御された光線と、他方の端部のレンズ３１からの出射方向が制御された光線とで挟まれた領域である。一方、図７（Ｂ）に示すように、レンズの径をレンズアレイの中心側よりも周辺側の方を小さくすると共に、レンズアレイの中心側のレンズ間隔Ｌａよりも周辺側のレンズ間隔Ｌｂの方を小さくすると、レンズアレイの一方の端部のレンズ３１ｂからの出射方向が制御された光線と、他方の端部のレンズ３１ｂからの出射方向が制御された光線とが共に傾き、両光線で挟まれた領域、つまりハッチングが示されている領域が広くなる。このため、質感を認識できる観察者の存在領域を広くすることができる。このように、質感を認識できる観察者の存在領域を広くする手法としては、以上の他、レンズアレイの中心部と周辺部とでレンズの光学設計を変える手法や、レンズアレイの中心部のレンズに対して周辺部のレンズを傾ける手法等が考えられる。

次に、本発明に係る第二の実施形態としての質感映像表示装置について、図８を用いて説明する。

本実施形態の質感映像表示装置１ａは、一般的にリアプロジェクタと呼ばれている表示装置に本発明を適用したもので、スクリーン４１と、このスクリーン４１の表面に貼り付けられているレンズアレイ３０と、このスクリーン４１の背面側に配置されている投射機２０ａと、投射機２０ａからの光をスクリーン４１の背面に導く固定ミラー４２と、投射機２０ａを駆動する駆動回路１５ａと、駆動回路１５ａへ駆動制御信号を送るデータ処理回路１０と、を備えている。

データ処理回路１０は、第一の実施形態の質感映像表示装置１のデータ処理回路１０と基本的に同じである。また、スクリーン４１の表面にはレンズアレイ３０が配されている。このため、本実施形態でも、第一の実施形態と同様に、オブジェクトをより高い質感で表現することができる。

次に、本発明に係る第三の実施形態としての質感映像表示装置について、図９を用いて説明する。

本実施形態の質感映像表示装置１ｂでは、光線制御素子アレイとして、ミラー３１ｂと、このミラー３１ｂの向きを変えるアクチュエータ３２とから成る光線制御素子を複数備えたマイクロミラーアレイ３０ｂを用いている。

質感映像表示装置１ｂは、このマイクロミラーアレイ３０ｂと、マイクロミラーアレイ３０ｂの各アクチュエータ３２を駆動制御するミラー駆動回路３３と、LED等の複数の光源を有する光源アレイデバイス２０ｂと、光源アレイデバイス２０ｂを駆動させる光源駆動回路１５ｂと、光源駆動回路１５ｂへ駆動制御信号を送るデータ処理回路１０ｂとを備えている。

マイクロミラーアレイ３０ｂの各アクチュエータ３２は、縦方向に伸びる軸と横方向に伸びる軸の２つの軸回りで、ミラー３１ｂを回転させ、このミラー３１の向きを変える。この実施形態では、第一の実施形態において、一つのレンズ３１がオブジェクトの同一位置の象を示す光を互いに異なる９方向に向けているのと同様に、一つのミラー３１ｂの向きを互いに異なる予め定められた９方向に向けて、一つのミラー３１ｂがオブジェクトの同一位置の像を示す光を互いに異なる９方向に向ける。

マイクロミラーアレイ３０ｂのミラー３１ｂの数量は、光源アレイデバイス２０ｂの光源２１ｂの数量と同じである。すなわち、マイクロミラーアレイ３０ｂの一つのミラー３１ｂと光源アレイデバイス２０ｂの一つ光源２１ｂとが対応している。この点は、一つのレンズ３１と９つの画素２１とが対応している第一の実施形態と異なる。このように、本実施形態では、一つの光源２１ｂからの光を９方向に向ける関係で、一つの光源２１は、オブジェクトの同一位置の像を示す光であって、ミラー３１ｂにより向けられる光の出射方向に応じた輝度の光を順次出力する。

このため、本実施形態のデータ処理回路１０ｂの画素データ生成部１４ｂは、オブジェクトの同一位置の像を示す光の輝度を９つの出射方向毎に定め、この出射方向毎の輝度データを、光源アレイデバイス２０ｂの一つの光源２１ｂに対する画素データとしている。

パネル駆動回路１５ｂは、データ処理回路１０ｂの画素データ生成部１４ｂから画素データを受け取ると、光源アレイデバイス２０ｂの各光源２１ｂから、それぞれ、９つの出射方向毎の輝度の光を順次出射させる。ミラー駆動回路３３は、光源２１ｂからの９つの出射方向毎の輝度の光を、９つの所定の出射方向に向けるべく、光源駆動回路１５ｂからの同期信号を受信して、各アクチュエータ３２により各ミラー３１ｂの向きを順次変えさせる。

この結果、本実施形態でも、第一の実施形態と同様、観察場所が異なれば、オブジェクトの同一位置の輝度も異なって見えることになり、高質感のオブジェクトを見せることができる。

なお、本実施形態において、カラー化する場合には、基本的に、他の実施形態と同様に、光源アレイデバイス２０ｂの複数の光源２１ｂのいずれかにＲ（赤）フィルタを取り付け、さらにいずれかにＧ（緑）フィルタを取り付け、残りにＢ（青）フィルタを取り付ければよいが、図９に示すように、マイクロミラーアレイ３０ｂによりも観察者側に、Ｒフィルタ４２Ｒ、Ｇフィルタ４２Ｇ、Ｂフィルタ４２Ｂを配置し、これらのフィルタ４２Ｒ，４２ＧＢ，４２Ｂを駆動回路１５ｂからの指示でミラー３１ｂの動きに同期させて、順次、ミラー３１ｂからの光の光路上に位置させるようにしてもよい。

次に、本発明に係る第四の実施形態としての質感映像表示装置について、図１０及び図１１を用いて説明する。

本実施形態の質感映像表示装置１ｃの表示デバイスは、図１０に示すように、複数の画素２１ｃ，２１ｃ，…を有する液晶パネル２０ｃと、この液晶パネル２０ｃのバックライトとしての機能する複数の光源２２とを有している。

質感映像表示装置１ｃは、この表示デバイスと、この表示デバイスの液晶パネル２０ｃを駆動させるパネル駆動回路１５ｃと、パネル駆動回路１５ｃへ駆動制御信号をデータ処理回路１０ｃとを備えている。

液晶パネル２０ｃは、図１１（Ａ）に示すように、第一の実施形態のパネル表示デバイス２０と同様に、９つの画素２１ｃ，２１ｃ，…でオブジェクトの一つの箇所を表示するように割り当てられている。光源２２は、この９つの画素２１ｃ，２１ｃ，…に対して一つ設けられている。このため、この光源２２に対する９つの画素２１ｃ，２１ｃ，…の相対的位置関係により、一つの光源２２から発せられ各画素２１ｃ，２１ｃ，…を透過した光は、各画素２１ｃ，２１ｃ，…毎に異なる出射方向になる。

この光源２２は、少なくとも、液晶パネル２０ｃ側に関しては、各方向に同じ光量の光を発するものである。このため、各画素２１ｃ，２１ｃ，…が同一の光透過率である状態では、各画素２１ｃ，２１ｃ，…から各方向へ出射される光の光量は、全て同じになる，言い換えると、図１１（Ｂ）に示すように、光源２２からの光放射分布Ｌoutｄは均等である。一方、９つの画素２１ｃ，２１ｃ，…の各光透過率を変えると、各画素２１ｃ，２１ｃ，…から各方向へ出射される光の光量は、各画素２１ｃ，２１ｃ，…毎に異なることになり、光源２２からの光放射分布Ｌoutｄ’が偏る。これは、光源２２からの光が、９つの画素２１ｃ，２１ｃ，…により出射方向が変えられることを意味しており、９つの画素２１ｃ，２１ｃ，…が一つの光線制御素子として機能することを意味する。

すなわち、本実施形態では、液晶パネル２０ｃは、表示デバイスの一部を構成すると共に、９つの画素２１ｃ，２１ｃ，…を一つの光線制御素子とする光線制御素子アレイをも構成する。

データ処理回路１０ｃの画素データ生成部１４ｃは、一つの光源２２に対応する９つの画素２１ｃ，２１ｃ，…の画素データとして、第一の実施形態の画素データ生成部１４ｃと同様、オブジェクトの同一位置の像を示す画素データであって、各出射方向に応じた輝度のデータを含む画素データを生成する。パネル駆動回路１５ｃは、この画素データを受信して、一つの光源２２に対応する９つの画素２１ｃ，２１ｃ，…の光源２２からの光の透過率を変え、９つの画素２１ｃ，２１ｃ，…から、オブジェクトの同一位置の像を示す光であって、各画素２１ｃ，２１ｃ，…の出射方向に応じた輝度の光を出力させる。

この結果、本実施形態でも、第一の実施形態と同様、観察場所が異なれば、オブジェクトの同一位置の輝度も異なって見えることになり、高質感のオブジェクトを見せることができる。

次に、本発明に係る第五の実施形態としての質感映像表示装置について、図１２を用いて説明する。

本実施形態の質感映像表示装置１ｄは、第一の実施形態における質感映像表示装置１に複数の光センサ４５，４５，…を設けたものである。複数の光センサ４５，４５，…は、ｃの表示デバイスは、ここでは、質感映像表示装置１ｄの前面の四隅に、それぞれ一つずつ、合計４つ設けられている。データ処理回路１０には、各光センサ４５，４５，…に基づいて、質感映像表示装置１ｄの表示面周りの光分布の関数を求める光分布関数算出部１６が設けられ、画素データ生成部１４ｄには、データ取得部１１からの入射光データを補正する入射光データ補正部１７が設けられている。

本実施形態では、各光センサ４５，４５，…で測定された表示面周りの光量データは、光分布関数算出部１６に入力し、そこで、表示面周りの光分布関数が求められる。この光分布関数Ｉ（s,t）は、レンズ座標系での（ｓ，ｔ）をパラメータとしている。光分布関数を求める方法としては、例えば、各光測定点の相互間をスプライン補完する方法等、各種方法があるが、いずれの方法を利用してもよい。入射光データ補正部１７は、データ取得部１１から入射光データＩ（s,t,u',v'）を受け取ると、この入射光データのレンズ座標値と同じ座標値を光分布関数Ｉ（s,t）に代入し、これを入射光データＩ（s,t,u',v'）に掛けて、以下の式に示すように、新たな入射光データＩ’（s,t,u',v'）を作成する。

Ｉ’（s,t,u',v'）＝Ｉ（s,t）×Ｉ（s,t,u',v'）
本実施形態では、この新たな入射光データＩ’（s,t,u',v'）を用いて、図５に示すステップ５での処理、つまり、画素座標（ｘ，ｙ）の画素の輝度Ｏ（x，y）を求める。

本実施形態によれば、例えば、置物を表示しており、表示面の左側が明るい場合には、置物の左側を明るく表示することができ、より臨場感を得ることができる。

なお、本実施形態では、複数の光センサ４５，４５，…を設けているが、光センサを一つだけ設けてもよい。この場合、表示面周りが明るい場合には、表示しているオブジェクトの全体を明るく表示することになる。また、本実施形態は、第一の実施形態の適用例であるが、以上の第二〜第四の実施形態に適用してもよいことは言うまでもない。

次に、本発明に係る第六の実施形態としての質感映像表示装置について、図１３を用いて説明する。

本実施形態の質感映像表示装置１ｅは、第一の実施形態におけるカメラ４６を設けると共に、このカメラ４６で得られたテクスチャーデータと、ＢＲＤＦと共に得られるテクスチャーデータとのうち一方を選択的にデータ取得部１１に渡すデータ切換器１８を設けたものである。

本実施形態では、例えば、ある柄の洋服を表示している最中に、他の柄の布地等をカメラ４６で撮像すれば、この撮像で得られたテクスチャーデータを先に取得してしたテクスチャーデータに置き換ることで、表示中の洋服の柄等を変えることができる。

なお、本実施形態は、第一の実施形態の適用例であるが、以上の第二〜第五の実施形態に適用してもよいことは言うまでもない。

本発明に係る第一の実施形態における質感映像表示装置の構成図である。 本発明に係る第一の実施形態におけるパネル表示デバイスの画素とレンズアレイのレンズとの位置関係を示す説明図である。 本発明に係る第一の実施形態におけるパネル表示デバイスの画素からの光の進行方向を示す説明図である。 本発明に係る第一の実施形態におけるプロファイルデータのデータ構成を示す説明図である。 本発明に係る第一の実施形態におけるパネル表示デバイスの各画素の輝度の求め方を示すフローチャートである。 本発明に係る第一の実施形態の効果を示すための図であり、同図（Ａ）は、オブジェクトに光があたっている際のオブジェクトからの光の反射状況を示す図であり、同図（Ｂ）はこのオブジェクトを表示している際の質感映像表示装置からの光の出射状況を示す図である。 本発明に係る第一の実施形態におけるレンズアレイのレンズピッチの相違による見え具合を示す説明図である。 本発明に係る第二の実施形態における質感映像表示装置の構成図である。 本発明に係る第三の実施形態における質感映像表示装置の構成図である。 本発明に係る第四の実施形態における質感映像表示装置の構成図である。 本発明に係る第四の実施形態における各画素からの光の進行方向を示す説明図である。 本発明に係る第五の実施形態における質感映像表示装置の構成図である。 本発明に係る第六の実施形態における質感映像表示装置の構成図である。

符号の説明

１，１ａ，１ｂ，１ｃ，１ｄ，１ｅ：質感映像表示装置、１０，１０ｂ，１０ｃ，１０ｄ，１０ｅ：データ処理回路、１１：データ取得部、１２：プロファイルデータ記憶部、１３：頂点処理部、１４，１４ｂ，１４ｃ：画素データ生成部、１５，１５ａ，１５ｂ，１５ｃ：駆動回路、１６：光分布関数算出部、１７：入射光データ補正部、２０：パネル表示デバイス、２０ａ：投射機、２０ｃ：液晶パネル、２１，２１ｃ：画素、２２：光源、３０：レンズアレイ、３０ｂ：マイクロミラーアレイ、３１：レンズ、３１ｂ：ミラー、３２：アクチュエータ、３３：ミラー駆動回路、４１：スクリーン、４５：光センサ、４６：カメラ

Claims (4)

1. 複数の画素を有する表示デバイスを備えた質感映像表示装置において、
   光の入射パラメータに応じて入射した光を予め定められた複数の出射方向に向わせる光線制御素子を複数有し、前記表示デバイスが発する光の出射方向を制御する光線制御素子アレイと、
   表示させるコンテンツ内の同一位置の像の輝度が前記予め定められた複数の出射方向に応じて変わるよう、前記表示デバイスの各画素毎に、該画素からの光の該出射方向に応じて画素データを作成する画素データ作成手段と、
   前記画素データ作成手段により作成された前記表示デバイスの各画素毎の前記画素データに基づいて駆動信号を生成し、該駆動信号を該表示デバイスに与えて、該表示デバイスを駆動させる駆動手段と、を備え、
   前記光線制御素子アレイの複数の前記光線制御素子は、それぞれ、一つの光線制御素子に対して前記パネル表示デバイスの複数の画素のうちの一つの画素が対応し、該複数の画素と同数の光学素子と、該光学素子の向きを変えて該光学素子からの光を前記予め定められた複数の出射方向に向ける駆動源と、を有する、
   ことを特徴とする質感映像表示装置。
2. 請求項１に記載の質感映像表示装置において、
   表示させるオブジェクトに対する入射光の方向と出射光の方向とをパラメータとし、該入射光に対する該出射光の光量の割合である反射率を示す反射率関数と、該オブジェクトのテクスチャーデータと、該入射光の輝度を示す入射光データとを、該オブジェクトの各位置毎に取得するデータ取得手段を備え、
   前記画素データ作成手段は、前記光線制御素子により所定の射出方向に向う光を出力して前記オブジェクトの所定位置を表現する前記画素の前記画素データとして、該所定位置に関して前記所定の出射方向をパラメータとする前記反射率関数が示す反射率と、該所定位置に関する前記テクスチャーデータと、該所定位置に関する前記入射光データとを掛け合わせて得られた値を用いる、
   ことを特徴とする質感映像表示装置。
3. 請求項２に記載の質感映像表示装置において、
   光量を検出する光センサと、
   前記光センサにより検出された光量に応じて、前記入射光データが示す前記入射光の輝度を補正する入射光データ補正手段と、
   を備えていることを特徴とする質感映像表示装置。
4. 請求項２または３に記載の質感映像表示装置において、
   映像を取得するカメラと、
   前記データ取得手段が取得する前記テクスチャーデータを、前記カメラが撮像した像のテクスチャーデータに切り換える切換器と、
   を備えていることを特徴とする質感映像表示装置。

Images