JP6756090B2 - 画像処理装置、方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、方法、及びプログラムに関し、より詳細には、表示物の素材の質感を画像表示する画像処理装置、方法、及びプログラムに関する。

近年の製造技術、通信技術及び情報処理技術の発展により、種々のシーンにおいて、スマートフォンやタブレット端末などの携帯型端末が利用されている。タッチパネル型ディスプレイや通信インタフェースの他、ＧＰＳ、ジャイロセンサ、カメラ等の各種機能を備えた複合型携帯型端末の適応シーンは今後さらに拡大が見込まれる。

例えば、従来、商取引の対象である商品は、紙媒体のパンフレットに写真やイラストとして掲載されて紹介されていた。写真やイラスト（色見本）では素材の質感を知覚しにくい建装材等では、実物の小片を集めたサンプル集の態様で紹介されていた。

一方、被写体表面の光沢感や繊維織りの細かなテクスチャー等の被写体（素材）の質感を画像表示する方法及び装置が提案されている（例えば、特許文献１を参照）。特許文献１の開示によれば、鏡面反射状態が異なる１つの静止被写体について、光源の照明位置及び／又は照明方向を変えて複数の原画像を取得し、複数の原画像に基づいて生成された複数のフレーム画像を作成し、連続的に複数のフレーム画像を切り替えて表し、フレーム画像の画像信号は、被写体の鏡面反射画像信号と拡散反射画像信号とを用いて光沢信号を生成し、この光沢信号にウィンドウ処理を行って作成される。

さらに、視差効果等を適用することで静止画に奥行き感を付加し、素材の質感を変化させる技術の実用化も進められている。

特開２００３−１３２３５０号公報（要約、請求項１，２等参照）

しかしながら、紙媒体であっても電子媒体であっても、観察環境の変化や素材の向きの変化に応じた当該素材の見えの変化（質感）を表現することができないという問題があった。

本発明は、このような問題に鑑みてなされたもので、その目的とするところは、観察環境の変化や素材の向きの変化に応じた当該素材の質感を画像表示するための画像処理装置、方法、及びプログラムを提供することにある。

このような目的を達成するために、本発明の第１の態様は、素材の質感を画像表示する画像処理装置である。画像処理装置は、レンダリング手段を備える。レンダリング手段は、照明情報、素材の質感に関する素材情報、並びに照明、素材の画像が表示される表示面及び観者の相対的位置関係に基づいて、素材の表示データをレンダリングするように構成されている。

一実施形態では、照明情報、素材の質感に関する素材情報、並びに照明、素材の画像が表示される表示面及び観者の相対的位置関係の一部又は全部は、外部から取得され、画像処理装置に予め記憶され、又は画像処理装置の各種取得手段及び検出手段により取得及び検出され得る。

一実施形態では、画像処理装置は、表示手段及び傾き検出手段をさらに備える。表示手段は、表示データを用いて素材の画像を表示するように構成されている。傾き検出手段は、表示手段の表示面の方位を検出するように構成されている。レンダリング手段は、傾き検出手段により検出された表示手段の表示面の方位、照明情報及び素材の質感に関する素材情報に基づいて、素材の表示データをレンダリングするように構成されている。一実施形態では、素材の画像が表示される表示面の方位は、通信手段を介して外部から取得される。

一実施形態では、画像処理装置は、周囲照明情報を取得するように構成された周囲照明情報取得手段をさらに備え、レンダリング手段は、周囲照明情報、素材情報及び素材の画像が表示される表示面の方位に基づいて表示データをレンダリングする。画像処理装置は、通信手段をさらに備え、通信手段を介して外部から取得された外部照明情報を周囲照明情報の代替とすることができる。一実施形態では、画像処理装置は、通信手段を介して外部から周囲照明情報又は外部照明情報を取得し、レンダリング手段は、外部から取得した周囲照明情報又は外部照明情報、素材情報及び素材の画像が表示される表示面の方位に基づいて表示データをレンダリングする。

一実施形態では、画像処理装置は、素材の画像の観者の方位を検出する観者検出手段を備え、レンダリング手段は、照明情報（周囲照明情報、外部照明情報）、素材情報、表示面の方位及び観者の方位に基づいて表示データをレンダリングする。一実施形態では、画像処理装置は、素材の画像の観者の方位は、通信手段を介して外部から取得される。

一実施形態では、照明情報は、光の方位、色成分及び強度を含む。また素材情報は、素材の画像の各画素についての色特性、形状特性及び反射特性を含む。

本発明の第２の態様は、上記画像処理装置により実行される、素材の質感を画像表示するための画像処理方法である。

本発明の第３の態様は、コンピュータに、上記画像処理方法を実行させるプログラムである。

以上説明したように、本発明によれば、観察環境の変化や素材の向きの変化に応じた当該素材の質感を画像表示するための画像処理装置、方法、及びプログラムを提供することが可能となる。

本発明の一実施形態にかかる画像処理装置の機能ブロック図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態に係る画像処理方法のフロー図である。

以下、図面を参照しながら本発明の実施形態について詳細に説明する。以下に説明する画像表示装置、方法、及びプログラムは、住宅などの室内・外の空間で用いられる建装材の電子見本帳に適する。すなわち、本実施形態の画像表示装置、方法、及びプログラムによれば、観察環境の変化や建装材の向きの変化に応じた当該建装材の質感を画像表示することが可能となり、実物の小片を集めたサンプル集や単なる色見本は不要の代替となり得る。

本願発明は、建装材に限定されるものではない。一般性を失うことなく他の例でも実施できる。たとえば、住宅などの室内・外空間は、自動車、電車、船及び飛行機等の乗り物の車内・外空間を含む空間に一般化して説明することができる。建装材は、床材（板、カーペット、石、タイル）、内壁材（板、クロス（革、合皮、紙、合成樹脂、化粧シート等））及び外壁材（サイディング材（板材、石材、タイル材等））及び天井材（板、クロス（革、合皮、紙、合成樹脂、化粧シート等））を含む装材であるが、乗り物の車内装材（革、合皮、布、合成樹脂、化粧シート等）及び車外装材等を含む「素材」に一般化して説明することができる。

図１は、本発明に係る画像処理装置の一実施形態である携帯型端末の機能ブロック図である。図１の携帯型端末１００は、例えば、タブレット端末であり、ディスプレイ、プロセッサ、メモリ、各種センサを備える。携帯型端末１００は、通信デバイス、キーボード、コンピュータマウスを含むポインティングデバイス、及びマイクロフォン等の入力デバイスを含んでもよい。入力デバイスは、入力部１１２を構成する。

ディスプレイデバイスは、画像の表示に適したディスプレイデバイスであればよく、これに限定するものではないが、電磁誘導式、静電容量式又は感圧式のタッチディスプレイデバイスが好ましい。ディスプレイデバイスは、表示部１０２を構成する。電磁誘導式、静電容量式又は感圧式のタッチディスプレイデバイスは、表示部１０２および入力部１１２を構成する。

プロセッサは、ＣＰＵの他、ＧＰＵやコプロセッサを含んでもよい。プロセッサは、表示部に表示される画像に対応する表示データを生成する。プロセッサは、レンダリング部（表示データ生成部）１０４を構成する。

メモリは、ＨＤＤなどの磁気ドライブ及びＳＳＤなどの半導体ドライブのいずれでもよい。メモリは、内蔵型でも外付型でも良い。メモリは、照明情報記憶部１０６及び素材情報記憶部１１６を構成する。メモリは、傾き検出部１１０により検出されたタブレット端末の傾き（ディスプレイ面の方位）の情報を記憶することもできる。

各種センサは、タブレット端末の周囲の照明情報（周囲照明情報）を取得するのに適したデバイス（以下、周囲照明情報取得デバイス）及びタブレット端末の傾きの検出に適したデバイス（傾き検出デバイス）であればよい。例えば、周囲照明情報取得デバイスは、測光デバイス、照度センサ及びカメラの１以上とすることができる。周囲照明情報取得デバイスは内蔵型でも外付型でもよい。また、例えば、傾き検出デバイスは、ジャイロセンサ、加速度センサ、磁気センサの１以上とすることができる。周囲照明情報取得デバイスは、プロセッサと共に又は単独で、周囲照明情報取得部１０８を構成する。また、傾き検出デバイスは、プロセッサと共に又は単独で、傾き検出部１１０を構成する。さらに、各種センサは、観者（例えば、観者の目）の位置を検出するのに適したデバイスを備えてもよい。このようなデバイスは、赤外線センサ及びカメラの１以上とすることができる。

例えば、周囲照明情報取得デバイスとしてのカメラは、周囲全周囲画像カメラまたは全天球撮影カメラ（omnidirectional camera）とすることができ、このようなカメラでタブレット端末の全周囲を撮影した全周囲画像の色味や輝度を実環境の照明情報（周囲照明情報）とすることができる。あるいは、内蔵型でも外付型のカメラで、カメラを水平面に置いた状態で撮影した基準画像と、カメラの向きを変えて複数回に分けて撮影したタブレット端末の全周囲を画像とを組み合わせて（繋ぎ合わせて）、全周囲画像を生成し、生成された全周囲画像の色味や輝度を実環境の照明情報（周囲照明情報）とすることができる。カメラが備えるイメージセンサのダイナミックレンジ（ラチチュード（latitude））がタブレット端末の周囲の実環境の輝度分布の輝度レンジより狭い場合は、露光量を多段に変えて撮影した後に合成する写真技法（ハイダイナミックレンジ合成（high dynamic range imaging：HDR）を用いてもよい。

例えば、タブレット端末の内蔵カメラ（またはタブレット端末との相対的位置関係が既知である外付けカメラ）で撮影される画像から、当該タブレット端末の操作者（観者）の顔（目）の位置を特定することで、タブレット端末の表示面と観者の相対的位置関係を特定することができる。撮影と観者の顔（目）の位置の特定を短い時間間隔で繰り返すことで、タブレット端末の表示面と観者の相対的位置関係をリアルタイムで特定することができる。

通信デバイスは、外部機器との接続用のバス（例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ））インタフェース、有線通信用のネットワークインタフェースカード（ＮＩＣ）及び無線通信用の無線デバイスの１以上とすることができる。通信デバイスは、通信部１１４を構成する。タブレット端末１００は、通信部１１４を介して外部から照明情報及び素材情報を取得することもできる。外部からの照明情報は、周囲照明情報の代替として用いることができる。

照明情報記憶部１０６は、周囲照明情報取得部１０８によって取得された周囲照明情報又は通信部１１４を介して外部から取得された外部照明情報を記憶する、又は予め記憶している。

素材情報記憶部１１６は、通信部１１４を介して外部から取得された素材情報を記憶する。素材情報は、素材の質感に関する情報である。素材情報は、ピクセル（画素）毎の法線情報（形状特性：装材（床材、壁材、天井材）におけるピクセルの面の向きを示す情報であり、例えば、画素の法線ベクトル情報である）を含む。また、素材情報は、画素毎の鏡面反射（正反射）の強さの情報（例えば、鏡面反射率）、鏡面反射（正反射）の鋭さの情報（例えば、表面のミクロな粗さ、表面荒さの標準偏差、ラフネス）及び拡散反射（散乱反射）の強さの情報（例えば、拡散反射率、素材の地の色を示すＲＧＢ）を含む。鏡面反射の強さ及び鋭さの情報並びに拡散反射の強さの情報を反射特性とも言う。拡散反射の強さの情報は、各画素のＲＧＢ毎の拡散反射の強さの情報（例えば、ＲＧＢ毎の拡散反射率）としても良い。また、鏡面反射（正反射）の強さの情報は、各画素のＲＧＢ毎の鏡面反射（正反射）の強さの情報（例えば、ＲＧＢ毎の鏡面反射率）としてもよい。周囲照明情報（または外部から取得した照明情報）及び素材情報に基づいて表示データが生成される。この結果、素材の質感（光沢感、ざらつき感、凹凸感）が画像表示される。

タブレット端末１００は、観者とのインタラクションのためのユーザ・インタフェース（ＵＩ）を提供するＵＩ提供部（不図示）を備える。観者は、ＵＩを介して、表示させたい素材を選択することができる。すなわち、タブレット端末１００は、ＵＩを介して観者からの素材の選択を受信し、当該素材をディスプレイに表示することができる。ＵＩは、観者が表示させたい素材を選択することができる、階層形式のカテゴリ別メニューを含んでもよい。例えば、素材を壁材、床材及び天井材のようなカテゴリ別に分類し、観者がカテゴリの階層にしたがって素材を選択できるようにしてよい。サブカテゴリでは複数の素材のサムネールを提示して、観者が表示させたい素材を選択させてもよい。

図２は、周囲照明情報取得部１０８によって周囲照明情報が取得される空間を示す。図２において、ｘ軸及びｙ軸は水平面内で互いに直交する軸であり、ｚ軸は水平面内に直交する軸である。図２の空間には、２つの電灯２０２及び２０４と太陽２０６を含む合計３つの光源が示されている。ｘ軸、ｙ軸及びｚ軸の交点を周囲照明情報取得部１０８の位置として、２つの電灯２０２及び２０４並びに太陽２０６の３つの光源からの光を観測し、光源毎に観測される光の方位、色成分及び強度（輝度）を、空間における周囲照明情報として取得する。光源の数は、３つに限定されない。光源は、発光体に限定されず、周囲照明情報取得部１０８に向けて光を反射する反射体でもよい。空間内で観測される全ての光源の周囲照明情報（光の方位、色成分及び強度）を取得してもよい。取得された周囲照明情報は、照明情報記憶部１０６に記憶される。

周囲照明情報代替として、通信部１１４を介して外部から照明情報を取得することができる。外部から取得された照明情報を外部照明情報ともいう。外部照明情報及び周囲照明情報を単に照明情報という。外部照明情報は、南向きの窓（太陽光が差し込む窓）があり４灯のダウンライトがある部屋や、窓の無く電灯が１つの寝室など、モデル化された空間における照明の情報（予め外部のサーバコンピュータなどに格納されている照明の情報）とすることができる。モデル化された空間は、販売中／建設予定の建築物件のモデルルームの間取り内の１つ又は複数の空間とすることができる。

図３は、図２に示した空間にタブレット端末１００を配置した状態を示す。図２には、タブレット端末１００によって表示される画像の観者の目２０８も示されている。タブレット端末１００は、ディスプレイ面を上向きにして、ディスプレイ面がｘｙ面に平行と成るように、ｘ軸、ｙ軸及びｚ軸の交点に配置されている。目２０８の方位は、観者検出部１１８によって検出されるディスプレイ面の法線に対する方位でもよく、ディスプレイ面の法線に予め決められた方位と（観者検出部１１８によって検出しない）してもよい。

図３に示す状態で、レンダリング部１０４は、素材の面がディスプレイ面に重ねられているかのように素材の表示データを生成する。生成された表示データがディスプレイデバイスに表示されると、タブレット端末１００を持っている観者は、あたかも素材を自身の手で持っているかのように、素材の質感を観察することができる。

レンダリング部１０４は、素材情報記憶部１１６からレンダリングする素材の素材情報（ピクセル毎の法線情報（形状特性）、鏡面反射の強さ及び鋭さの情報並びに拡散反射の強さの情報（反射特性））を読み出し、照明情報記憶部１０６から照明情報（１つまたは複数の光源からの光の方位、色成分及び強度（輝度））を読み出し、各画素における観者の方位に反射する色成分及び強度（輝度）を計算して表示データを生成する。生成された表示データが用いられ、表示部に画像が表示される。図３に示す状態では、素材の表面に３つの光源（２つの電灯２０２及び２０４並びに太陽２０６）から入射し、目２０８の方位に反射する光の色成分及び強度（輝度））が計算される。

図４に示す状態では、タブレット端末１００のディスプレイ面は水平面（ｘｙ面）から傾斜している。この傾斜は、電灯２０２の光がディスプレイ面に入射しない程度の傾きである。傾き検出部１１０がこの傾斜を検出し、レンダリング部１０４は、表示データの生成の際に考慮する。すなわち、レンダリング部１０４は、素材の表面に２つの光源（１つの電灯２０４及び太陽２０６）から入射し、目２０８の方位に反射する光の色成分及び強度（輝度））を計算し表示データを生成する。

さらに、図５に示す状態では、タブレット端末１００のディスプレイ面はｚ軸に平行に配置されている。この配置は、２つの電灯２０２及び２０４の光がディスプレイ面に入射しない配置である。傾き検出部１１０がこのときのタブレット端末１００の傾斜を検出し、レンダリング部１０４は、表示データの生成の際に考慮する。すなわち、レンダリング部１０４は、素材の表面に１つの光源（太陽２０６）のみから入射し、目２０８の方位に反射する光の色成分及び強度（輝度））を計算し表示データを生成する。

図３から５を参照して説明したように、レンダリング部１０４によって生成された表示データは、タブレット端末１００の傾き（ディスプレイ面の方位）および目の位置（方位）が反映されている。したがって、タブレット端末１００を持っている観者は、タブレット端末１００を傾けたり、目の位置（方位）を変えたりすることで、素材の実物を観察した時と同様に、素材の質感を観察することができることができる。

レンダリング部１０４は、ズーム機能を実装することもできる。上述したように、レンダリング部１０４は、素材の面がディスプレイ面に重ねられているかのように素材の表示データを生成する。ディスプレイ面と、タブレット端末１００を保持する観者との間の距離は、略観者の腕の長さとなり、大きく変化しない。したがって、ユーザ・インタフェース（ＵＩ）を介して受信する観者からのズーム・インの指示に応答して、素材がディスプレイ面と観者との間に置かれているかのように素材の表示データを生成する、あるいは、ＵＩを介して受信するズーム・アウトの指示に応答して、ディスプレイ面が素材と観者との間に置かれている（素材がディスプレイ面の裏側に置かれている）かのように素材の表示データを生成する、ズーム機能をレンダリング部１０４に実装することは有用である。例えば、観者は、ディスプレイ面が水平面に垂直となるようにタブレット端末を保持し、壁材の素材をさせる際に、ズーム・アウト機能を使用して、２〜３ｍは離れた位置の壁を想定して、素材の質感を観察することが可能になる。

図６は、画像処理方法のフローチャートであり、上述した携帯型端末１００によって実行される処理フローの一例である。

ステップＳ６０１で、携帯型端末１００（レンダリング部１０４）は、周囲照明情報を取得する。当該携帯型端末が配置された実環境において周囲照明情報取得部１０８によって取得された照明情報、又は周囲照明情報記憶部１０６に格納された照明情報が取得される。代替として、通信部１１４を介して取得されたモデル化された空間における外部照明情報、又は通信部１１４を介して取得され周囲照明情報記憶部１０６に格納された外部照明情報が取得される。

ステップＳ６０３で、携帯型端末１００（レンダリング部１０４）は、表示する素材の素材情報（形状特性、反射特性）を取得する。通信部１１４を介して外部から取得され素材情報記憶部１１６に記憶された素材情報が取得される。たとえば、形状特性は素材の画素毎の法線ベクトル情報であり、反射特性は画素毎の鏡面反射の強さの情報（ＲＢＧ毎の鏡面反射率）及び鏡面反射の鋭さ（表面のミクロな粗さ、表面荒さの標準偏差、ラフネス）及び拡散反射の強さの情報（ＲＧＢ毎の拡散反射率、地の色に相当するＲＧＢ）である。

ステップＳ６０５で、携帯型端末１００（レンダリング部１０４）は、照明、ディスプレイ面及び観者の相対的位置関係を特定する。携帯型端末１００（レンダリング部１０４）は、照明、ディスプレイ面及び観者の相対的位置関係を、照明情報に含まれる光の方位と、ディスプレイ面の方位及び観者の目の方位の少なくとも１つとを用いて計算することにより、特定することができる。携帯端末の傾き及び観者の目の方位は、傾き検出部１１０及び観者検出部１１８によってそれぞれ検出され、レンダリング部１０４がアクセスできるようにメモリなどに保持されている。

ステップＳ６０７で、携帯型端末１００（レンダリング部１０４）は、取得した照明情報と、計算した相対的位置関係と、取得した素材情報（形状特性、反射特性）とに基づいて、素材の表示データをレンダリングする。

ステップＳ６０９で、表示部１０２は、表示データを用いて表示部１０２に素材の画像を表示（再表示）する。

なお、ステップＳ６０１は、ステップＳ６０３の後に実行してもよい。特に、実環境において取得された照明情報を用いる場合、ステップＳ６０１は、ステップＳ６０５からＳ６０９のループに含めて、レンダリング部１０４が表示情報をレンダリングする毎に照明情報を取得し直すようにしてもよい。

以上、観察環境の変化や素材の向きの変化に応じた当該素材の質感を画像表示するための画像処理装置及び方法の一実施の形態を、タブレット端末等の携帯型端末を例に説明したが、本願発明は、画像処理装置及び方法は上記実施形態に限定されるものではなく、一般性を失うことなく他の形態でも実施することができる。

例えば、携帯型端末と通信するコンピュータ（サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ等の携帯型端末とは別のコンピュータ）を用いて、本願発明の画像処理装置を実施してもよい。すなわち、携帯型端末とは別のコンピュータのＣＰＵ、ＧＰＵ又はコプロセッサでレンダリング部を実装し、コンピュータのレンダリング部で、照明情報、素材の質感に関する素材情報、並びに照明、素材の画像が表示される表示面及び観者の相対的位置関係に基づいて、素材の表示データをレンダリングすることができる。レンダリング部を備えたコンピュータは、携帯型端末から受信した照明情報（周囲照明情報）を表示データのレンダリングに用いることができる。レンダリング部を備えたコンピュータは、携帯型端末以外の他のコンピュータから受信したまたはメモリなどに記録された照明情報（外部照明情報）を表示データのレンダリングに用いることができる。レンダリング部を備えたコンピュータは、携帯型端末から受信した照明、表示面及び素材の画像の観者の相対的位置関係を表示データのレンダリングに用いることができる。携帯型端末は、別のコンピュータでレンダリングされた表示データを用いて素材の画像を表示することができる。

以上、説明したように、本発明によれば、観察環境の変化や素材の向きの変化に応じた当該素材の質感を画像表示する画像処理装置、方法、及びプログラムを提供できる。

１００ 携帯型端末
１０２ 表示部（感圧式ディスプレイ）
１０４ レンダリング部（表示データ生成部）
１０６ 照明情報記憶部
１０８ 周囲照明情報取得部（測光デバイス、照度センサ、カメラ）
１１０ 傾き検出部（ジャイロセンサ、加速度センサ、磁気センサ）
１１２ 入力部（キーボード、キーパッド、マウス、ポインティングデバイス、マイク）
１１４ 通信部（ネットワークＩＦカード（ＮＦＣ）、無線デバイス）
１１６ 素材情報記憶部
１１８ 観者検出部（赤外線センサ、カメラ）
２０２，２０４ 電灯
２０６ 太陽
２０８ 目

Claims (21)

1. レンダリング手段を備えた画像処理装置であって、
   前記レンダリング手段は、照明情報、素材の質感に関する素材情報、並びに複数の照明、前記素材の画像が表示される表示面及び観者の相対的位置関係に基づいて、前記素材の表示データをレンダリングするように構成され、
   前記照明情報は前記複数の照明の情報である、画像処理装置。
2. レンダリング手段を備えた画像処理装置であって、
   前記レンダリング手段は、照明情報、素材の質感に関する素材情報、並びに照明、前記素材の画像が表示される表示面及び観者の相対的位置関係に基づいて、前記素材の表示データをレンダリングするように構成され、
   前記照明情報は全周囲画像の色味又は輝度の少なくとも１つである、画像処理装置。
3. 表示手段及び傾き検出手段をさらに備え、
   前記傾き検出手段は、前記表示手段の表示面の方位を検出するように構成され、
   前記表示手段は、前記表示データを用いて前記素材の画像を表示するように構成され、
   前記レンダリング手段は、前記照明情報、前記素材の質感に関する素材情報及び前記傾き検出手段により検出された前記表示手段の表示面の方位に基づいて、前記素材の表示データをレンダリングするように構成された、請求項１又は２に記載の画像処理装置。
4. 前記画像処理装置の周囲照明情報を取得するように構成された周囲照明情報取得手段をさらに備え、前記表示データがレンダリングされる際に用いられる前記照明情報は、前記周囲照明情報取得手段により取得された前記周囲照明情報である、請求項１ないし３のいずれかに記載の画像処理装置。
5. 前記素材の画像の観者の方位を検出する観者検出手段をさらに備え、
   前記レンダリング手段は、前記照明情報、前記素材の質感に関する素材情報、前記表示面の方位及び前記観者の方位に基づいて、前記表示データをレンダリングするように構成された、請求項１ないし４のいずれかに記載の画像処理装置。
6. 通信手段をさらに備え、
   前記表示データがレンダリングされる際に用いられる前記照明情報は、前記通信手段を介して外部から取得された外部照明情報である、請求項１ないし５のいずれかに記載の画像処理装置。
7. 前記照明情報は、光の方位、色成分及び強度を含み、
   前記素材情報は、前記素材の画像の各画素についての形状特性及び反射特性を含む、請求項１ないし６のいずれかに記載の画像処理装置。
8. レンダリング手段を備えた画像処理装置における画像処理方法であって、
   前記レンダリング手段が、照明情報、素材の質感に関する素材情報、並びに複数の照明、前記素材の画像が表示される表示面及び観者の相対的位置関係に基づいて、前記素材の表示データをレンダリングすること、を含み、
   前記照明情報は前記複数の照明の情報である、方法。
9. レンダリング手段を備えた画像処理装置における画像処理方法であって、
   前記レンダリング手段が、照明情報、素材の質感に関する素材情報、並びに照明、前記素材の画像が表示される表示面及び観者の相対的位置関係に基づいて、前記素材の表示データをレンダリングすること、を含み、
   前記照明情報は全周囲画像の色味又は輝度の少なくとも１つである、方法。
10. 前記画像処理装置は表示手段及び傾き検出手段をさらに備え、前記方法は、
    前記傾き検出手段が前記表示手段の表示面の方位を検出することと、
    前記レンダリング手段が、前記照明情報、前記素材の質感に関する素材情報及び前記傾き検出手段により検出された前記表示手段の表示面の方位に基づいて、前記素材の表示データをレンダリングすることと、
    前記表示手段が前記表示データを用いて前記素材の画像を表示することと
    を含む、請求項８又は９に記載の方法。
11. 前記画像処理装置が周囲照明情報取得手段をさらに備え、
    前記方法は、前記周囲照明情報取得手段が周囲照明情報を取得することをさらに含み、
    前記レンダリング手段が前記素材の表示データをレンダリングすることは、前記レンダリング手段が、前記周囲照明情報、前記素材の質感に関する素材情報及び前記素材の画像が表示される表示面の方位に基づいて、前記素材の表示データをレンダリングすることを含む、請求項８ないし１０のいずれかに記載の方法。
12. 前記画像処理装置が観者検出手段をさらに備え、
    前記方法は、前記観者検出手段が前記素材の画像の観者の方位を検出することをさらに含み、
    前記レンダリング手段が前記素材の表示データをレンダリングすることは、前記レンダリング手段が、前記照明情報、前記素材の質感に関する素材情報、前記素材の画像が表示される表示面の方位及び前記観者の方位に基づいて、前記表示データをレンダリングすることを含む、請求項８ないし１１のいずれかに記載の方法。
13. 前記画像処理装置が通信手段をさらに備え、
    前記方法は、前記通信手段を介して外部照明情報を外部から取得することをさらに含み、
    前記照明情報は前記外部照明情報である、請求項８ないし１２のいずれかに記載の方法。
14. 前記照明情報は、光の方位、色成分及び強度を含み、
    前記素材情報は、前記素材の画像の各画素についての形状特性及び反射特性を含む、請求項８ないし１３のいずれかに記載の方法。
15. レンダリング手段を備えたコンピュータによって実行されるプログラムであって、
    前記レンダリング手段に、照明情報、素材の質感に関する素材情報、並びに複数の照明、前記素材の画像が表示される表示面及び観者の相対的位置関係に基づいて、前記素材の表示データをレンダリングさせ、
    前記照明情報は前記複数の照明の情報である、プログラム。
16. レンダリング手段を備えたコンピュータによって実行されるプログラムであって、
    前記レンダリング手段に、照明情報、素材の質感に関する素材情報、並びに前記素材の画像が表示される表示面及び観者の相対的位置関係に基づいて、前記素材の表示データをレンダリングさせ、
    前記照明情報は全周囲画像の色味又は輝度の少なくとも１つである、プログラム。
17. 前記コンピュータが表示手段及び傾き検出手段をさらに備え、前記プログラムは、
    前記傾き検出手段に前記表示手段の表示面の方位を検出させ、
    前記レンダリング手段に、前記照明情報、前記素材の質感に関する素材情報及び前記傾き検出手段により検出された前記表示手段の表示面の方位に基づいて、前記素材の表示データをレンダリングさせ、
    前記表示手段に前記表示データを用いて前記素材の画像を表示させる、請求項１５又は１６に記載のプログラム。
18. 前記コンピュータが周囲照明情報取得手段をさらに備え、前記プログラムは、
    前記周囲照明情報取得手段に周囲照明情報を取得させ、
    前記レンダリング手段に、前記周囲照明情報取得手段により取得させた前記周囲照明情報、前記素材情報及び前記素材の画像が表示される表示面の方位に基づいて、前記素材の表示データをレンダリングさせる、請求項１５ないし１７のいずれかに記載のプログラム。
19. 前記コンピュータが観者検出手段をさらに備え、
    前記プログラムは、前記観者検出手段に前記素材の画像の観者の方位を検出させ、
    前記レンダリング手段に、前記照明情報、前記素材の質感に関する素材情報、前記素材の画像が表示される表示面の方位及び前記観者の方位に基づいて、前記表示データをレンダリングさせる、請求項１５ないし１８のいずれかに記載のプログラム。
20. 前記コンピュータが通信手段をさらに備え、
    前記プログラムは、前記コンピュータに記通信手段を介して外部照明情報を外部から取得させ、
    前記レンダリング手段に、前記外部照明情報、前記素材情報及び前記素材の画像が表示される表示面の方位に基づいて、前記素材の表示データをレンダリングさせる、請求項１５ないし１９のいずれかに記載のプログラム。
21. 前記照明情報は、光の方位、色成分及び強度を含み、
    前記素材情報は、前記素材の画像の各画素についての形状特性及び反射特性を含む、請求項１５ないし２０のいずれかに記載のプログラム。