JP6610063B2 - 画像処理システム、方法、及びプログラム - Google Patents

Description

本発明は、画像処理システム、方法、及びプログラムに関し、より詳細には、表示物の素材の質感を画像表示し、その素材を３Ｄプリンタで出力することができる、画像処理システム、方法、及びプログラムに関する。

近年の製造技術、通信技術及び情報処理技術の発展により、種々のシーンにおいて、スマートフォンやタブレット端末などの携帯型端末が利用されている。タッチパネル型ディスプレイや通信インタフェースの他、ＧＰＳ、ジャイロセンサ、カメラ等の各種機能を備えた複合型携帯型端末の適応シーンは今後さらに拡大が見込まれる。

例えば、従来、商取引の対象である商品は、紙媒体のパンフレットに写真やイラストとして掲載されて紹介されていた。写真やイラスト（色見本）では素材の質感を知覚しにくい建装材等では、実物の小片を集めたサンプル集の態様で紹介されていた。

一方、被写体表面の光沢感や繊維織りの細かなテクスチャー等の被写体（素材）の質感を画像表示する方法及び装置が提案されている（例えば、特許文献１を参照）。特許文献１の開示によれば、鏡面反射状態が異なる１つの静止被写体について、光源の照明位置及び／又は照明方向を変えて複数の原画像を取得し、複数の原画像に基づいて生成された複数のフレーム画像を作成し、連続的に複数のフレーム画像を切り替えて表し、フレーム画像の画像信号は、被写体の鏡面反射画像信号と拡散反射画像信号とを用いて光沢信号を生成し、この光沢信号にウィンドウ処理を行って作成される。

さらに、視差効果等を適用することで静止画に奥行き感を付加し、素材の質感を変化させる技術の実用化も進められている。

マンション等の住宅購入希望者は、モデルルームへ行くことで、実物の間取りや建装材の素材の質感を体験できる。間取り等を含む住宅仕様を、コンピュータグラフィックス（ＣＧ）で再現することが知られている（例えば、特許文献２参照）。住宅供給者によって提供されるバーチャルモデルルームを通じて、住宅購入希望者は、間取り等を含む住宅仕様を疑似体験することができる。

特開２００３−１３２３５０号公報（要約、請求項１，２等参照） 特開２００４−５２１６号公報（第００３７段落、図３参照）

しかしながら、紙媒体であっても電子媒体であっても、観察環境の変化や素材の向きの変化に応じた当該素材の見えの変化（質感）を表現することができないという問題があった。さらに、実際の空間に配置されたときの素材の見え様子は、容易に想像できない。また、壁や床などの素材を空間に配置した際の質感や見えを疑似体験できるシステムも提案されていない。

さらに、紙媒体や電子媒体上での表示を見るだけでなく、実物と同様の立体物の状態で素材を見たいと望む場合もある。これらは、住宅購入希望者のみならず住宅供給者（インテリアデザイナー）であっても同様である。

したがって、環境の変化や素材の向きの変化に応じた当該素材の見えの変化（質感）を体験して、さらに当該素材を空間に配置した際の質感や見えを疑似体験でき、さらにその素材を立体物として出力できるシステムがされることが望ましい。

本発明は、このような問題に鑑みてなされたもので、その目的とするところは、観察環境の変化や素材の向きの変化に応じた当該素材の質感を画像表示し、当該素材を空間に配置した際の質感や見えの疑似体験を可能にし、その素材を立体物として出力する画像処理システム、方法、及びプログラムを提供することにある。

このような目的を達成するために、本発明の第１の態様は、画像処理システムである。この画像処理システムは、空間の画像を表示する第１の表示手段と、前記空間の表示データをレンダリングする第１のレンダリング手段と、前記空間に適用される素材の画像を表示する第２の表示手段と、前記素材の画像の表示データをレンダリングする第２のレンダリング手段と、素材の３Ｄプリントデータを生成する３Ｄプリントデータ生成手段とを備え、前記第２のレンダリング手段は、照明情報、前記素材の質感に関する素材情報、並びに照明、前記第２の表示手段の表示面及び観者の相対的位置関係に基づいて、前記素材の表示データをレンダリングするように構成され、前記第２の表示手段は、レンダリングされた前記素材の表示データを用いて前記素材の画像を表示するように構成され、前記第１のレンダリング手段は、前記素材を前記空間に適応する指示に応答して、前記空間の空間照明情報及び前記素材の質感に関する素材情報に基づいて、前記素材を適用した前記空間の表示データをレンダリングするように構成され、前記第１の表示手段は、レンダリングされた前記空間の表示データを用いて前記空間の画像を表示するように構成され、前記３Ｄプリントデータ生成手段は、前記空間に適用した１つまたは複数の前記素材の３Ｄプリントデータを生成するように構成される。

本発明の第２の態様は、空間の画像を表示する第１の表示手段と、前記空間の表示データをレンダリングする第１のレンダリング手段と、前記空間に適用される素材の画像を表示する第２の表示手段と、前記素材の画像の表示データをレンダリングする第２のレンダリング手段と、素材の３Ｄプリントデータを生成する３Ｄプリントデータ生成手段とを備えた画像処理システムにおける画像処理方法である。この方法は、前記第２のレンダリング手段が、照明情報、前記素材の質感に関する素材情報、並びに照明、前記第２の表示手段の表示面及び観者の相対的位置関係に基づいて、前記素材の表示データをレンダリングすることと、前記第２の表示手段が、レンダリングされた前記素材の表示データを用いて前記素材の画像を表示することと、前記第１のレンダリング手段が、前記素材を前記空間に適応する指示に応答して、空間照明情報及び前記素材の質感に関する素材情報に基づいて、前記素材を適用した前記空間の表示データをレンダリングすることと、前記第１の表示手段が、レンダリングされた前記空間の表示データを用いて前記空間の画像を表示することと、前記３Ｄプリントデータ生成手段が、前記空間に適用した１つまたは複数の前記素材の３Ｄプリントデータを生成することとを含む。

本発明の第３の態様は、画像処理プログラムである。このプログラムは、コンピュータを第１の態様の画像システムとして機能させるプログラムである。

以上説明したように、本発明によれば、観察環境の変化や素材の向きの変化に応じた当該素材の質感を画像表示する画像処理システム、方法、及びプログラムを提供することが可能となる。

本発明の一実施形態の画像処理システムの概略図である。 本発明の一実施形態の画像処理システムで画像表示する空間を説明する図である。 本発明の一実施形態の画像処理システムの画像処理装置のユーザ・インタフェースを説明するための図である。 本発明の一実施形態にかかる画像処理システムの画像処理装置の機能ブロック図である。 本発明の一実施形態の画像処理システムの仮想空間画像処理装置の機能ブロック図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態に係る画像処理システムの画像処理装置の処理のフロー図である。 本発明の一実施形態に係る画像処理システムの仮想空間画像処理装置の処理のフロー図である。 本発明の一実施形態に係る画像処理システムの３Ｄプリントデータを生成する処理のフロー図である。

以下、図面を参照しながら本発明の実施形態について詳細に説明する。以下に説明する画像処理システム、方法、及びプログラムは、住宅などの室内・外の空間で用いられる建装材の電子見本帳に適する。すなわち、本実施形態の画像処理システム、方法、及びプログラムによれば、観察環境の変化や建装材の向きの変化に応じた当該建装材の質感を画像表示することが可能となり、実物の小片を集めたサンプル集や単なる色見本は不要の代替となり得る。

本願発明は、建装材に限定されるものではない。一般性を失うことなく他の例でも実施できる。たとえば、住宅などの室内・外空間は、自動車、電車、船及び飛行機等の乗り物の車内・外空間を含む空間に一般化して説明することができる。建装材は、床材（板、カーペット、石、タイル）、内壁材（板、クロス（革、合皮、紙、合成樹脂、化粧シート等））及び外壁材（サイディング材（板材、石材、タイル材等））及び天井材（板、クロス（革、合皮、紙、合成樹脂、化粧シート等））を含む装材であるが、乗り物の車内装材（革、合皮、布、合成樹脂、化粧シート等）及び車外装材等を含む「素材」に一般化して説明することができる。

図１は、画像処理システムの構成を示す図である。画像処理システムは、画像処理装置１００と仮想空間画像処理装置３００とサーバ５００と３Ｄプリンタ７０２、７０４（本明細書では、まとめて「３Ｄプリンタ７００」と呼ぶ）とを含む。また、サーバ５００は、画像処理装置１００と仮想空間画像処理装置３００へ各種データ及び／又はサービスを提供することができる。

３Ｄプリンタ７００は、画像処理装置１００または仮想空間画像処理装置３００で表示される素材を３Ｄプリントするための３Ｄプリンタである。３Ｄプリンタ７０２は、画像処理装置１００および仮想空間画像処理装置３００に接続されており、３Ｄプリンタ７０４は、サーバ５００に接続されている。

図２は、仮想空間画像処理装置３００が備えるモニタ（ディスプレイデバイス等）に表示される仮想空間の一例を示す。仮想空間に関する情報は、壁、床、天井、ドア、窓、及び照明等の間取りの情報を含む。仮想空間情報は、仮想空間画像処理装置３００の仮想空間情報記憶部３０８に格納され、仮想空間画像処理装置のレンダリング部３０４が表示データを生成する際に用いられる。仮想空間情報は、仮想空間画像処理装置３００で作成し仮想空間情報記憶部３０８に格納してもよく、サーバ５００から取得して仮想空間情報記憶部３０８に格納してもよい。

図２の仮想空間は、空間の間取りを構成する各種パーツ（壁１〜３、床１、天井１、ドア１、窓１、照明１，２）を含む。仮想空間の情報である仮想空間情報は、各種パーツを識別する情報及び仮想空間における各種パーツの位置を識別する情報を含む。また、仮想空間における光に関する情報（光の方位、色成分（ＲＧＢ情報または光の波長毎に強度を表した分光情報）及び強度）は、照明情報として定義されている。照明情報は、配光を含んでもよい。各種パーツを識別する情報により、パーツの種類（壁、床、天井、ドア等）を識別することができる。位置を識別する情報により、各パーツの仮想空間における場所、他のパーツとの間の境界、距離及び相対的位置関係を算出することができる。各種パーツの素材の選択（決定）方法については、後述する。仮想空間の表示データを生成する際、各種パーツの素材の情報（素材情報：素材の各種特性情報を含む）、各光源２０２，２０４，２０６（照明１及び２並びに太陽）からの光に関する照明情報が考慮される。図２のユーザ・インタフェースを使用して、３Ｄプリンタ７００に出力する各種パーツの素材を選択する（例えば、仮想空間上で、出力したいパーツをクリックすることによって選択する）ことができる。

図３は、仮想空間内の各種パーツの素材を選択する際に、画像処理装置１００で提供されるユーザ・インタフェース（素材ビューア）を例示する図である。例えば、住宅供給者（インテリアデザイナー）は、図３のユーザ・インタフェースを使用して、各種パーツの素材の質感を確認して、適用する素材を選択することができる。仮想空間画像処理装置３００は、図３のユーザ・インタフェースを使用して選択された素材が適用された仮想空間の表示情報を生成し表示する。したがって、住宅供給者（インテリアデザイナー）は、選択した素材を空間に配置した際の質感や見えを疑似体験できる。また、図３のユーザ・インタフェースを使用して、３Ｄプリンタ７００に出力する各種パーツの素材を選択する（例えば、「３Ｄプリント ４１１」に触れることによって、質感ビューアに表示されている素材を出力する）ことができる。

画像処理装置１００と仮想空間画像処理装置３００は、仮想空間に関する情報を共有している。例えば、図３に示すようにユーザ・インタフェース（素材ビューア）は、仮想空間（図２）の各種パーツを選択可能にするパーツリスト４０２を含む。ユーザ・インタフェースは、パーツリストから選択されたパーツに適用可能な素材のカテゴリを選択可能にするリスト（素材カテゴリリスト）４０４を含む。さらに、ユーザ・インタフェースは、素材カテゴリリストから選択されたカテゴリに分類された素材のサムネールのリスト（サムネールリスト）４０６を含む。また、ユーザ・インタフェースは、サムネールリストから選択された素材の画像を表示する質感ビューア領域４０８を含む。さらにまた、ユーザ・インタフェースは、仮想空間についてモデル化された各種照明環境の照明情報（モデル１，２・・・）の選択を可能にする照明環境リスト４１２を含む。照明環境リストは、仮想空間の照明情報とは別に、画像処理装置１００が存在する実環境の照明情報を含んでもよい。照明環境リストには、モデル化された照明情報の概要（時間帯、光源種別・状態、窓の有無）を含んでもよい。質感ビューア領域４０８には、選択された素材の素材情報（色特性、形状特性、反射特性）及び照明情報（光の方位、配光、色成分（ＲＧＢ情報または光の波長毎に強度を表した分光情報）及び強度）が反映された画像が表示される。質感ビューア領域４０８は、ディスプレイの表示領域の全体を占めるように構成してもよい。以下に説明するように、画像処理装置１００は、画像処理装置（タブレット端末）の傾斜（ディスプレイ面の方位ならびに水平面に対する傾き）を考慮して、素材の画像をレンダリングして表示する。したがって、観者は、素材を手にしているかのように、素材の画像を観察し素材の質感を体験することができる。

図４は、本発明に係る画像処理装置の一実施形態である携帯型端末の機能ブロック図である。図４の携帯型端末１００は、例えば、タブレット端末であり、ディスプレイ、プロセッサ、メモリ、各種センサを備える。携帯型端末１００は、通信デバイス、キーボード、コンピュータマウスを含むポインティングデバイス、及びマイクロフォン等の入力デバイスを含んでもよい。入力デバイスは、入力部１１２を構成する。

ディスプレイデバイスは、画像の表示に適したディスプレイデバイスであればよく、これに限定するものではないが、電磁誘導式、静電容量式又は感圧式のタッチディスプレイデバイスが好ましい。ディスプレイデバイスは、表示部１０２を構成する。電磁誘導式、静電容量式又は感圧式のタッチディスプレイデバイスは、表示部１０２および入力部１１２を構成する。

プロセッサは、ＣＰＵの他、ＧＰＵやコプロセッサを含んでもよい。プロセッサは、表示部に表示される画像に対応する表示データを生成する。プロセッサは、レンダリング部（表示データ生成部）１０４および３Ｄプリントデータ生成部１２０を構成する。

メモリは、ＨＤＤなどの磁気ドライブ及びＳＳＤなどの半導体ドライブのいずれでもよい。メモリは、内蔵型でも外付型でも良い。メモリは、照明情報記憶部１０６及び素材情報記憶部１１６を構成する。メモリは、傾き検出部１１０により検出されたタブレット端末の傾斜（ディスプレイ面の方位ならびに水平面に対する傾き）の情報を記憶することもできる。

各種センサは、タブレット端末の周囲の照明情報（周囲照明情報）を取得するのに適したデバイス（以下、周囲照明情報取得デバイス）及びタブレット端末の傾きの検出に適したデバイス（傾き検出デバイス）であればよい。例えば、周囲照明情報取得デバイスは、測光デバイス、照度センサ及びカメラの１以上とすることができる。周囲照明情報取得デバイスは内蔵型でも外付型でもよい。また、例えば、傾き検出デバイスは、ジャイロセンサ、加速度センサ、磁気センサの１以上とすることができる。周囲照明情報取得デバイスは、プロセッサと共に又は単独で、周囲照明情報取得部１０８を構成する。また、傾き検出デバイスは、プロセッサと共に又は単独で、傾き検出部１１０を構成する。さらに、各種センサは、観者（例えば、観者の目）の位置を検出するのに適したデバイスを備えてもよい。このようなデバイスは、赤外線センサ及びカメラの１以上とすることができる。

例えば、周囲照明情報取得デバイスとしてのカメラは、周囲全周囲画像カメラまたは全天球撮影カメラ（omnidirectional camera）とすることができ、このようなカメラでタブレット端末の全周囲を撮影した全周囲画像の色味や輝度を実環境の照明情報（周囲照明情報）とすることができる。あるいは、内蔵型でも外付型のカメラで、カメラを水平面に置いた状態で撮影した基準画像と、カメラの向きを変えて複数回に分けて撮影したタブレット端末の全周囲を画像とを組み合わせて（繋ぎ合わせて）、全周囲画像を生成し、生成された全周囲画像の色味や輝度を実環境の照明情報（周囲照明情報）とすることができる。カメラが備えるイメージセンサのダイナミックレンジ（ラチチュード（latitude））がタブレット端末の周囲の実環境の輝度分布の輝度レンジより狭い場合は、露光量を多段に変えて撮影した後に合成する写真技法（ハイダイナミックレンジ合成（high dynamic range imaging：HDR）を用いてもよい。さらに、カメラを照明器具の正面で動かしながら輝度の変化を捉えることで、簡易的に配光特性を取得してもよい。

例えば、タブレット端末の内蔵カメラ（またはタブレット端末との相対的位置関係が既知である外付けカメラ）で撮影される画像から、当該タブレット端末の操作者（観者）の顔（目）の位置を特定することで、タブレット端末の表示面と観者の相対的位置関係を特定することができる。撮影と観者の顔（目）の位置の特定を短い時間間隔で繰り返すことで、タブレット端末の表示面と観者の相対的位置関係をリアルタイムで特定することができる。

通信デバイスは、外部機器との接続用のバス（例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ））インタフェース、有線通信用のネットワークインターフェースカード（ＮＩＣ）及び無線通信用の無線デバイスの１以上とすることができる。通信デバイスは、通信部１１４を構成する。タブレット端末１００は、通信部１１４を介して外部（仮想空間画像処理装置３００又はサーバ５００）から照明情報（仮想空間についてモデル化された照明情報（空間照明情報））及び素材情報を取得することもできる。外部から取得した照明情報は、周囲照明情報（実空間の照明情報）の代替として用いることができる。

照明情報記憶部１０６は、周囲照明情報取得部１０８によって取得された周囲照明情報又は通信部１１４を介して外部から取得された空間照明情報を記憶する。

素材情報記憶部１１６は、通信部１１４を介して外部から取得された素材情報を記憶する。素材情報は、素材の質感に関する情報である。素材情報は、ピクセル（画素）毎の法線情報（形状特性：装材（床材、壁材、天井材）におけるピクセルの面の向きを示す情報であり、例えば、画素の法線ベクトル情報である）及び／または深度情報を含む。また、素材情報は、画素毎のＲＧＢ情報（色特性：素材の地やコート層など、素材を構成する各層の色を示す情報）を含む。また、素材情報は、画素毎の光沢の強さの情報及び光沢の鋭さの情報（反射特性）を含む。反射特性である光沢情報は、光沢の強さの情報と光沢の鋭さの情報に加え、光沢の方向性の情報をさらに含むことができる。光沢の方向性の情報により、異方性反射を有する素材の質感を表現することができる。光沢の強さの情報は、各ピクセルのＲＧＢ毎の強さの情報としてもよい。周囲照明情報（または外部から取得した空間照明情報）及び素材情報に基づいて表示データが生成される。この結果、素材の質感（光沢感、ざらつき感、凹凸感）が画像表示される。

タブレット端末１００は、観者とのインタラクションのためのユーザ・インタフェース（ＵＩ）(例えば、図３の素材ビューア）を提供するＵＩ提供部（不図示）を備える。上述したように、観者は、ＵＩを介して、表示させたい素材を選択することができる。すなわち、タブレット端末１００は、ＵＩを介して観者からの素材の選択を受信し、当該素材をディスプレイに表示することができる。ＵＩは、観者が表示させたい素材を選択することができる、階層形式のカテゴリ別メニュー（素材カテゴリ）を含んでもよい。例えば、素材を壁材、床材及び天井材のようなカテゴリ別に分類し、観者がカテゴリの階層にしたがって素材を選択できるようにしてよい。サブカテゴリでは複数の素材のサムネールを提示して、観者が表示させたい素材を選択させてもよい。

図５は、本発明の一実施形態である画像処理システムの仮想空間画像処理装置の機能ブロック図である。仮想空間画像処理装置３００は、仮想空間画像のレンダリング及び表示に適したコンピュータであり、モニタ、プロセッサ、メモリを備える。仮想空間画像処理装置３００を構成するコンピュータは、通信デバイス、キーボード、コンピュータマウスを含むポインティングデバイス、及びマイクロフォン等の入力デバイスを含んでもよい。入力デバイスは、入力部３１２を構成する。

モニタは、仮想空間の画像表示に適したディスプレイデバイス等であればよく、表示部３０２を構成する。

プロセッサは、ＣＰＵの他、ＧＰＵやコプロセッサを含んでもよい。プロセッサは、表示部に表示される画像に対応する表示データを生成する。プロセッサは、レンダリング部（表示データ生成部）３０４および３Ｄプリントデータ生成部３２０を構成する。また、プロセッサは、入力デバイスと共に又は単独で、仮想空間における観者（例えば、観者の目（視点）、あるいはカメラ）の位置を検出する空間内観者位置検出部３１８を構成する。

メモリは、ＨＤＤなどの磁気ドライブ及びＳＳＤなどの半導体ドライブのいずれでもよい。メモリは、内蔵型でも外付型でも良い。メモリは、空間照明情報記憶部３０６、空間情報記憶部３０８及び素材情報記憶部３１６を構成する。

通信デバイスは、外部機器との接続用のバス（例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ））インタフェース、有線通信用のネットワークインターフェースカード（ＮＩＣ）及び無線通信用の無線デバイスの１以上とすることができる。通信デバイスは、通信部３１４を構成する。仮想空間画像処理装置を構成するコンピュータ３００は、通信部３１４を介して外部（携帯型端末１００又はサーバ５００）との間で、空間情報、空間照明情報及び素材情報を送受することができる。空間照明情報記憶部３０６は空間照明情報を記憶する。素材情報記憶部３１６は素材情報を記憶する。空間情報記憶部３０８は空間情報を記憶する。

仮想空間画像処理装置３００のレンダリング部（表示データ生成部）３０４及び空間内観者位置検出部３１８を、サーバ５００に実装してもよい。これらの機能をサーバ５００に実装する場合には、仮想空間画像処理装置３００は、通信部３１４を介して、サーバ５００がレンダリングした空間の表示データを受信して表示部３０２に表示することができる。また、携帯型端末１００のレンダリング部（表示データ生成部）１０４を、サーバ５００に実装してもよい。これらの機能をサーバ５００に実装する場合には、携帯型端末１００は、通信部１１４を介して、サーバ５００がレンダリングした素材の表示データを受信して表示部１０２に表示することができる。

図６は、周囲照明情報取得部１０８によって周囲照明情報が取得される空間を示す。図６において、ｘ軸及びｙ軸は水平面内で互いに直交する軸であり、ｚ軸は水平面内に直交する軸である。図６の空間には、２つの電灯２０２及び２０４と太陽２０６を含む合計３つの光源が示されている。ｘ軸、ｙ軸及びｚ軸の交点を周囲照明情報取得部１０８の位置として、２つの電灯２０２及び２０４並びに太陽２０６の３つの光源からの光を観測し、光源毎に観測される光の方位、配光、色成分（ＲＧＢ情報または光の波長毎に強度を表した分光情報）及び強度（輝度）を、空間における周囲照明情報として取得する。光源の数は、３つに限定されない。光源は、発光体に限定されず、周囲照明情報取得部１０８に向けて光を反射する反射体でもよい。空間内で観測される全ての光源の周囲照明情報（光の方位、配光、色成分（ＲＧＢ情報または光の波長毎に強度を表した分光情報）及び強度）を取得してもよい。あるいは、モデル化された空間における照明の情報のうち、光の方位と配光情報ならびに強度だけを使用し、色成分については観測された色成分を組み合わせてもよい。取得された周囲照明情報は、照明情報記憶部１０６に記憶される。

周囲照明情報の代替として、通信部１１４を介して外部から空間照明情報を取得することができる。空間照明情報及び周囲照明情報を単に照明情報という。空間照明情報は、南向きの窓（太陽光が差し込む窓）があり４灯のダウンライトがある部屋や、窓の無く電灯が１つの寝室など、モデル化された空間における照明の情報（予め外部の仮想空間画像処理装置３００又はサーバ５００などに格納されている照明の情報）とすることができる。モデル化された空間は、販売中／建設予定の建築物件のモデルルームの間取り内の１つ又は複数の空間とすることができる。

図７は、図６に示した空間にタブレット端末１００を配置した状態を示す。図７には、タブレット端末１００によって表示される画像の観者の目２０８も示されている。タブレット端末１００は、ディスプレイ面を上向きにして、ディスプレイ面がｘｙ面に平行と成るように、ｘ軸、ｙ軸及びｚ軸の交点に配置されている。目２０８の方位は、観者検出部１１８によって検出されるディスプレイ面の法線に対する方位でもよく、ディスプレイ面の法線に予め決められた方位と（観者検出部１１８によって検出しない）してもよい。

図７に示す状態で、レンダリング部１０４は、素材の面がディスプレイ面に重ねられているかのように素材の表示データを生成する。生成された表示データがディスプレイデバイスに表示されると、タブレット端末１００を持っている観者は、あたかも素材を自身の手で持っているかのように、素材の質感を観察することができることができる。

レンダリング部１０４は、素材情報記憶部１１６からレンダリングする素材の素材情報（ピクセル毎の法線情報及び／または深度情報（形状特性）、ＲＧＢ情報（色特性）、光沢の強さの情報及び光沢の鋭さの情報（及び光沢の方向性の情報））を読み出し、照明情報記憶部１０６から照明情報（１つまたは複数の光源からの光の方位、配光、色成分（ＲＧＢ情報または光の波長毎に強度を表した分光情報）及び強度（輝度））を読み出し、各画素における観者の方位に反射する色成分及び強度（輝度）を計算して表示データを生成する。生成された表示データが用いられ、表示部に画像が表示される。図７に示す状態では、素材の表面に３つの光源（２つの電灯２０２及び２０４並びに太陽２０６）から入射し、目２０８の方位に反射する光の色成分及び強度（輝度））が計算される。

図８に示す状態では、タブレット端末１００のディスプレイ面は水平面（ｘｙ面）から傾斜している。この傾斜は、電灯２０２の光がディスプレイ面に入射しない程度の傾きである。傾き検出部１１０がこの傾斜を検出し、レンダリング部１０４は、表示データの生成の際に考慮する。すなわち、レンダリング部１０４は、素材の表面に２つの光源（１つの電灯２０４及び太陽２０６）から入射し、目２０８の方位に反射する光の色成分及び強度（輝度））を計算し表示データを生成する。

さらに、図９に示す状態では、タブレット端末１００のディスプレイ面はｚ軸に平行に配置されている。この配置は、２つの電灯２０２及び２０４の光がディスプレイ面に入射しない配置である。傾き検出部１１０がこのときのタブレット端末１００の傾斜を検出し、レンダリング部１０４は、表示データの生成の際に考慮する。すなわち、レンダリング部１０４は、素材の表面に１つの光源（太陽２０６）のみから入射し、目２０８の方位に反射する光の色成分及び強度（輝度））を計算し表示データを生成する。

図７から９を参照して説明したように、レンダリング部１０４によって生成された表示データは、タブレット端末１００の傾斜（ディスプレイ面の方位ならびに水平面に対する傾き）および目の位置（方位）が反映されている。したがって、タブレット端末１００を持っている観者は、タブレット端末１００を傾けたり、目の位置（方位）を変えたりすることで、素材の実物を観察している時と同様に、素材の質感を観察することができることができる。

レンダリング部１０４は、ズーム機能を実装することもできる。上述したように、レンダリング部１０４は、素材の面がディスプレイ面に重ねられているかのように素材の表示データを生成する。ディスプレイ面と、タブレット端末１００を保持する観者との間の距離は、略観者の腕の長さとなり、大きく変化しない。したがって、ユーザ・インタフェース（ＵＩ）を介して受信する観者からのズーム・インの指示に応答して、素材がディスプレイ面と観者との間に置かれているかのように素材の表示データを生成する、あるいは、ＵＩを介して受信するズーム・アウトの指示に応答して、ディスプレイ面が素材と観者との間に置かれている（素材がディスプレイ面の裏側に置かれている）かのように素材の表示データを生成する、ズーム機能をレンダリング部１０４に実装することは有用である。例えば、観者は、ディスプレイ面が水平面に垂直となるようにタブレット端末を保持し、壁材の素材をさせる際に、ズーム・アウト機能を使用して、２〜３ｍは離れた位置の壁を想定して、素材の質感を観察することが可能になる。

図１０は、画像処理装置の処理のフローチャートであり、上述した携帯型端末１００によって実行される処理フローの一例である。

ステップＳ６０１で、携帯型端末１００（レンダリング部１０４）は、周囲照明情報を取得する。当該携帯型端末が配置された実環境において周囲照明情報取得部１０８によって取得された照明情報、又は周囲照明情報記憶部１０６に格納された照明情報が取得される。代替として、通信部１１４を介して取得されたモデル化された空間における外部照明情報、又は通信部１１４を介して取得され周囲照明情報記憶部１０６に格納された外部照明情報が取得される。観者があらかじめ周囲照明情報記憶部１０６に格納された照明情報または通信部１１４を介して取得されたモデル化された空間における外部照明情報から選択してもよい。

ステップＳ６０３で、携帯型端末１００（レンダリング部１０４）は、表示する素材の素材情報（色特性、形状特性、反射特性）を取得する。通信部１１４を介して外部から取得され素材情報記憶部１１６に記憶された素材情報が取得される。たとえば、色特性は素材の画素毎のＲＧＢ情報であり、形状特性は素材の画素毎の法線ベクトル情報及び／または深度情報であり、反射特性は画素毎の光沢の強さの情報及び光沢の鋭さの情報及び光沢の方向性の情報である。

ステップＳ６０５で、携帯型端末１００（レンダリング部１０４）は、照明、ディスプレイ面及び観者の相対的位置関係を特定する。携帯型端末１００（レンダリング部１０４）は、照明、ディスプレイ面及び観者の相対的位置関係を、照明情報に含まれる光の方位と、ディスプレイ面の方位及び観者の目の方位の少なくとも１つとを用いて計算することにより、特定することができる。携帯型端末の傾き及び観者の目の方位は、傾き検出部１１０及び観者検出部１１８によってそれぞれ検出され、レンダリング部１０４がアクセスできるようにメモリなどに保持されている。

ステップＳ６０７で、携帯型端末１００（レンダリング部１０４）は、取得した照明情報と、計算した相対的位置関係と、取得した素材情報（色特性、形状特性、反射特性）とに基づいて、素材の表示データをレンダリングする。

ステップＳ６０９で、表示部１０２は、表示データを用いて素材の画像を表示（再表示）する。

ステップＳ６１１で、表示部１０２に画像表示された素材を仮想空間のパーツに適用することが選択されたかどうかを決定する。素材の適用が選択されない場合、ステップＳ６１８へ進む。

素材の適用が選択された場合、ステップＳ６１３で、仮想空間のパーツの識別子及び選択された素材の識別子を送信する。送信された仮想空間のパーツの識別子及び選択された素材の識別子は、仮想空間画像処理装置３００又はサーバ５００によって、受信される。

ステップＳ６１８で、プログラムの終了が指示されたかどうかを判定する。プログラムの終了が指示されている場合は、処理のフローを終了する。プログラムの終了が指示されていない場合は、ステップＳ６０５へ戻る。

なお、ステップＳ６０１は、ステップＳ６０３の後に実行してもよい。特に、実環境において取得された照明情報を用いる場合、ステップＳ６０１は、ステップＳ６０５からＳ６０９のループに含めて、レンダリング部１０４が表示情報をレンダリングする毎に照明情報を取得し直すようにしてもよい。

図１１は、仮想空間画像処理装置の処理のフローチャートである。

ステップＳ７００で、仮想空間画像処理装置３００（レンダリング部３０４）は、仮想空間情報を取得する。空間情報記憶部３０８に予め格納された空間の情報（空間の間取りを構成する各種パーツを含む空間の情報）が取得される。空間情報は、通信部３１４を介してサーバ５００又は携帯型端末１００から取得され空間情報記憶部３０８に格納された空間情報とすることができる。

ステップＳ７０１で、仮想空間画像処理装置３００（レンダリング部３０４）は、仮想空間照明情報を取得する。空間照明情報記憶部３０６に予め格納されたモデル化された空間の照明情報（空間照明情報）が取得される。空間照明情報は、通信部３１４を介してサーバ５００又は携帯型端末１００から取得され空間照明情報記憶部３０６に格納された空間照明情報とすることができる。携帯型端末１００の周囲照明情報取得部１０８により取得され照明情報記憶部１０６に記憶された周囲照明情報を、空間照明情報としてもよい。

ステップＳ７０３で、仮想空間画像処理装置３００（レンダリング部３０４）は、携帯型端末１００からのパーツの識別子及び当該パーツに適用する素材の識別子を受信し、応答して、当該素材の素材情報（色特性、形状特性、反射特性）を取得する。素材情報記憶部３１６に予め格納された素材情報が取得される。素材情報は、通信部３１４を介してサーバ５００又は携帯型端末１００から取得し素材情報記憶部３１６に記憶された素材情報とすることができる。素材情報、上述した色特性、形状特性及び反射特性を示す情報である。

ステップＳ７０５で、仮想空間画像処理装置３００（観者位置検出部３１８）は、仮想空間における観者の目の位置（視点あるいはカメラの位置）を決定する。

ステップＳ７０７で、仮想空間画像処理装置３００（レンダリング部３０４）は、識別された素材が配置された空間（仮想空間）の表示データをレンダリングする。空間の表示データのレンダリングは、取得した照明情報及び素材情報、並びに決定した仮想空間における観者の目の位置に基づく。

ステップＳ７０９で、仮想空間画像処理装置３００（表示部３０２）は、表示データを用いて空間（仮想空間）の画像を表示（再表示）する。

ステップＳ７１１で、仮想空間における観者の目（視点）が変更されたかどうか（仮想空間内での視点の位置が変更されたかどうか、仮想空間が回転されたかどうか、又は拡大縮小されたかどうか）を決定する。観者の目（視点）が変更された場合は、ステップＳ７１３へ進む。観者の目（視点）が変更されない場合は、ステップＳ７１４へ進む。ステップＳ７１３およびＳ７１４ではそれぞれ、プログラムの終了が指示されたかどうかを判定する。

ステップＳ７１３でプログラムの終了が指示されている場合は、処理のフローを終了し、プログラムの終了が指示されていない場合は、ステップＳ７０５へ戻り、空間（仮想空間）の表示データのレンダリングをやり直し画像を再表示する（ステップＳ７０９）。ステップＳ７１４でプログラムの終了が指示されている場合は、処理のフローを終了し、プログラムの終了が指示されていない場合は、ステップＳ７１１を繰り返す。代替として、ステップＳ７１１およびステップＳ７１４を、ステップＳ７０５とＳ７０７の間に挿入し、観者の目（視点）が変更されるまでステップＳ７０５を繰り返し、観者の目（視点）が変更された場合は、ステップＳ７０７からＳ７０９を実行した後にステップＳ７１３に戻るようにしてもよい。

いずれの手段によっても、仮想空間画像処理装置３００（入力部３１２）によって仮想空間における観者の目（視点）が変更される毎に高速にレンダリングをやり直し画像を再表示することで、あたかも仮想空間の中を自由かつなめらかに移動するかのごとく効果を観者に与えることができる。

図１２は、本発明の一実施形態に係る画像処理システムの３Ｄプリントデータを生成する処理のフロー図である。

ステップＳ８０１で、画像処理装置１００の３Ｄプリントデータ生成部１２０または仮想空間画像処理装置３００の３Ｄプリントデータ生成部３２０は、３Ｄプリントする素材の素材情報（色特性、形状特性、反射特性）を取得する。通信部１１４または３１４を介して外部から取得され素材情報記憶部１１６または３１６に記憶された素材情報が取得される。例えば、色特性は素材の画素毎のＲＧＢ情報であり、形状特性は素材の画素毎の法線ベクトル情報及び／または深度情報であり、反射特性は画素毎の光沢の強さの情報及び光沢の鋭さの情報及び光沢の方向性の情報である。具体的には、３Ｄプリントデータ生成部１２０または３２０は、図２のユーザ・インタフェースまたは図３のユーザ・インタフェースを介して指定されたパーツの素材の素材情報を取得する。

ステップＳ８０３で、３Ｄプリントデータ生成部１２０または３２０は、ステップＳ８０１で取得した素材情報を３Ｄプリントデータへ変換する。すなわち、色特性、形状特性、反射特性が、３Ｄプリンタに対応したデータへ変換される。

具体的には、色特性の場合、例えば、３Ｄプリントデータ生成部１２０または３２０は、色特性（素材の画素毎のＲＧＢ情報）を、ＣＭＹＫ形式のデータへ変換することができる。ＲＧＢからＣＭＹＫへの変換は、ＩＣＣプロファイルを用いて行うことができる。ＣＭＹＫ形式のデータに基づいて、素材が３Ｄプリンタ７００で出力される。

また、形状特性の場合、例えば、３Ｄプリントデータ生成部１２０または３２０は、形状特性（素材の画素毎の法線ベクトル情報）を、３Ｄプリンタ用の３ＤＣＧデータへ変換することができる。まず、各画素の法線ベクトル情報から各画素の面の傾きが決定される。つまり、各画素における面の傾きの左右（ｘ軸）方向成分、上下（ｙ軸）方向成分が決定される。これらの成分は、各画素のｘ軸方向、ｙ軸方向の傾きに相当する。次に、ｘ軸方向、ｙ軸方向の傾きに基づいて、ｘ軸方向、ｙ軸方向のそれぞれで隣接する画素との深さの差が求められる。そして、素材の凹凸情報を決定することができる。

また、反射特性の場合、例えば、３Ｄプリントデータ生成部１２０または３２０は、光沢特性（素材の画素毎の光沢の強さの情報及び光沢の鋭さの情報及び光沢の方向性の情報）を、３Ｄプリンタで用いるインクを指定するための情報へ変換することができる。具体的には、３Ｄプリントデータ生成部１２０または３２０は、画素毎の光沢の強さの情報及び光沢の鋭さの情報及び光沢の方向性の情報に基づいて、画素毎に、立体物に噴射するインクの種類、立体物に噴射するインクの量、立体物の表面に噴射されるインクの厚み等のインクを指定するための情報を決定する。例えば、インクの種類は、透明樹脂等の光沢感を出すためのインクとすることができる。３Ｄプリンタでは、このようなインクを指定するための情報に基づいて、透明樹脂等が立体物の表面に噴射されることとなる。

ステップＳ８０５で、素材情報から変換された３Ｄプリントデータを送信（出力）する。例えば、３Ｄプリントデータは、画像処理装置１００または仮想空間画像処理装置３００に接続された３Ｄプリンタ７０２へ送信される。または、３Ｄプリントデータは、サーバ５００へ送信され、サーバ５００からさらに３Ｄプリンタ７０２送信されてもよい。３Ｄプリントデータは、サーバ５００を介して、３Ｄプリンタに接続された他のコンピュータへ送信されてもよい。３Ｄプリントデータは、画像処理装置１００または仮想空間画像処理装置３００から、サーバ５００を介さずに、３Ｄプリンタに接続された他のコンピュータへ送信されてもよい。

なお、サーバ５００が３Ｄプリントデータ生成部１２０および３２０と同様の機能を有することも可能である。その場合、サーバ５００の３Ｄプリントデータ生成部が、上記のステップＳ８０１〜Ｓ８０３を実行し、３Ｄプリンタ９０４から出力される。

以上、説明したように、本発明によれば、観察環境の変化や素材の向きの変化に応じた当該素材の質感を画像表示し、当該素材を空間に配置した際の質感や見えの疑似体験を可能にする画像処理システム、方法、及びプログラムを提供できる。

なお、上記実施形態の説明では、画像処理システムが携帯型端末（タブレット端末）と仮想空間画像処理端末（コンピュータ）とを含む構成を説明したが、仮想空間画像処理端末の機能部を携帯型端末に実装し、本発明を実施することができる。また、画像処理システムの構成にサーバを含め、仮想空間画像処理端末の一部の機能をサーバに実装し、本発明を実施することができる。

１００ 携帯型端末
１０２ 表示部（感圧式ディスプレイ）
１０４，３０４ レンダリング部（表示データ生成部）
１０６，３０６ 照明情報記憶部
１０８ 周囲照明情報取得部（測光デバイス、照度センサ、カメラ）
１１０ 傾き検出部（ジャイロセンサ、加速度センサ、磁気センサ）
１１２，３１２ 入力部（キーボード、キーパッド、マウス、ポインティングデバイス、マイク）
１１４，３１４ 通信部（ネットワークＩＦカード（ＮＦＣ）、無線デバイス）
１１６，３１６ 素材情報記憶部
１１８ 観者検出部（赤外線センサ、カメラ）
１２０，３２０ ３Ｄプリントデータ生成部
２０２，２０４ 電灯
２０６ 太陽
２０８ 目
３００ コンピュータ
３０２ 表示部（モニタ）
３０８ 空間情報記憶部
３１８ 空間内観者位置検出部
５００ サーバ
７０２，７０４ ３Ｄプリンタ

Claims (26)

1. 画像処理システムであって、空間の画像を表示する第１の表示手段と、前記空間の表示データをレンダリングする第１のレンダリング手段と、前記空間に適用される素材の画像を表示する第２の表示手段と、前記素材の画像の表示データをレンダリングする第２のレンダリング手段と、素材の３Ｄプリントデータを生成する３Ｄプリントデータ生成手段とを備え、
   前記第２のレンダリング手段は、照明情報、前記素材の質感に関する素材情報、並びに照明、前記第２の表示手段の表示面及び観者の相対的位置関係に基づいて、前記素材の表示データをレンダリングするように構成され、
   前記第２の表示手段は、レンダリングされた前記素材の表示データを用いて前記素材の画像を表示するように構成され、
   前記第１のレンダリング手段は、前記素材を前記空間に適応する指示に応答して、前記第２のレンダリング手段から前記空間のパーツの識別子および前記素材の識別子を受信し、前記空間の空間照明情報及び前記素材の質感に関する素材情報に基づいて、前記素材を適用した前記空間の表示データをレンダリングするように構成され、
   前記第１の表示手段は、レンダリングされた前記空間の表示データを用いて前記空間の画像を表示するように構成され、
   前記３Ｄプリントデータ生成手段は、前記空間に適用した１つまたは複数の前記素材の３Ｄプリントデータを生成するように構成された、画像処理システム。
2. 前記３Ｄプリントデータ生成手段は、３Ｄプリンタ、サーバ、３Ｄプリンタを備えたサーバまたはコンピュータへ、生成した３Ｄプリントデータを出力するようにさらに構成されている、請求項１に記載の画像処理システム。
3. 前記第２の表示手段の表示面の方位を検出するように構成された傾き検出手段をさらに備え、
   前記第２のレンダリング手段は、照明情報、前記素材の質感に関する素材情報及び前記第２の表示手段の表示面の方位に基づいて、前記素材の表示データをレンダリングするように構成された、請求項１または２に記載の画像処理システム。
4. 前記第２の表示手段の周囲照明情報を取得するように構成された周囲照明情報取得手段をさらに備え、前記素材の表示データがレンダリングされる際に用いられる前記照明情報は、前記周囲照明情報取得手段により取得された前記周囲照明情報である、請求項１ないし３のいずれかに記載の画像処理システム。
5. 前記素材の表示データがレンダリングされる際に用いられる前記照明情報は、前記空間の表示データをレンダリングする際に用いられる前記空間照明情報である、請求項１ないし３のいずれかに記載の画像処理システム。
6. 前記素材の画像の観者の方位を検出する観者検出手段をさらに備え、
   前記第２のレンダリング手段は、前記照明情報、前記素材の質感に関する素材情報、前記第２の表示手段の表示面の方位及び前記素材の画像の観者の方位に基づいて、前記素材の表示データをレンダリングするように構成された、請求項３ないし５のいずれかに記載の画像処理システム。
7. 前記照明情報は、光の方位、色成分及び強度を含み、
   前記素材情報は、前記素材の画像の各画素についての色特性、形状特性及び反射特性を含む、請求項１ないし６のいずれかに記載の画像処理システム。
8. 前記画像処理システムは、空間画像処理端末と携帯型端末とを含み、
   前記空間画像処理端末は、前記第１のレンダリング手段と前記第１の表示手段とを含み、
   前記携帯型端末は、前記傾き検出手段と、前記第２のレンダリング手段と、前記第２の表示手段とを含む、請求項３に記載の画像処理システム。
9. 空間の画像を表示する第１の表示手段と、前記空間の表示データをレンダリングする第１のレンダリング手段と、前記空間に適用される素材の画像を表示する第２の表示手段と、前記素材の画像の表示データをレンダリングする第２のレンダリング手段と、素材の３Ｄプリントデータを生成する３Ｄプリントデータ生成手段とを備えた画像処理システムにおける画像処理方法であって、
   前記第２のレンダリング手段が、照明情報、前記素材の質感に関する素材情報、並びに照明、前記第２の表示手段の表示面及び観者の相対的位置関係に基づいて、前記素材の表示データをレンダリングすることと、
   前記第２の表示手段が、レンダリングされた前記素材の表示データを用いて前記素材の画像を表示することと、
   前記第１のレンダリング手段が、前記素材を前記空間に適応する指示に応答して、前記第２のレンダリング手段から前記空間のパーツの識別子および前記素材の識別子を受信し、空間照明情報及び前記素材の質感に関する素材情報に基づいて、前記素材を適用した前記空間の表示データをレンダリングすることと、
   前記第１の表示手段が、レンダリングされた前記空間の表示データを用いて前記空間の画像を表示することと、
   前記３Ｄプリントデータ生成手段が、前記空間に適用した１つまたは複数の前記素材の３Ｄプリントデータを生成することと
   を含む、方法。
10. 前記方法は、前記３Ｄプリントデータ生成手段が、３Ｄプリンタ、サーバ、３Ｄプリンタを備えたサーバまたはコンピュータへ、生成した３Ｄプリントデータを出力することをさらに含む、請求項９に記載の方法。
11. 前記画像処理システムは、傾き検出手段をさらに備え、
    前記方法は、前記傾き検出手段が前記第２の表示手段の表示面の方位を検出することをさらに含み、
    前記第２のレンダリング手段が前記素材の表示データをレンダリングすることは、前記第２のレンダリング手段が、前記照明情報、前記素材の質感に関する素材情報及び前記傾き検出手段により検出された前記第２の表示手段の表示面の方位に基づいて、前記素材の表示データをレンダリングすることを含む、請求項９または１０に記載の方法。
12. 前記画像処理システムが周囲照明情報取得手段をさらに備え、
    前記方法は、前記周囲照明情報取得手段が前記第２の表示手段の周囲照明情報を取得することをさらに含み、
    前記素材の表示データがレンダリングされる際に用いられる前記照明情報は前記周囲照明情報である、請求項９ないし１１のいずれかに記載の方法。
13. 前記素材の表示データがレンダリングされる際に用いられる前記照明情報は、前記空間の表示データをレンダリングする際に用いられる前記空間照明情報である、請求項９乃至１１のいずれかに記載の方法。
14. 前記画像処理システムが観者検出手段をさらに備え、
    前記方法は、前記観者検出手段が前記素材の画像の観者の方位を検出することをさらに含み、
    前記第２のレンダリング手段が前記素材の表示データをレンダリングすることは、前記第２のレンダリング手段が、前記照明情報、前記素材の質感に関する素材情報、前記第２の表示手段の表示面の方位及び前記素材の画像の観者の方位に基づいて、前記素材の表示データをレンダリングすることを含む、請求項１１ないし１３のいずれかに記載の方法。
15. 前記照明情報は、光の方位、色成分及び強度を含み、
    前記素材情報は、前記素材の画像の各画素についての色特性、形状特性及び反射特性を含む、請求項９ないし１４のいずれかに記載の方法。
16. 前記画像処理システムは、空間画像処理端末と携帯型端末とを含み、
    前記空間画像処理端末は、前記第１のレンダリング手段と前記第１の表示手段とを含み、
    前記携帯型端末は、前記第２のレンダリング手段と、前記第２の表示手段とを含む、請求項９ないし１５のいずれかに記載の方法。
17. 前記画像処理システムは、空間画像処理端末と携帯型端末とを含み、
    前記空間画像処理端末は、前記第１のレンダリング手段と前記第１の表示手段とを含み、
    前記携帯型端末は、前記傾き検出手段と、前記第２のレンダリング手段と、前記第２の表示手段とを含む、請求項１１に記載の方法。
18. 空間の画像を表示する第１の表示手段と、前記空間の表示データをレンダリングする第１のレンダリング手段と、前記空間に適用される素材の画像を表示する第２の表示手段と、前記素材の画像の表示データをレンダリングする第２のレンダリング手段と、素材の３Ｄプリントデータを生成する３Ｄプリントデータ生成手段とを備えたコンピュータシステムによって実行されるプログラムであって、
    前記第２のレンダリング手段に、照明情報、前記素材の質感に関する素材情報、並びに照明、前記第２の表示手段の表示面及び観者の相対的位置関係に基づいて、前記素材の表示データをレンダリングさせ、
    前記第２の表示手段に、レンダリングされた前記表示データを用いて前記素材の画像を表示させ、
    前記第１のレンダリング手段に、前記素材を前記空間に適応する指示に応答して、前記第２のレンダリング手段から前記空間のパーツの識別子および前記素材の識別子を受信させ、空間照明情報及び前記素材の質感に関する素材情報に基づいて、前記素材を適用した前記空間の表示データをレンダリングさせ、
    前記第１の表示手段に、レンダリングされた前記空間の表示データを用いて前記空間の画像を表示させ、
    前記３Ｄプリントデータ生成手段に、前記空間に適用した１つまたは複数の前記素材の３Ｄプリントデータを生成させる、プログラム。
19. 前記プログラムは、前記３Ｄプリントデータ生成手段に、３Ｄプリンタ、サーバ、３Ｄプリンタを備えたサーバまたはコンピュータへ、生成した３Ｄプリントデータを出力させる、請求項１８に記載のプログラム。
20. 前記コンピュータシステムは、傾き検出手段をさらに備え、
    前記プログラムは、前記傾き検出手段に前記第２の表示手段の表示面の方位を検出させ、
    前記第２のレンダリング手段に、前記照明情報、前記素材の質感に関する素材情報及び前記傾き検出手段により検出された前記第２の表示手段の表示面の方位に基づいて、前記素材の表示データをレンダリングさせる、請求項１８または１９に記載のプログラム。
21. 前記コンピュータシステムが周囲照明情報取得手段をさらに備え、
    前記プログラムは、前記周囲照明情報取得手段に前記第２の表示手段の周囲照明情報を取得させ、
    前記第２のレンダリング手段に、前記周囲照明情報、前記素材情報、並びに前記照明、前記第２の表示手段の表示面及び前記観者の前記相対的位置関係に基づいて、前記素材の表示データをレンダリングさせる、請求項１８ないし２０のいずれかに記載のプログラム。
22. 前記素材の表示データをレンダリングされる際に用いられる照明情報は、前記空間の表示データをレンダリングする際に用いられる前記空間照明情報である、請求項１８ないし２０のいずれかに記載のプログラム。
23. 前記コンピュータシステムが観者検出手段をさらに備え、
    前記プログラムは、前記観者検出手段に前記素材の画像の観者の方位を検出させ、
    前記第２のレンダリング手段に前記照明情報、前記素材の質感に関する素材情報、前記第２の表示手段の表示面の方位及び前記素材の画像の観者の方位に基づいて、前記素材の表示データをレンダリングさせる、請求項２０ないし２２のいずれかに記載のプログラム。
24. 前記照明情報は、光の方位、色成分及び強度を含み、
    前記素材情報は、前記素材の画像の各画素についての色特性、形状特性及び反射特性を含む、請求項１８ないし２３のいずれかに記載のプログラム。
25. 前記コンピュータシステムは、空間画像処理端末と携帯型端末とを含み、
    前記空間画像処理端末は、前記第１のレンダリング手段と前記第１の表示手段とを含み、
    前記携帯型端末は、前記第２のレンダリング手段と、前記第２の表示手段とを含む、請求項１８ないし２４のいずれかに記載のプログラム。
26. 前記コンピュータシステムは、空間画像処理端末と携帯型端末とを含み、
    前記空間画像処理端末は、前記第１のレンダリング手段と前記第１の表示手段とを含み、
    前記携帯型端末は、前記傾き検出手段と、前記第２のレンダリング手段と、前記第２の表示手段とを含む、請求項２０に記載のプログラム。