JP6631074B2 - 画像処理システム、方法、及びプログラム - Google Patents

Description

本発明は、画像処理システム、方法、及びプログラムに関し、より詳細には、複数のコンピュータから収集した複数のエレメントを組み合わせて表示できる、表示物の素材の質感を画像表示する画像処理システム、方法、及びプログラムに関する。

近年の製造技術、通信技術及び情報処理技術の発展により、種々のシーンにおいて、スマートフォンやタブレット端末などの携帯型端末が利用されている。タッチパネル型ディスプレイや通信インタフェースの他、ＧＰＳ、ジャイロセンサ、カメラ等の各種機能を備えた複合型携帯型端末の適応シーンは今後さらに拡大が見込まれる。

例えば、従来、商取引の対象である商品は、紙媒体のパンフレットに写真やイラストとして掲載されて紹介されていた。写真やイラスト（色見本）では素材の質感を知覚しにくい建装材等では、実物の小片を集めたサンプル集の態様で紹介されていた。

一方、被写体表面の光沢感や繊維織りの細かなテクスチャー等の被写体（素材）の質感を画像表示する方法及び装置が提案されている（例えば、特許文献１を参照）。特許文献１の開示によれば、鏡面反射状態が異なる１つの静止被写体について、光源の照明位置及び／又は照明方向を変えて複数の原画像を取得し、複数の原画像に基づいて生成された複数のフレーム画像を作成し、連続的に複数のフレーム画像を切り替えて表し、フレーム画像の画像信号は、被写体の鏡面反射画像信号と拡散反射画像信号とを用いて光沢信号を生成し、この光沢信号にウィンドウ処理を行って作成される。

さらに、視差効果等を適用することで静止画に奥行き感を付加し、素材の質感を変化させる技術の実用化も進められている。

マンション等の住宅購入希望者は、モデルルームへ行くことで、実物の間取りや建装材の素材の質感を体験できる。間取り等を含む住宅仕様を、コンピュータグラフィックス（ＣＧ）で再現することが知られている（例えば、特許文献２参照）。住宅供給者によって提供されるバーチャルモデルルームを通じて、住宅購入希望者は、間取り等を含む住宅仕様を疑似体験することができる。

特開２００３−１３２３５０号公報（要約、請求項１，２等参照） 特開２００４−５２１６号公報（第００３７段落、図３参照）

しかしながら、紙媒体であっても電子媒体であっても、観察環境の変化や素材の向きの変化に応じた当該素材の見えの変化（質感）を表現することができないという問題があった。さらに、実際の空間に配置されたときの素材の見えや様子は、容易に想像できない。また、壁や床などの素材を空間に配置した際の質感や見えを疑似体験できるシステムも提案されていない。

さらに、素材の色、形状、反射の特性を自由に組み合わせて、素材の質感を疑似体験することができない。また、組み合わせた素材の色、形状、反射の特性を編集することができない。これらは、住宅購入希望者のみならず住宅供給者（インテリアデザイナー）であっても同様である。

したがって、複数のエレメント（すなわち、素材の色、形状、反射の特性）を自由に組み合わせたり、編集することが可能であり、環境の変化や素材の向きの変化に応じた当該素材の見えの変化（質感）を体験して、さらに当該素材を空間に配置した際の質感や見えを疑似体験できるシステムが提供されることが望ましい。さらに、編集された素材の色、形状、反射の特性の情報に基づき製造された素材が提供されることが望ましい。

本発明は、このような問題に鑑みてなされたもので、その目的とするところは、複数のコンピュータから収集した複数のエレメントを組み合わせたり、編集をして、観察環境の変化や素材の向きの変化に応じた当該素材の質感を画像表示し、当該素材を空間に配置した際の質感や見えの疑似体験を可能にする画像処理システム、方法、及びプログラムを提供することにある。

このような目的を達成するために、本発明の第１の態様は、複数のコンピュータに接続された画像処理システムである。この画像処理システムは、エレメント収集手段と、エレメント組合手段と、空間の画像を表示する第１の表示手段と、前記空間の表示データをレンダリングする第１のレンダリング手段と、前記空間に適用される素材の画像を表示する第２の表示手段と、前記素材の画像の表示データをレンダリングする第２のレンダリング手段と、エレメント編集手段とを備え、前記エレメント収集手段は、前記複数のコンピュータの各々から、素材の画像の各画素についての色特性、形状特性及び反射特性の少なくとも１つを収集するように構成され、前記エレメント組合手段は、前記エレメント収集手段により収集された色特性、形状特性及び反射特性を組合せて、素材の質感に関する素材情報を決定するように構成され、前記第２のレンダリング手段は、照明情報、前記エレメント組合手段により決定された前記素材の質感に関する素材情報、並びに照明、前記第２の表示手段の表示面及び観者の相対的位置関係に基づいて、前記素材の表示データをレンダリングするように構成され、前記第２の表示手段は、レンダリングされた前記素材の表示データを用いて前記素材の画像を表示するように構成され、前記第１のレンダリング手段は、前記素材を前記空間に適応する指示に応答して、前記空間の空間照明情報及び前記素材の質感に関する素材情報、及び前記空間における観者の目の位置（視点あるいはカメラ位置）に基づいて、前記素材を適用した前記空間の表示データをレンダリングするように構成され、前記第１の表示手段は、レンダリングされた前記空間の表示データを用いて前記空間の画像を表示するように構成され、前記エレメント編集手段は、画像が表示された前記素材の素材情報の前記色特性、形状特性及び反射特性のうちの少なくとも１つを変更するように構成される。

本発明の第２の態様は、エレメント収集手段と、エレメント組合手段と、空間の画像を表示する第１の表示手段と、前記空間の表示データをレンダリングする第１のレンダリング手段と、前記空間に適用される素材の画像を表示する第２の表示手段と、前記素材の画像の表示データをレンダリングする第２のレンダリング手段と、エレメント編集手段とを備えた画像処理システムにおける画像処理方法である。前記画像処理システムは、複数のコンピュータに接続されており、この方法は、前記エレメント収集手段が、前記複数のコンピュータの各々から、素材の画像の各画素についての色特性、形状特性及び反射特性の少なくとも１つを収集することと、前記エレメント組合手段が、前記エレメント収集手段により収集された色特性、形状特性及び反射特性を組合せて、素材の質感に関する素材情報を決定することと、前記第２のレンダリング手段が、照明情報、前記エレメント組合手段により決定された前記素材の質感に関する素材情報、並びに照明、前記第２の表示手段の表示面及び観者の相対的位置関係に基づいて、前記素材の表示データをレンダリングすることと、前記第２の表示手段が、レンダリングされた前記素材の表示データを用いて前記素材の画像を表示することと、前記第１のレンダリング手段が、前記素材を前記空間に適応する指示に応答して、空間照明情報及び前記素材の質感に関する素材情報及び前記空間における観者の目の位置（視点あるいはカメラ位置）に基づいて、前記素材を適用した前記空間の表示データをレンダリングすることと、前記第１の表示手段が、レンダリングされた前記空間の表示データを用いて前記空間の画像を表示することと、前記エレメント編集手段が、画像が表示された前記素材の素材情報の前記色特性、形状特性及び反射特性のうちの少なくとも１つを変更することとを含む。

本発明の第３の態様は、画像処理プログラムである。このプログラムは、コンピュータを第１の態様の画像システムとして機能させるプログラムである。

以上説明したように、本発明によれば、複数のコンピュータから収集した複数のエレメントを自由に組み合わせたり、編集することが可能であり、観察環境の変化や素材の向きの変化に応じた当該素材の質感を画像表示する画像処理システム、方法、及びプログラムを提供することが可能となる。

本発明の一実施形態の画像処理システムの概略図である。 本発明の一実施形態の画像処理システムで画像表示する空間を説明する図である。 本発明の一実施形態の画像処理システムの画像処理装置のユーザ・インタフェースを説明するための図である。 本発明の一実施形態にかかる画像処理システムのサーバの機能ブロック図である。 本発明の一実施形態にかかる画像処理システムの画像処理装置の機能ブロック図である。 本発明の一実施形態の画像処理システムの仮想空間画像処理装置の機能ブロック図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態に係る画像処理システムのサーバの処理のフロー図である。 本発明の一実施形態に係る画像処理システムの画像処理装置の処理のフロー図である。 本発明の一実施形態に係る画像処理システムの仮想空間画像処理装置の処理のフロー図である。 本発明の一実施形態に係る画像処理システムの製造データを生成する処理のフロー図である。

以下、図面を参照しながら本発明の実施形態について詳細に説明する。以下に説明する画像処理システム、方法、及びプログラムは、住宅などの室内・外の空間で用いられる建装材の電子見本帳に適する。すなわち、本実施形態の画像処理システム、方法、及びプログラムによれば、観察環境の変化や建装材の向きの変化に応じた当該建装材の質感を画像表示することが可能となり、実物の小片を集めたサンプル集や単なる色見本は不要の代替となり得る。

本願発明は、建装材に限定されるものではない。一般性を失うことなく他の例でも実施できる。たとえば、住宅などの室内・外空間は、自動車、電車、船及び飛行機等の乗り物の車内・外空間を含む空間に一般化して説明することができる。建装材は、床材（板、カーペット、石、タイル）、内壁材（板、クロス（革、合皮、紙、合成樹脂、化粧シート等））及び外壁材（サイディング材（板材、石材、タイル材等））及び天井材（板、クロス（革、合皮、紙、合成樹脂、化粧シート等））を含む装材であるが、乗り物の車内装材（革、合皮、布、合成樹脂、化粧シート等）及び車外装材等を含む「素材」に一般化して説明することができる。

図１は、画像処理システムの構成を示す図である。画像処理システムは、画像処理装置１００と仮想空間画像処理装置３００とサーバ５００と複数のコンピュータ７０２、７０４、７０６、７０８（本明細書では、まとめて「コンピュータ７００」と呼ぶ）とを含む。サーバ５００は、複数のコンピュータ７００から、素材情報（素材の質感に関する情報であり、複数の特性（色特性、形状特性、反射特性。以下、「エレメント」とも呼ぶ）の組合せから成る。詳細については後述する）、または、各種特性（色特性、形状特性、反射特性）を取得することができる。また、サーバ５００は、画像処理装置１００と仮想空間画像処理装置３００へ各種データ及び／又はサービスを提供することができる。

複数のコンピュータ７００は、例えば、建装材のメーカーや問屋が有するシステム内に設置されたコンピュータである。そのため、様々なメーカーや問屋が取り扱う建装材を同時に検討することができる。あるいは、複数のコンピュータ７００は、例えば、建装材のデザイナー等が有するコンピュータである。そのため、既製品だけでなく、デザイナー等によって作成された様々な色、形状、反射の特性を自由に組合せて検討することができる。なお、複数のコンピュータ７００は、例えば、本発明に係るサービスを提供する企業内のコンピュータであってもよい。そのため、本発明に係るサービスを提供する企業内のコンピュータに入力されたデータを、素材情報や各種特性とすることも可能である。

図２は、仮想空間画像処理装置３００が備えるモニタ（ディスプレイデバイス等）に表示される仮想空間の一例を示す。仮想空間に関する情報は、壁、床、天井、ドア、窓、及び照明等の間取りの情報を含む。仮想空間情報は、仮想空間画像処理装置３００の仮想空間情報記憶部３０８に格納され、仮想空間画像処理装置のレンダリング部３０４が表示データを生成する際に用いられる。仮想空間情報は、仮想空間画像処理装置３００で作成し仮想空間情報記憶部３０８に格納してもよく、サーバ５００から取得して仮想空間情報記憶部３０８に格納してもよい。

図２の仮想空間は、空間の間取りを構成する各種パーツ（壁１〜３、床１、天井１、ドア１、窓１、照明１，２）を含む。仮想空間の情報である仮想空間情報は、各種パーツを識別する情報及び仮想空間における各種パーツの位置を識別する情報を含む。また、仮想空間における光に関する情報（光の方位、色成分（ＲＧＢ情報または光の波長毎に強度を表した分光情報）及び強度）は、照明情報として定義されている。照明情報は、配光を含んでもよい。各種パーツを識別する情報により、パーツの種類（壁、床、天井、ドア等）を識別することができる。位置を識別する情報により、各パーツの仮想空間における場所、他のパーツとの間の境界、距離及び相対的位置関係を算出することができる。各種パーツの素材の選択（決定）方法については、後述する。仮想空間の表示データを生成する際、各種パーツの素材の情報（素材情報：素材の各種特性情報を含む）、各光源２０２，２０４，２０６（照明１及び２並びに太陽）からの光に関する照明情報が考慮される。

図３は、仮想空間内の各種パーツの素材を選択する際に、画像処理装置１００で提供されるユーザ・インタフェース（素材ビューア）を例示する図である。例えば、住宅供給者（インテリアデザイナー）は、図３のユーザ・インタフェースを使用して、各種パーツの素材の質感を確認して（つまり、各種特性を自由に組み合わせて、その組み合わせによる素材の質感を確認して）、適用する素材を選択することができる。仮想空間画像処理装置３００は、図３のユーザ・インタフェースを使用して選択された素材が適用された仮想空間の表示情報を生成し表示する。したがって、住宅供給者（インテリアデザイナー）は、選択した素材を空間に配置した際の質感や見えを疑似体験できる。

画像処理装置１００と仮想空間画像処理装置３００は、仮想空間に関する情報を共有している。例えば、図３に示すようにユーザ・インタフェース（素材ビューア）は、仮想空間（図２）の各種パーツを選択可能にするパーツリスト４０２を含む。ユーザ・インタフェースは、パーツリストから選択されたパーツに適用可能な素材のカテゴリを選択可能にするリスト（素材カテゴリリスト）４０４を含む。ユーザ・インタフェースは、素材カテゴリリストから選択されたカテゴリに分類された素材の各種特性のサムネールのリスト（エレメントサムネールリスト）４１４を含む。エレメントサムネールリスト４１４は、色特性サムネール４１６、形状特性サムネール４１８、反射特性サムネール４２０から成る。つまり、複数のコンピュータ７００から各種特性が収集された場合、収集された各種特性を表す画像が、色特性サムネール４１６、形状特性サムネール４１８、反射特性サムネール４２０で表示されることとなる。さらに、ユーザ・インタフェースは、素材カテゴリリストから選択されたカテゴリに分類された素材のサムネールのリスト（素材サムネールリスト）４０６を含む。つまり、複数のコンピュータ７００から素材情報（色特性と形状特性と反射特性とがすでに組み合わされている）が収集された場合、収集された素材情報を表す画像が、素材サムネールリスト４０６で表示されることとなる。また、ユーザ・インタフェースは、サムネールリストから選択された素材の画像を表示する質感ビューア領域４０８を含む。つまり、色特性サムネール４１６、形状特性サムネール４１８、反射特性サムネール４２０の各々で選択された特性の組み合わせから成る素材の画像が表示される。あるいは、素材サムネール４０６で選択された素材の画像が表示される。また、組み合わせのみならず、それら特性の変更（編集）を可能とする場合には、ユーザ・インタフェースは、色特性を変更するためのスライダ４２２、形状特性を変更するためのスライダ４２４、反射特性を変更するためのスライダ４２６を含む。さらにまた、ユーザ・インタフェースは、仮想空間についてモデル化された各種照明環境の照明情報（モデル１，２・・・）の選択を可能にする照明環境リスト４１２を含む。照明環境リストは、仮想空間の照明情報とは別に、画像処理装置１００が存在する実環境の照明情報を含んでもよい。照明環境リストには、モデル化された照明情報の概要（時間帯、光源種別・状態、窓の有無、配光分布特性）を含んでもよい。質感ビューア領域４０８には、選択された素材の素材情報（色特性、形状特性、反射特性）及び照明情報（光の方位、配光、色成分（ＲＧＢ情報または光の波長毎に強度を表した分光情報）及び強度）が反映された画像が表示される。質感ビューア領域４０８は、ディスプレイの表示領域の全体を占めるように構成してもよい。以下に説明するように、画像処理装置１００は、画像処理装置（タブレット端末）の傾斜（ディスプレイ面の方位ならびに水平面に対する傾き）を考慮して、素材の画像をレンダリングして表示する。したがって、観者は、素材を手にしているかのように、素材の画像を観察し素材の質感を体験することができる。

図４は、本発明の一実施形態である画像処理システムのサーバ５００の機能ブロック図である。サーバ５００は、プロセッサ、メモリを備えたコンピュータである。

プロセッサは、ＣＰＵの他、ＧＰＵやコプロセッサを含んでもよい。プロセッサは、複数のコンピュータ７００から取得した素材情報および各種特性を処理する。プロセッサは、エレメント収集部５０２、データ判定部５０４、データ変換部５０６、製造データ生成部５１８を構成する。

メモリは、ＨＤＤなどの磁気ドライブ及びＳＳＤなどの半導体ドライブのいずれでもよい。メモリは、内蔵型でも外付型でも良い。メモリは、素材情報記憶部５１６を構成する。素材情報記憶部５１６は、通信部１１４を介して複数のコンピュータ７００から収集された素材情報および各種特性を記憶し、通信部１１４を介してタブレット端末１００のエレメント情報記憶部１２３に記録されたエレメントの組合せ情報、エレメントの編集情報を付加情報として記録する。

通信デバイスは、外部機器との接続用のバス（例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ））インタフェース、有線通信用のネットワークインターフェースカード（ＮＩＣ）及び無線通信用の無線デバイスの１以上とすることができる。通信デバイスは、通信部５１４を構成する。サーバ５００は、通信部５１４を介して複数のコンピュータ７００から、素材情報および各種特性を受信することができる。

図５は、本発明に係る画像処理装置の一実施形態である携帯型端末の機能ブロック図である。図５の携帯型端末１００は、例えば、タブレット端末であり、ディスプレイ、プロセッサ、メモリ、各種センサを備える。携帯型端末１００は、通信デバイス、キーボード、コンピュータマウスを含むポインティングデバイス、及びマイクロフォン等の入力デバイスを含んでもよい。入力デバイスは、入力部１１２を構成する。

ディスプレイデバイスは、画像の表示に適したディスプレイデバイスであればよく、これに限定するものではないが、電磁誘導式、静電容量式又は感圧式のタッチディスプレイデバイスが好ましい。ディスプレイデバイスは、表示部１０２を構成する。電磁誘導式、静電容量式又は感圧式のタッチディスプレイデバイスは、表示部１０２および入力部１１２を構成する。

プロセッサは、ＣＰＵの他、ＧＰＵやコプロセッサを含んでもよい。プロセッサは、表示部に表示される画像に対応する表示データを生成する。プロセッサは、レンダリング部（表示データ生成部）１０４、エレメント組合部１２０、およびエレメント編集部１２２を構成する。

メモリは、ＨＤＤなどの磁気ドライブ及びＳＳＤなどの半導体ドライブのいずれでもよい。メモリは、内蔵型でも外付型でも良い。メモリは、照明情報記憶部１０６、素材情報記憶部１１６、およびエレメント情報記憶部１２３を構成する。メモリは、傾き検出部１１０により検出されたタブレット端末の傾斜（ディスプレイ面の方位ならびに水平面に対する傾き）の情報を記憶することもできる。

各種センサは、タブレット端末の周囲の照明情報（周囲照明情報）を取得するのに適したデバイス（以下、周囲照明情報取得デバイス）及びタブレット端末の傾きの検出に適したデバイス（傾き検出デバイス）であればよい。例えば、周囲照明情報取得デバイスは、測光デバイス、照度センサ及びカメラの１以上とすることができる。周囲照明情報取得デバイスは内蔵型でも外付型でもよい。また、例えば、傾き検出デバイスは、ジャイロセンサ、加速度センサ、磁気センサの１以上とすることができる。周囲照明情報取得デバイスは、プロセッサと共に又は単独で、周囲照明情報取得部１０８を構成する。また、傾き検出デバイスは、プロセッサと共に又は単独で、傾き検出部１１０を構成する。さらに、各種センサは、観者（例えば、観者の目）の位置を検出するのに適したデバイスを備えてもよい。このようなデバイスは、赤外線センサ及びカメラの１以上とすることができる。

通信デバイスは、外部機器との接続用のバス（例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ））インタフェース、有線通信用のネットワークインターフェースカード（ＮＩＣ）及び無線通信用の無線デバイスの１以上とすることができる。

例えば、周囲照明情報取得デバイスとしてのカメラは、周囲全周囲画像カメラまたは全天球撮影カメラ（omnidirectional camera）とすることができ、このようなカメラでタブレット端末の全周囲を撮影した全周囲画像の色味や輝度を実環境の照明情報（周囲照明情報）とすることができる。あるいは、内蔵型でも外付型のカメラで、カメラを水平面に置いた状態で撮影した基準画像と、カメラの向きを変えて複数回に分けて撮影したタブレット端末の全周囲を画像とを組み合わせて（繋ぎ合わせて）、全周囲画像を生成し、生成された全周囲画像の色味や輝度を実環境の照明情報（周囲照明情報）とすることができる。カメラが備えるイメージセンサのダイナミックレンジ（ラチチュード（latitude））がタブレット端末の周囲の実環境の輝度分布の輝度レンジより狭い場合は、露光量を多段に変えて撮影した後に合成する写真技法（ハイダイナミックレンジ合成（high dynamic range imaging：HDR）を用いてもよい。さらに、カメラを照明器具の正面で動かしながら輝度の変化を捉えることで、簡易的に配光特性を取得してもよい。

例えば、タブレット端末の内蔵カメラ（またはタブレット端末との相対的位置関係が既知である外付けカメラ）で撮影される画像から、当該タブレット端末の操作者（観者）の顔（目）の位置を特定することで、タブレット端末の表示面と観者の相対的位置関係を特定することができる。撮影と観者の顔（目）の位置の特定を短い時間間隔で繰り返すことで、タブレット端末の表示面と観者の相対的位置関係をリアルタイムで特定することができる。

通信デバイスは、通信部１１４を構成する。タブレット端末１００は、通信部１１４を介して外部（仮想空間画像処理装置３００又はサーバ５００）から照明情報（仮想空間についてモデル化された照明情報（空間照明情報））及び素材情報を取得することもできる。外部から取得した照明情報は、周囲照明情報（実空間の照明情報）の代替として用いることができる。

照明情報記憶部１０６は、周囲照明情報取得部１０８によって取得された周囲照明情報又は通信部１１４を介して外部から取得された空間照明情報を記憶する。また、周囲照明情報を取得しなくても、あらかじめ周囲照明情報記憶部１０６に記憶してある照明情報や、以前に取得し周囲照明情報記憶部１０６に記録された照明情報を用いてもよい。

素材情報記憶部１１６は、通信部１１４を介して外部から取得された素材情報を記憶する。素材情報は、素材の質感に関する情報である。素材情報は、ピクセル（画素）毎の法線情報（形状特性：装材（床材、壁材、天井材）におけるピクセルの面の向きを示す情報であり、例えば、画素の法線ベクトル情報である）及び／または深度情報を含む。また、素材情報は、画素毎のＲＧＢ情報（色特性：素材の地やコート層など、素材を構成する各層の色を示す情報）を含む。また、素材情報は、画素毎の光沢の強さの情報及び光沢の鋭さの情報（反射特性）を含む。反射特性である光沢情報は、光沢の強さの情報と光沢の鋭さの情報に加え、光沢の方向性の情報をさらに含むことができる。光沢の方向性の情報により、異方性反射を有する素材の質感を表現することができる。光沢の強さの情報は、各ピクセルのＲＧＢ毎の強さの情報としてもよい。周囲照明情報（または外部から取得した空間照明情報、またはあらかじめ周囲照明記憶部１０６に記録された照明情報）及び素材情報に基づいて表示データが生成される。この結果、素材の質感（光沢感、ざらつき感、凹凸感）が画像表示される。

エレメント情報記憶部１２３は、エレメント組合部１２０、およびエレメント編集部１２２にて実施された結果の情報を記憶する。エレメント情報は、どの色特性、どの形状特性、およびどの反射特性が組合されたという組合情報である。また、編集を可能とした場合には、色特性編集値、形状特性編集値、および反射特性編集値の編集情報を含む。これらの情報は通信部１１４を介してサーバ５００の通信部５１４へ転送され、素材情報記憶部５１６へ付加情報として記録され、素材を製造する工程で用いてもよい。

タブレット端末１００のレンダリング部（表示データ生成部）１０４を、サーバ５００に実装してもよい。これらの機能をサーバ５００に実装する場合には、タブレット端末１００は通信部１１４を介して、レンダリングに必要な情報をサーバ５００に送信し、サーバ５００がレンダリングした表示データを受信して表示部（ディスプレイデバイス）１０２に表示することができる。

タブレット端末１００は、観者とのインタラクションのためのユーザ・インタフェース（ＵＩ）(例えば、図３の素材ビューア）を提供するＵＩ提供部（不図示）を備える。上述したように、観者は、ＵＩを介して、表示させたい素材を選択することができる。すなわち、タブレット端末１００は、ＵＩを介して観者からの素材の選択を受信し、当該素材をディスプレイに表示することができる。ＵＩは、観者が表示させたい素材を選択することができる、階層形式のカテゴリ別メニュー（素材カテゴリ）を含んでもよい。例えば、素材を壁材、床材及び天井材のようなカテゴリ別に分類し、観者がカテゴリの階層にしたがって素材を選択できるようにしてもよい。サブカテゴリでは複数の素材またはエレメントのサムネールを提示して、観者が表示させたい素材またはエレメントを選択させてもよい。

図６は、本発明の一実施形態である画像処理システムの仮想空間画像処理装置の機能ブロック図である。仮想空間画像処理装置３００は、仮想空間画像のレンダリング及び表示に適したコンピュータであり、モニタ、プロセッサ、メモリを備える。仮想空間画像処理装置３００を構成するコンピュータは、通信デバイス、キーボード、コンピュータマウスを含むポインティングデバイス、及びマイクロフォン等の入力デバイスを含んでもよい。入力デバイスは、入力部３１２を構成する。

モニタは、仮想空間の画像表示に適したディスプレイデバイス等であればよく、表示部３０２を構成する。

プロセッサは、ＣＰＵの他、ＧＰＵやコプロセッサを含んでもよい。プロセッサは、表示部に表示される画像に対応する表示データを生成する。プロセッサは、レンダリング部（表示データ生成部）３０４を構成する。また、プロセッサは、入力デバイスと共に又は単独で、仮想空間における観者（例えば、観者の目（視点）、あるいはカメラ）の位置を検出する空間内観者位置検出部３１８を構成する。

メモリは、ＨＤＤなどの磁気ドライブ及びＳＳＤなどの半導体ドライブのいずれでもよい。メモリは、内蔵型でも外付型でも良い。メモリは、空間照明情報記憶部３０６、空間情報記憶部３０８及び素材情報記憶部３１６を構成する。

通信デバイスは、外部機器との接続用のバス（例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ））インタフェース、有線通信用のネットワークインターフェースカード（ＮＩＣ）及び無線通信用の無線デバイスの１以上とすることができる。通信デバイスは、通信部３１４を構成する。仮想空間画像処理装置を構成するコンピュータ３００は、通信部３１４を介して外部（携帯型端末１００又はサーバ５００）との間で、空間情報、空間照明情報及び素材情報を送受することができる。空間照明情報記憶部３０６は空間照明情報を記憶する。素材情報記憶部３１６は素材情報を記憶する。空間情報記憶部３０８は空間情報を記憶する。

仮想空間画像処理装置３００のレンダリング部（表示データ生成部）３０４及び空間内観者位置検出部３１８を、サーバ５００に実装してもよい。これらの機能をサーバ５００に実装する場合には、仮想空間画像処理装置３００は、通信部３１４を介して、サーバ５００がレンダリングした空間の表示データを受信して表示部３０２に表示することができる。

図７は、周囲照明情報取得部１０８によって周囲照明情報が取得される空間を示す。図７において、ｘ軸及びｙ軸は水平面内で互いに直交する軸であり、ｚ軸は水平面内に直交する軸である。図７の空間には、２つの電灯２０２及び２０４と太陽２０６を含む合計３つの光源が示されている。ｘ軸、ｙ軸及びｚ軸の交点を周囲照明情報取得部１０８の位置として、２つの電灯２０２及び２０４並びに太陽２０６の３つの光源からの光を観測し、光源毎に観測される光の方位、配光、色成分（ＲＧＢ情報または光の波長毎に強度を表した分光情報）及び強度（輝度）を、空間における周囲照明情報として取得する。光源の数は、３つに限定されない。光源は、発光体に限定されず、周囲照明情報取得部１０８に向けて光を反射する反射体でもよい。空間内で観測される全ての光源の周囲照明情報（光の方位、配光、色成分（ＲＧＢ情報または光の波長毎に強度を表した分光情報）及び強度）を取得してもよい。あるいは、モデル化された空間における照明の情報のうち、光の方位と配光情報ならびに強度だけを使用し、色成分については観測された色成分を組み合わせてもよい。取得された周囲照明情報は、照明情報記憶部１０６に記憶される。

周囲照明情報の代替として、通信部１１４を介して外部から空間照明情報を取得することができる。空間照明情報及び周囲照明情報を単に照明情報という。空間照明情報は、南向きの窓（太陽光が差し込む窓）があり４灯のダウンライトがある部屋や、窓の無く電灯が１つの寝室など、モデル化された空間における照明の情報（予め外部の仮想空間画像処理装置３００又はサーバ５００などに格納されている照明の情報）とすることができる。モデル化された空間は、販売中／建設予定の建築物件のモデルルームの間取り内の１つ又は複数の空間とすることができる。

図８は、図７に示した空間にタブレット端末１００を配置した状態を示す。図８には、タブレット端末１００によって表示される画像の観者の目２０８も示されている。タブレット端末１００は、ディスプレイ面を上向きにして、ディスプレイ面がｘｙ面に平行と成るように、ｘ軸、ｙ軸及びｚ軸の交点に配置されている。目２０８の方位は、観者検出部１１８によって検出されるディスプレイ面の法線に対する方位でもよく、ディスプレイ面の法線に予め決められた方位と（観者検出部１１８によって検出しない）してもよい。

図８に示す状態で、レンダリング部１０４は、素材の面がディスプレイ面に重ねられているかのように素材の表示データを生成する。生成された表示データがディスプレイデバイスに表示されると、タブレット端末１００を持っている観者は、あたかも素材を自身の手で持っているかのように、素材の質感を観察することができることができる。

レンダリング部１０４は、素材情報記憶部１１６からレンダリングする素材の素材情報（ピクセル毎の法線情報及び／または深度情報（形状特性）、ＲＧＢ情報（色特性）、光沢の強さの情報及び光沢の鋭さの情報（及び光沢の方向性の情報））を読み出し、照明情報記憶部１０６から照明情報（１つまたは複数の光源からの光の方位、配光、色成分（ＲＧＢ情報または光の波長毎に強度を表した分光情報）及び強度（輝度））を読み出し、各画素における観者の方位に反射する色成分及び強度（輝度）を計算して表示データを生成する。生成された表示データが用いられ、表示部に画像が表示される。図８に示す状態では、素材の表面に３つの光源（２つの電灯２０２及び２０４並びに太陽２０６）から入射し、目２０８の方位に反射する光の色成分及び強度（輝度））が計算される。

図９に示す状態では、タブレット端末１００のディスプレイ面は水平面（ｘｙ面）から傾斜している。この傾斜は、電灯２０２の光がディスプレイ面に入射しない程度の傾きである。傾き検出部１１０がこの傾斜を検出し、レンダリング部１０４は、表示データの生成の際に考慮する。すなわち、レンダリング部１０４は、素材の表面に２つの光源（１つの電灯２０４及び太陽２０６）から入射し、目２０８の方位に反射する光の色成分及び強度（輝度））を計算し表示データを生成する。

さらに、図１０に示す状態では、タブレット端末１００のディスプレイ面はｚ軸に平行に配置されている。この配置は、２つの電灯２０２及び２０４の光がディスプレイ面に入射しない配置である。傾き検出部１１０がこのときのタブレット端末１００の傾斜を検出し、レンダリング部１０４は、表示データの生成の際に考慮する。すなわち、レンダリング部１０４は、素材の表面に１つの光源（太陽２０６）のみから入射し、目２０８の方位に反射する光の色成分及び強度（輝度））を計算し表示データを生成する。

図８から１０を参照して説明したように、レンダリング部１０４によって生成された表示データは、タブレット端末１００の傾斜（ディスプレイ面の方位ならびに水平面に対する傾き）および目の位置（方位）が反映されている。したがって、タブレット端末１００を持っている観者は、タブレット端末１００を傾けたり、目の位置（方位）を変えたりすることで、素材の実物を観察している時と同様に、素材の質感を観察することができることができる。

レンダリング部１０４は、ズーム機能を実装することもできる。上述したように、レンダリング部１０４は、素材の面がディスプレイ面に重ねられているかのように素材の表示データを生成する。ディスプレイ面と、タブレット端末１００を保持する観者との間の距離は、略観者の腕の長さとなり、大きく変化しない。したがって、ユーザ・インタフェース（ＵＩ）を介して受信する観者からのズーム・インの指示に応答して、素材がディスプレイ面と観者との間に置かれているかのように素材の表示データを生成する、あるいは、ＵＩを介して受信するズーム・アウトの指示に応答して、ディスプレイ面が素材と観者との間に置かれている（素材がディスプレイ面の裏側に置かれている）かのように素材の表示データを生成する、ズーム機能をレンダリング部１０４に実装することは有用である。例えば、観者は、ディスプレイ面が水平面に垂直となるようにタブレット端末を保持し、壁材の素材をさせる際に、ズーム・アウト機能を使用して、２〜３ｍは離れた位置の壁を想定して、素材の質感を観察することが可能になる。

図１１は、サーバ５００の処理のフローチャートである。

ステップＳ１１０１で、サーバ５００（エレメント収集部５０２）は、複数のコンピュータ７００から、エレメント（色特性、形状特性、反射特性のうちの少なくとも１つ）を受信することができる。すなわち、サーバ５００は、あるコンピュータから色特性のみを受信し、別のコンピュータから形状特性のみを受信し、さらに別のコンピュータから反射特性のみを受信し、携帯型端末１００等は、これらを組み合わせた素材情報に基づいて素材の画像を表示することができる。もちろん、サーバ５００は、１つのコンピュータから、素材情報（すなわち、色特性と形状特性と反射特性とがすでに組み合わされている）を受信し、携帯型端末１００等は、この素材情報に基づいて素材の画像を表示することもできる。この場合、これらのエレメントが同一の素材情報を構成するという情報を識別子として各エレメントに付加してもよい。

ステップＳ１１０３で、サーバ５００（データ判定部５０４）は、ステップＳ１１０１で受信した素材情報またはエレメントのデータが予め定められたフォーマットであるか否かを判定することができる。予め定められたフォーマットではない場合は、ステップＳ１１０５へ進み、予め定められたフォーマットである場合は、処理を終了する（受信された素材情報およびエレメントのデータが素材情報記憶部５１６に記憶される）。例えば、色特性の予め定められたフォーマットは、画素毎のＲＧＢ情報（色特性：素材の地やコート層など、素材を構成する各層の色を示す情報）とすることができる。また、例えば、形状特性の予め定められたフォーマットは、ピクセル（画素）毎の法線情報（形状特性：装材（床材、壁材、天井材）におけるピクセルの面の向きを示す情報であり、例えば、画素の法線ベクトル情報である）及び／または深度（深さ）情報とすることができる。また、例えば、反射特性の予め定められたフォーマットは、画素毎の光沢の強さの情報及び光沢の鋭さの情報及び光沢の方向性の情報（反射特性）とすることができる。光沢の強さの情報は、各ピクセルのＲＧＢ毎の強さの情報としてもよい。

ステップＳ１１０５で、サーバ５００（データ変換部５０６）は、ステップＳ１１０１で受信した素材情報またはエレメントのデータを、予め定められたフォーマットのデータに変換することができる。そして、変換されたデータが素材情報記憶部５１６に記憶される。そのため、複数のコンピュータ７００から収集した様々な形式のデータを共通の形式のデータにして管理することができるようになる。

具体的には、色特性の場合、例えば、サーバ５００は、コンピュータ７００からＣＭＹＫ形式のデータ（ＣＭＹＫの分布）を受信して、ＲＧＢ形式（ＲＧＢの分布）へ変換することができる。ＣＭＹＫからＲＧＢへの変換は、ＩＣＣプロファイルを用いて行うことができる。

また、色情報の場合、サーバ５００では濃淡階調情報からなる画像情報（版情報）と、インキ色情報（ＣＩＥＬＡＢ値や分光反射率）として持ってもよい。この場合、タブレット端末１００のエレメント編集部１２２においてその濃淡階調情報とインキ色によってできる色情報を、クベルカ-ムンク（Kubelka-Munk）モデルによって各インキの重ね色（ノイゲバウア（Neugebauer）原色）を求め、その重ね色とノイゲバウア（Neugebauer）モデルなどを用いてＲＧＢに変換して用いることによって、容易にインキ色を変更する編集が可能となる。また、これらの変換は、サーバ５００のデータ変換部５０６によって行ってもよい。この場合、サーバ５００のデータ変換部５０６によって濃淡階調情報と、インキ色の組合せによってできる色情報（ノイゲバウア(Neugebauer)原色）をクベルカ-ムンク（Kubelka-Munk）モデルによって求め、ノイゲバウア（Neugebauer）モデルなどにより分光反射率として求め、D65などの照明によって再現される三刺激値からＲＧＢに変換し、当該ＲＧＢ情報をタブレット端末１００へ送信し、エレメント編集部１２２におけるインキ色の変更などの編集情報はサーバ５００へ送信され、当該編集情報にもとづきデータ変換部５０６によってあらたなＲＧＢに変換し、タブレット端末１００へ送信することによって行うことができる。

また、形状特性の場合、例えば、サーバ５００は、コンピュータ７００からエンボス版のパターン形状や版深の情報を受信して、画素毎の法線ベクトル情報へ変換することができる。例えば、エンボス版のパターン形状や版深の情報は、画素毎の深さ情報を画像データで規定したものとすることができる。グレイ画像の信号は、０〜２５５の２５６諧調で表すことができるので、０は版深が０、２５５は版深がＤμｍ（最大版深）に対応するものとし、最大版深Ｄはエンボス版毎に別途テキストデータとして指定することができる。版深の情報から法線ベクトル情報への変換は、以下のように行うことができる。注目する画素に対して、左右（ｘ軸）方向、上下（ｙ軸）方向のそれぞれで隣接する画素との深さの差を求めると、その注目する画素におけるｘ軸方向、ｙ軸方向の傾きが導出される。この導出された傾きが、注目する画素における面の傾きのｘ軸方向成分、ｙ軸方向成分に相当するので、面の傾きが規定できる。したがって、法線ベクトル情報を決定することができる。

また、反射特性は、画素毎に光沢が異なる場合と、全面一様な光沢である場合とが想定される。画素毎に光沢が異なる場合、例えば、コンピュータ７００は、光沢を画像として指定することができる。例えば、画像をＲＧＢ画像として、Ｒチャンネルに光沢の強さを、Ｇチャンネルに光沢の鋭さ（広がり）を、Ｂチャンネルに光沢の方向性をそれぞれ記述することができる。ＲチャンネルおよびＧチャンネルでは、０は光沢の強さ、光沢の鋭さがそれぞれ０に相当するものとし、２５５は光沢の強さ、光沢の鋭さがそれぞれ事前に規定された最大値に相当するものとすることができる。Ｂチャンネルでは、０を基準軸（たとえば素材面上で互いに直交するｘ軸とｙ軸のうちｘ軸）に相当するものとし、２５５は素材面に直交する軸を中心に回転した角度が３６０度に相当するものとすることができる。サーバ５００は、コンピュータ７００から受信したこのＲＧＢ画像に基づいて、画素毎の光沢の強さの情報及び光沢の鋭さの情報を決定することができる。全面一様な光沢である場合、例えば、反射特性を表す数式（一様分布式）が予め規定される。そして、サーバ５００は、コンピュータ７００から、その数式のパラメータである光沢の強さと光沢の鋭さを指定するための数値を受信することができる。サーバ５００は、受信した数値に基づいて、光沢を画像として指定するためのＲＧＢ画像を生成することができる。

図１２は、画像処理装置の処理のフローチャートであり、上述した携帯型端末１００によって実行される処理フローの一例である。

ステップＳ６０１で、携帯型端末１００（レンダリング部１０４）は、周囲照明情報を取得する。当該携帯型端末が配置された実環境において周囲照明情報取得部１０８によって取得された照明情報、又は周囲照明情報記憶部１０６に格納された照明情報が取得される。代替として、通信部１１４を介して取得されたモデル化された空間における外部照明情報、又は通信部１１４を介して取得され周囲照明情報記憶部１０６に格納された外部照明情報が取得される。又はあらかじめ周囲照明情報記憶部１０６に格納された外部照明情報や、以前に取得した周囲照明情報記憶部１０６に格納された外部照明情報が取得される。

ステップＳ６０３で、携帯型端末１００（エレメント組合部１２０）は、サーバ５００が複数のコンピュータ７００から受信した複数のエレメントを組み合わせて、素材情報を決定する。例えば、携帯型端末１００は、図３のユーザ・インタフェースの色特性サムネール４１６、形状特性サムネール４１８、反射特性サムネール４２０の各々で選択された特性を組み合わせることによって、素材情報を決定することができる。決定された素材情報を構成するエレメント情報（どの色特性、どの形状特性、およびどの反射特性）の組合せを示す組合情報はエレメン情報記憶部１２３に記憶され、および／または通信部１１４を介してサーバ５００の通信部５１４へ転送され、素材情報記憶部５１６へ付加情報として記録される。例えば、サーバ５００によって、複数のエレメントの組み合わせからなる新しい素材を識別する識別子が付与され、付加情報に含めて記憶されてもよい。例えば、組合情報は、識別子とともにエレメン情報記憶部１２３および／または素材情報記憶部５１６に記憶される。組合情報や付加情報の記憶は、ステップＳ６１７で、表示部１０２に画像表示された素材を仮想空間のパーツに適用することが選択されたと決定された場合に実行してもよい。

ステップＳ６０５で、携帯型端末１００（レンダリング部１０４）は、表示する素材の素材情報（色特性、形状特性、反射特性）を取得する。通信部１１４を介して外部から取得され素材情報記憶部１１６に記憶された素材情報（つまり、ステップＳ６０３で決定された素材情報）が取得される。たとえば、色特性は素材の画素毎のＲＧＢ情報であり、形状特性は素材の画素毎の法線ベクトル情報及び／または深度情報であり、反射特性は画素毎の光沢の強さの情報及び光沢の鋭さの情報及び光沢の方向性の情報である。

ステップＳ６０７で、携帯型端末１００（レンダリング部１０４）は、照明、ディスプレイ面及び観者の相対的位置関係を特定する。携帯型端末１００（レンダリング部１０４）は、照明、ディスプレイ面及び観者の相対的位置関係を、照明情報に含まれる光の方位と、ディスプレイ面の方位及び観者の目の方位の少なくとも１つとを用いて計算することにより、特定することができる。携帯型端末の傾き及び観者の目の方位は、傾き検出部１１０及び観者検出部１１８によってそれぞれ検出され、レンダリング部１０４がアクセスできるようにメモリなどに保持されている。

ステップＳ６０９で、携帯型端末１００（レンダリング部１０４）は、取得した照明情報と、計算した相対的位置関係と、取得した素材情報（色特性、形状特性、反射特性）とに基づいて、素材の表示データをレンダリングする。

ステップＳ６１１で、表示部１０２は、表示データを用いて素材の画像を表示（再表示）する。

ステップＳ６１３で、携帯型端末１００（エレメント編集部１２２）は、エレメントの編集が指示されたか否かを判断する。例えば、携帯型端末１００は、図３のユーザ・インタフェースの色特性を変更するためのスライダ４２２、形状特性を変更するためのスライダ４２４、反射特性を変更するためのスライダ４２６を介して各種特性に変更が加えられたか否かを判断することができる。エレメントの編集が指示された場合は、ステップＳ６１５へ進み、エレメントの編集が指示されなかった場合は、ステップＳ６１７へ進む。

ステップＳ６１５で、携帯型端末１００（エレメント編集部１２２）は、エレメントの編集を行う。編集された素材情報を構成するエレメント情報の編集を示す編集情報（色特性編集値、形状特性編集値、および反射特性編集値の編集情報）はエレメン情報記憶部１２３に記憶され、および／または通信部１１４を介してサーバ５００の通信部５１４へ転送され、素材情報記憶部５１６へ付加情報として記録される。例えば、編集情報は、組合情報および／または識別子とともに、エレメン情報記憶部１２３および／または素材情報記憶部５１６に記憶される。組合情報および／または編集情報や付加情報の記憶は、ステップＳ６１７で、表示部１０２に画像表示された素材を仮想空間のパーツに適用することが選択されたと決定された場合に実行してもよい。

具体的には、色特性の場合、例えば、携帯型端末１００（エレメント編集部１２２）は、画素毎のＲＧＢ毎の値（Ｒの値、Ｇの値、Ｂの値）を変更することができる。また、例えば、インキ色をＣＩＥＬＡＢ値（Ｌ^*の値，ａ^*の値，ｂ^*の値）として変更することができる。この場合、ＣＩＥＬＡＢ値からｓRGBモニタのRGB値やAdobeRGBモニタのRGB値に変換しRGB毎の値を変更してもよいし、用いる基材インキ（例えばＣ、Ｍ、Ｙインキ）の吸収係数と散乱係数から、指定されたＣＩＥＬＡＢ値を満足する基材インキの混合割合をクベルカ−ムンク（Kubelka-Munk）モデルから求め、インキの分光反射率として用い画素毎のＲＧＢ値へ変換して表示に用いることもできる。また、インキ色を基材インキ（例えばＣ、Ｍ、Ｙインキ）の混合割合として変更することができる。この場合、用いる基材インキの吸収係数と散乱係数からインキの分光反射率として求めて用いることもできる。各インキの分光反射率からクベルカ―ムンク(Kubelka-Munk)モデルによって各インキの重ね色（ノイゲバウア(Neugebauer)原色）を求め、その重ね色とノイゲバウア（Neugebauer）モデルなどを用いて分光反射率を求め、D65などの光源を規定することによって三刺激値を求めてRGB値に変換してもよい。また、インキ色をパントーンやＤＩＣカラーガイド、ＴＯＹＯカラーファインダーなどの色票における番号として変更してもよい。この場合，色票番号とＣＩＥＬＡＢ値との関連テーブルを備えることによってＣＩＥＬＡＢ値への変換を行い、ＣＩＥＬＡＢ値として取り扱うことができる。

また、形状特性の場合、例えば、携帯型端末１００（エレメント編集部１２２）は、深さの分布（分布図）の全体に対して一律に変更を加えること（深さを一律に倍にする等）によって、法線ベクトル情報を一律に変更することができる。あるいは、例えば、携帯型端末１００（エレメント編集部１２２）は、深さの分布（分布図）の一部（つまり、画素毎）に対して変更を加えること（選択された画素のみの深さを変更する）によって、法線ベクトル情報を画素毎に変更することもできる。

また、反射特性の場合、例えば、携帯型端末１００（エレメント編集部１２２）は、反射特性の分布（分布図）の中から選択された画素のみの光沢の強さ、光沢の鋭さを増減することができる。あるいは、例えば、携帯型端末１００（エレメント編集部１２２）は、反射特性の分布（分布図）の拡大、縮小、回転、平行移動をすることもできる。

ステップＳ６１７で、表示部１０２に画像表示された素材を仮想空間のパーツに適用することが選択されたかどうかを決定する。素材の適用が選択されない場合、ステップＳ６１８へ進む。

素材の適用が選択された場合、ステップＳ６１９で、仮想空間のパーツの識別子及び選択された素材の識別子を送信する。送信された仮想空間のパーツの識別子及び選択された素材の識別子は、仮想空間画像処理装置３００又はサーバ５００によって、受信される。

ステップＳ６１８で、プログラムの終了が指示されたかどうかを判定する。プログラムの終了が指示されている場合は、処理のフローを終了する。プログラムの終了が指示されていない場合は、ステップＳ６０７へ戻る。

なお、ステップＳ６０１は、ステップＳ６０５の後に実行してもよい。特に、実環境において取得された照明情報を用いる場合、ステップＳ６０１は、ステップＳ６０７からＳ６１１のループに含めて、レンダリング部１０４が表示情報をレンダリングする毎に照明情報を取得し直すようにしてもよい。

図１３は、仮想空間画像処理装置の処理のフローチャートである。

ステップＳ７００で、仮想空間画像処理装置３００（レンダリング部３０４）は、仮想空間情報を取得する。空間情報記憶部３０８に予め格納された空間の情報（空間の間取りを構成する各種パーツを含む空間の情報）が取得される。空間情報は、通信部３１４を介してサーバ５００又は携帯型端末１００から取得され空間情報記憶部３０８に格納された空間情報とすることができる。

ステップＳ７０１で、仮想空間画像処理装置３００（レンダリング部３０４）は、仮想空間照明情報を取得する。空間照明情報記憶部３０６に予め格納されたモデル化された空間の照明情報（空間照明情報）が取得される。空間照明情報は、通信部３１４を介してサーバ５００又は携帯型端末１００から取得され空間照明情報記憶部３０６に格納された空間照明情報とすることができる。携帯型端末１００の周囲照明情報取得部１０８により取得され照明情報記憶部１０６に記憶された周囲照明情報を、空間照明情報としてもよい。

ステップＳ７０３で、仮想空間画像処理装置３００（レンダリング部３０４）は、携帯型端末１００からのパーツの識別子及び当該パーツに適用する素材の識別子を受信し、応答して、当該素材の素材情報（色特性、形状特性、反射特性）を取得する。素材情報記憶部３１６に予め格納された素材情報が取得される。素材情報は、通信部３１４を介してサーバ５００又は携帯型端末１００から取得し素材情報記憶部３１６に記憶された素材情報とすることができる。素材情報、上述した色特性、形状特性及び反射特性を示す情報である。

ステップＳ７０５で、仮想空間画像処理装置３００（観者位置検出部３１８）は、仮想空間における観者の目の位置（視点あるいはカメラの位置）を決定する。

ステップＳ７０７で、仮想空間画像処理装置３００（レンダリング部３０４）は、識別された素材が配置された空間（仮想空間）の表示データをレンダリングする。空間の表示データのレンダリングは、取得した照明情報及び素材情報、並びに決定した仮想空間における観者の目の位置に基づく。

ステップＳ７０９で、仮想空間画像処理装置３００（表示部３０２）は、表示データを用いて空間（仮想空間）の画像を表示（再表示）する。

ステップＳ７１１で、仮想空間における観者の目（視点）が変更されたかどうか（仮想空間内での視点の位置が変更されたかどうか、仮想空間が回転されたかどうか、又は拡大縮小されたかどうか）を決定する。観者の目（視点）が変更された場合は、ステップＳ７１３へ進む。観者の目（視点）が変更されない場合は、ステップＳ７１４へ進む。ステップＳ７１３およびＳ７１４ではそれぞれ、プログラムの終了が指示されたかどうかを判定する。

ステップＳ７１３でプログラムの終了が指示されている場合は、処理のフローを終了し、プログラムの終了が指示されていない場合は、ステップＳ７０５へ戻り、空間（仮想空間）の表示データのレンダリングをやり直し画像を再表示する（ステップＳ７０９）。ステップＳ７１４でプログラムの終了が指示されている場合は、処理のフローを終了し、プログラムの終了が指示されていない場合は、ステップＳ７１１を繰り返す。代替として、ステップＳ７１１およびステップＳ７１４を、ステップＳ７０５とＳ７０７の間に挿入し、観者の目（視点）が変更されるまでステップＳ７０５を繰り返し、観者の目（視点）が変更された場合は、ステップＳ７０７からＳ７０９を実行した後ステップ７１３へ進むようにしてもよい。

いずれの手段によっても、仮想空間画像処理装置３００（入力部３１２）によって仮想空間における観者の目（視点）が変更される毎に高速にレンダリングをやり直し画像を再表示することで、あたかも仮想空間の中を自由かつなめらかに移動するかのごとく効果を観者に与えることができる。

図１４は、本発明の一実施形態に係る画像処理システムの製造データを生成する処理のフロー図である。本発明では、サーバ５００は、携帯型端末１００から、エレメントを組み合わせた結果の情報およびエレメントを編集した結果の情報を受信して、それらの情報に基づいて、素材の製造（つまり、実物の壁紙等の製造）のために必要なデータを生成することができる。

ステップＳ８０１で、サーバ５００の製造データ生成部５１８は、製造する素材の素材情報（色特性、形状特性、反射特性）を取得する。素材情報記憶部５１６に記憶された素材情報（エレメント情報。つまり、どの色特性、どの形状特性、およびどの反射特性が組合されたという組合情報と、色特性編集値、形状特性編集値、および反射特性編集値の編集情報である）が取得される。例えば、色特性は素材の画素毎のＲＧＢ情報であり、形状特性は素材の画素毎の法線ベクトル情報であり、反射特性は画素毎の光沢の強さの情報及び光沢の鋭さの情報及び光沢の方向性の情報である。具体的には、製造データ生成部５１８は、図３のユーザ・インタフェース（エレメントサムネール４１４および各種特性編集４２２〜４２６）を介して指定された素材情報を取得する。したがって、製造データ生成部５１８は、編集された後の色特性、編集された後の形状特性、編集された後の反射特性を有する素材を製造するために必要なデータを生成することができる。

ステップＳ８０３で、製造データ生成部５１８は、ステップＳ８０１で取得した素材情報を製造データへ変換する。すなわち、色特性、形状特性、反射特性が、素材の製造工程で用いられるデータへ変換される。

具体的には、色特性の場合、例えば、製造データ生成部５１８は、色特性（素材の画素毎のＲＧＢ情報）を、ＣＭＹＫ形式のデータへ変換することができる。ＲＧＢからＣＭＹＫへの変換は、ＩＣＣプロファイルを用いて行うことができる。ＣＭＹＫ形式のデータに基づいて、素材が製造装置（印刷機等）で出力される。また、色情報を濃淡階調情報からなる画像情報（版情報）と、インキ色情報（CIELAB値や分光反射率）として持っている場合、インキ色情報から、ＣＣＭ(Computer Color Matching)技術を用いて、当該インキを作ることができる。

また、形状特性の場合、例えば、製造データ生成部５１８は、形状特性（素材の画素毎の法線ベクトル情報）を、製造装置用の加工データ（切削座標やエッチングマスクパターン、３次元座標など）へ変換することができる。まず、各画素の法線ベクトル情報から各画素の面の傾きが決定される。つまり、各画素における面の傾きの左右（ｘ軸）方向成分、上下（ｙ軸）方向成分が決定される。これらの成分は、各画素のｘ軸方向、ｙ軸方向の傾きに相当する。次に、ｘ軸方向、ｙ軸方向の傾きに基づいて、ｘ軸方向、ｙ軸方向のそれぞれで隣接する画素との深さの差が求められる。そして、素材の凹凸情報を決定することができる。

また、反射特性の場合、例えば、製造データ生成部５１８は、反射特性（素材の画素毎の光沢の強さの情報及び光沢の鋭さの情報及び光沢の方向性の情報）を、製造装置によって塗布されるニスを指定するための情報へ変換することができる。具体的には、予め、マットニスの種類とグロスニスの種類の組み合わせごとに（つまり、ある１つの種類のマットニスとある１つの種類のグロスニスとの組み合わせごとに）、配合比を段階的に変えた印刷サンプルを作成する。そして、その印刷サンプルの光沢の特性を測定し、マットニスの種類とグロスニスの種類、ニスの配合比、光沢特性の対応表を作成する。また、この光沢特性は、反射特性と対応付けされる。したがって、製造データ生成部５１８は、反射特性に基づいて、ニスを指定するための情報（つまり、マットニスの種類とグロスニスの種類、ニスの配合比）を決定することができる。

ステップＳ８０５で、製造データ生成部５１８は、ステップＳ８０３で生成した製造データを製造装置へ送信することができる。

以上、説明したように、本発明によれば、複数のコンピュータから収集した複数のエレメントを自由に組み合わせたり、編集をして、観察環境の変化や素材の向きの変化に応じた当該素材の質感を画像表示し、当該素材を空間に配置した際の質感や見えの疑似体験を可能にする画像処理システム、方法、及びプログラムを提供できる。

なお、上記実施形態の説明では、画像処理システムが携帯型端末（タブレット端末）と仮想空間画像処理端末（コンピュータ）とを含む構成を説明したが、仮想空間画像処理端末の機能部を携帯型端末に実装し、あるいは、携帯型端末の機能部を仮想空間画像処理端末に実装し、本発明を実施することができる。また、画像処理システムの構成にサーバを含め、携帯型端末または仮想空間画像処理端末の一部の機能をサーバに実装し、本発明を実施することができる。

１００ 携帯型端末
１０２ 表示部（感圧式ディスプレイ）
１０４，３０４ レンダリング部（表示データ生成部）
１０６，３０６ 照明情報記憶部
１０８ 周囲照明情報取得部（測光デバイス、照度センサ、カメラ）
１１０ 傾き検出部（ジャイロセンサ、加速度センサ、磁気センサ）
１１２，３１２ 入力部（キーボード、キーパッド、マウス、ポインティングデバイス、マイク）
１１４，３１４，５１４ 通信部（ネットワークＩＦカード（ＮＦＣ）、無線デバイス）
１１６，３１６，５１６ 素材情報記憶部
１１８ 観者検出部（赤外線センサ、カメラ）
１２０ エレメント組合部
１２２ エレメント編集部
１２３ エレメント情報記憶部
２０２，２０４ 電灯
２０６ 太陽
２０８ 目
３００ コンピュータ
３０２ 表示部（モニタ）
３０８ 空間情報記憶部
３１８ 空間内観者位置検出部
５００ サーバ
５０２ エレメント収集部
５０４ データ判定部
５０６ データ変換部
５１８ 製造データ生成部
７０２，７０４，７０６，７０８ コンピュータ

Claims (26)

1. 複数のコンピュータに接続された画像処理システムであって、エレメント収集手段と、エレメント組合手段と、空間の画像を表示する第１の表示手段と、前記空間の表示データをレンダリングする第１のレンダリング手段と、前記空間に適用される素材の画像を表示する第２の表示手段と、前記素材の画像の表示データをレンダリングする第２のレンダリング手段と、エレメント編集手段とを備え、
   前記エレメント収集手段は、前記複数のコンピュータの各々から、素材の画像の各画素についての色特性、形状特性及び反射特性の少なくとも１つを収集するように構成され、
   前記エレメント組合手段は、前記エレメント収集手段により収集された色特性、形状特性及び反射特性を組合せて、素材の質感に関する素材情報を決定するように構成され、
   前記第２のレンダリング手段は、照明情報、前記エレメント組合手段により決定された前記素材の質感に関する素材情報、並びに照明、前記第２の表示手段の表示面及び観者の相対的位置関係に基づいて、前記素材の表示データをレンダリングするように構成され、
   前記第２の表示手段は、レンダリングされた前記素材の表示データを用いて前記素材の画像を表示するように構成され、
   前記第１のレンダリング手段は、前記素材を前記空間に適応する指示に応答して、前記空間の空間照明情報及び前記素材の質感に関する素材情報に基づいて、前記素材を適用した前記空間の表示データをレンダリングするように構成され、
   前記第１の表示手段は、レンダリングされた前記空間の表示データを用いて前記空間の画像を表示するように構成され、
   前記エレメント編集手段は、画像が表示された前記素材の素材情報の前記色特性、形状特性及び反射特性のうちの少なくとも１つを変更するように構成された、画像処理システム。
2. 前記第２の表示手段の表示面の方位を検出するように構成された傾き検出手段をさらに備え、
   前記第２のレンダリング手段は、照明情報、前記素材の質感に関する素材情報及び前記第２の表示手段の表示面の方位に基づいて、前記素材の表示データをレンダリングするように構成された、請求項１に記載の画像処理システム。
3. 前記第２の表示手段の周囲照明情報を取得するように構成された周囲照明情報取得手段をさらに備え、前記素材の表示データがレンダリングされる際に用いられる前記照明情報は、前記周囲照明情報取得手段により取得された前記周囲照明情報である、請求項２に記載の画像処理システム。
4. 前記素材の表示データがレンダリングされる際に用いられる前記照明情報は、前記空間の表示データをレンダリングする際に用いられる前記空間照明情報である、請求項２に記載の画像処理システム。
5. 前記素材の画像の観者の方位を検出する観者検出手段をさらに備え、
   前記第２のレンダリング手段は、前記照明情報、前記素材の質感に関する素材情報、前記第２の表示手段の表示面の方位及び前記素材の画像の観者の方位に基づいて、前記素材の表示データをレンダリングするように構成された、請求項２ないし４のいずれかに記載の画像処理システム。
6. 前記照明情報は、少なくとも光の方位、色成分及び強度を含み、
   前記素材情報は、前記素材の画像の各画素についての色特性、形状特性及び反射特性を含む、請求項２ないし５のいずれかに記載の画像処理システム。
7. 前記画像処理システムは、空間画像処理端末と携帯型端末とを含み、
   前記空間画像処理端末は、前記第１のレンダリング手段と前記第１の表示手段とを含み、
   前記携帯型端末は、前記傾き検出手段と、前記第２のレンダリング手段と、前記第２の表示手段とを含む、請求項２ないし６のいずれかに記載の画像処理システム。
8. 前記画像処理システムは、製造データ生成手段をさらに備え、
   前記製造データ生成手段は、前記エレメント組合手段によって組合された、または前記エレメント編集手段によって変更された前記素材の素材情報の前記色特性、形状特性及び反射特性に基づいて、前記素材の製造データを生成および出力するように構成された、請求項２ないし７のいずれかに記載の画像処理システム。
9. エレメント収集手段と、エレメント組合手段と、空間の画像を表示する第１の表示手段と、前記空間の表示データをレンダリングする第１のレンダリング手段と、前記空間に適用される素材の画像を表示する第２の表示手段と、前記素材の画像の表示データをレンダリングする第２のレンダリング手段と、エレメント編集手段とを備えた画像処理システムにおける画像処理方法であって、前記画像処理システムは、複数のコンピュータに接続されており、前記方法は、
   前記エレメント収集手段が、前記複数のコンピュータの各々から、素材の画像の各画素についての色特性、形状特性及び反射特性の少なくとも１つを収集することと、
   前記エレメント組合手段が、前記エレメント収集手段により収集された色特性、形状特性及び反射特性を組合せて、素材の質感に関する素材情報を決定することと、
   前記第２のレンダリング手段が、照明情報、前記エレメント組合手段により決定された前記素材の質感に関する素材情報、並びに照明、前記第２の表示手段の表示面及び観者の相対的位置関係に基づいて、前記素材の表示データをレンダリングすることと、
   前記第２の表示手段が、レンダリングされた前記素材の表示データを用いて前記素材の画像を表示することと、
   前記第１のレンダリング手段が、前記素材を前記空間に適応する指示に応答して、空間照明情報及び前記素材の質感に関する素材情報に基づいて、前記素材を適用した前記空間の表示データをレンダリングすることと、
   前記第１の表示手段が、レンダリングされた前記空間の表示データを用いて前記空間の画像を表示することと、
   前記エレメント編集手段が、画像が表示された前記素材の素材情報の前記色特性、形状特性及び反射特性のうちの少なくとも１つを変更することと
   を含む、方法。
10. 前記画像処理システムは、傾き検出手段をさらに備え、
    前記方法は、前記傾き検出手段が前記表示手段の表示面の方位を検出することをさらに含み、
    前記第２のレンダリング手段が前記素材の表示データをレンダリングすることは、前記第２のレンダリング手段が、前記照明情報、前記素材の質感に関する素材情報及び前記傾き検出手段により検出された前記表示手段の表示面の方位に基づいて、前記素材の表示データをレンダリングすることを含む、請求項９に記載の方法。
11. 前記画像処理システムが周囲照明情報取得手段をさらに備え、
    前記方法は、前記周囲照明情報取得手段が前記第２の表示手段の周囲照明情報を取得することをさらに含み、
    前記素材の表示データがレンダリングされる際に用いられる前記照明情報は前記周囲照明情報である、請求項１０に記載の方法。
12. 前記素材の表示データがレンダリングされる際に用いられる前記照明情報は、前記空間の表示データをレンダリングする際に用いられる前記空間照明情報である、請求項１０に記載の方法。
13. 前記画像処理システムが観者検出手段をさらに備え、
    前記方法は、前記観者検出手段が前記素材の画像の観者の方位を検出することをさらに含み、
    前記第２のレンダリング手段が前記素材の表示データをレンダリングすることは、前記第２のレンダリング手段が、前記照明情報、前記素材の質感に関する素材情報、前記第２の表示手段の表示面の方位及び前記素材の画像の観者の方位に基づいて、前記素材の表示データをレンダリングすることを含む、請求項１０ないし１２のいずれかに記載の方法。
14. 前記照明情報は、少なくとも光の方位、色成分及び強度を含み、
    前記素材情報は、前記素材の画像の各画素についての色特性、形状特性及び反射特性を含む、請求項１０ないし１３のいずれかに記載の方法。
15. 前記画像処理システムは、空間画像処理端末と携帯型端末とを含み、
    前記空間画像処理端末は、前記第１のレンダリング手段と前記第１の表示手段とを含み、
    前記携帯型端末は、前記第２のレンダリング手段と、前記第２の表示手段とを含む、請求項１０ないし１４のいずれかに記載の方法。
16. 前記画像処理システムは、空間画像処理端末と携帯型端末とを含み、
    前記空間画像処理端末は、前記第１のレンダリング手段と前記第１の表示手段とを含み、
    前記携帯型端末は、前記傾き検出手段と、前記第２のレンダリング手段と、前記第２の表示手段とを含む、請求項１０ないし１５のいずれかに記載の方法。
17. 前記画像処理システムが製造データ生成手段をさらに備え、
    前記方法は、前記製造データ生成手段が、前記エレメント組合手段によって組合された、または前記エレメント編集手段によって変更された前記素材の素材情報の前記色特性、形状特性及び反射特性に基づいて、前記素材の製造データを生成および出力することを含む、請求項１０ないし１６のいずれかに記載の方法。
18. エレメント収集手段と、エレメント組合手段と、空間の画像を表示する第１の表示手段と、前記空間の表示データをレンダリングする第１のレンダリング手段と、前記空間に適用される素材の画像を表示する第２の表示手段と、前記素材の画像の表示データをレンダリングする第２のレンダリング手段と、エレメント編集手段とを備えたコンピュータシステムによって実行されるプログラムであって、前記コンピュータシステムは、複数のコンピュータに接続されており、前記プログラムは、
    前記エレメント収集手段に、前記複数のコンピュータの各々から、素材の画像の各画素についての色特性、形状特性及び反射特性の少なくとも１つを収集させ、
    前記エレメント組合手段に、前記エレメント収集手段により収集された色特性、形状特性及び反射特性を組合せて、素材の質感に関する素材情報を決定させ、
    前記第２のレンダリング手段に、照明情報、前記エレメント組合手段により決定された前記素材の質感に関する素材情報、並びに照明、前記第２の表示手段の表示面及び観者の相対的位置関係に基づいて、前記素材の表示データをレンダリングさせ、
    前記第２の表示手段に、レンダリングされた前記表示データを用いて前記素材の画像を表示させ、
    前記第１のレンダリング手段に、前記素材を前記空間に適応する指示に応答して、空間照明情報及び前記素材の質感に関する素材情報に基づいて、前記素材を適用した前記空間の表示データをレンダリングさせ、
    前記第１の表示手段に、レンダリングされた前記空間の表示データを用いて前記空間の画像を表示させ、
    前記エレメント編集手段に、画像が表示された前記素材の素材情報の前記色特性、形状特性及び反射特性のうちの少なくとも１つを変更させる、プログラム。
19. 前記コンピュータシステムは、傾き検出手段をさらに備え、
    前記プログラムは、前記傾き検出手段に前記表示手段の表示面の方位を検出させ、
    前記第２のレンダリング手段に、前記照明情報、前記素材の質感に関する素材情報及び前記傾き検出手段により検出された前記表示手段の表示面の方位に基づいて、前記素材の表示データをレンダリングさせる、請求項１８に記載のプログラム。
20. 前記コンピュータシステムが周囲照明情報取得手段をさらに備え、
    前記プログラムは、前記周囲照明情報取得手段に前記第２の表示手段の周囲照明情報を取得させ、
    前記レンダリング手段に、前記周囲照明情報、前記素材情報、並びに前記照明、前記第２の表示手段の表示面及び前記観者の前記相対的位置関係に基づいて、前記素材の表示データをレンダリングさせる、請求項１９に記載のプログラム。
21. 前記素材の表示データをレンダリングされる際に用いられる照明情報は、前記空間の表示データをレンダリングする際に用いられる前記空間照明情報である、請求項１９に記載のプログラム。
22. 前記コンピュータシステムが観者検出手段をさらに備え、
    前記プログラムは、前記観者検出手段に前記素材の画像の観者の方位を検出させ、
    前記第２のレンダリング手段に前記照明情報、前記素材の質感に関する素材情報及び前記素材の画像の観者の方位に基づいて、前記素材の表示データをレンダリングさせる、請求項１９ないし２１のいずれかに記載のプログラム。
23. 前記照明情報は、少なくとも光の方位、色成分及び強度を含み、
    前記素材情報は、前記素材の画像の各画素についての色特性、形状特性及び反射特性を含む、請求項１９ないし２２のいずれかに記載のプログラム。
24. 前記コンピュータシステムは、空間画像処理端末と携帯型端末とを含み、
    前記空間画像処理端末は、前記第１のレンダリング手段と前記第１の表示手段とを含み、
    前記携帯型端末は、前記第２のレンダリング手段と、前記第２の表示手段とを含む、請求項１９ないし２３のいずれかに記載のプログラム。
25. 前記コンピュータシステムは、空間画像処理端末と携帯型端末とを含み、
    前記空間画像処理端末は、前記第１のレンダリング手段と前記第１の表示手段とを含み、
    前記携帯型端末は、前記傾き検出手段と、前記第２のレンダリング手段と、前記第２の表示手段とを含む、請求項１９ないし２４のいずれかに記載のプログラム。
26. 前記コンピュータシステムが製造データ生成手段をさらに備え、
    前記プログラムは、前記製造データ生成手段に、前記エレメント組合手段によって組合された、または前記エレメント編集手段によって変更された前記素材の素材情報の前記色特性、形状特性及び反射特性に基づいて、前記素材の製造データを生成および出力させる、請求項１９ないし２５のいずれかに記載のプログラム。