JP6610064B2 - 建築素材凹凸模様画像処理システム、方法、及びプログラム - Google Patents

Description

本発明は、建築素材凹凸模様画像処理システム、方法、及びプログラムに関し、より詳細には、建築物の建築素材の質感を画像表示する建築素材凹凸模様画像処理システム、方法、及びプログラムに関する。

従来、建築物の建築素材（例えば、床、壁及び天井に用いられる面材）として、印刷技術により印刷・加工をした化粧板が使用されている。例えば、基材（合板や繊維板など）の表面に顔料インキを塗布して絵柄（模様および／又は色彩）を形成して、表面をエンボス加工（凹凸加工）した様々な建築素材（化粧材）、あるいは、基材の表面に、絵柄が形成された化粧紙（薄葉紙、ウレタンコート紙、強化紙、チタン紙）または樹脂製の化粧シートを貼付して、表面をエンボス加工（凹凸加工）した様々な建築素材（化粧材）が利用されている。全体または一部において光沢の効果を調整する場合には、光沢を増加／減少させる材料（シート、ニス等）が積層される。従来、エンボス加工のためのエンボス版は、試作を繰り替えして、製作されていた。試作の繰り返しの回数が多くなると、エンボス版の作製費用も多くなる。

特許文献１には、エンボス版の仕上がり(凹凸の模様の仕上がり)をコンピュータシミュレートする技術が開示されている。特許文献１に開示された技術により、エンボス版の試作の繰り返しを減らすことができる。

特開２０１１−１０３０９７号公報

Berthold K.P Horn et al., "The variational approach to shape from shading," COMPUTER VISION, GRAPHICS, AND IMAGE PROCESSING 33, 174-208 (1986). Klette, R. et al., "Height data from gradient fields," Proc. SPIE 2908, Machine Vision Applications, Architectures and Systems Integration, vol. 5, pp. 204-215 (1996)

しかしながら、凹凸の模様の質感や見えは、観察環境の変化や建築素材の向きの変化に応じて、変化する。したがって、観察環境の変化や建築素材の向きの変化に応じた質感や見えの確認を可能にする技術を提供することが望ましい。

本発明は、このような問題に鑑みてなされたもので、その目的とするところは、観察環境の変化や建築素材の向きの変化に応じた凹凸の模様の画像を表示し、凹凸の模様の質感や見えの疑似体験を可能にする建築素材凹凸模様画像処理システム、方法、及びプログラムを提供することにある。

このような目的を達成するために、本発明の第１の態様は、建築素材の凹凸の模様の画像を処理する建築素材凹凸模様画像処理システムである。建築素材凹凸模様画像処理システムは、凹凸の模様の画像を表示する表示手段と、建設素材の凹凸の模様の画素毎の深さまたは高さの情報を、各画素の向きの情報に変換するように構成された変換手段と、照明情報、各画素の向きの情報、並びに照明、表示手段の表示面及び観者の相対的位置関係に基づいて、凹凸の模様の表示データをレンダリングするように構成されレンダリング手段であり、表示データを用いて表示手段により前記凹凸の模様の画像が表示される、レンダリング手段とを備える。

一実施形態では、建築素材凹凸模様画像処理システムは、各画素の向きの情報を編集するように構成された編集手段をさらに備える。

一実施形態では、建築素材凹凸模様画像処理システムは、建設素材の凹凸の模様の画素毎の深さまたは高さの情報を編集するように構成された編集手段をさらに備える。

一実施形態では、建築素材凹凸模様画像処理システムは、編集手段により編集された各画素の向きの情報または凹凸の模様の画素毎の深さまたは高さの情報を記憶するように構成された編集結果記憶手段をさらに備える。

一実施形態では、変換手段は、編集手段により編集された各画素の向きの情報を、凹凸の模様の画素毎の深さまたは高さの情報に変換するようにさらに構成されている。各画素の向きの情報から変換された凹凸の模様の画素毎の深さまたは高さの情報は外部に出力される。

一実施形態では、建築素材凹凸模様画像処理システムは、表示手段の表示面の方位を検出するように構成された傾き検出手段をさらに備え、レンダリング手段は、照明情報、前記各画素の向きの情報及び表示手段の表示面の方位に基づいて、凹凸の模様の表示データをレンダリングするように構成されている。

一実施形態では、建築素材凹凸模様画像処理システムは、表示手段の周囲照明情報を取得するように構成された周囲照明情報取得手段をさらに備え、凹凸の模様の表示データがレンダリングされる際に用いられる照明情報は、周囲照明情報取得手段により取得された周囲照明情報である。

一実施形態では、建築素材凹凸模様画像処理システムは、凹凸の模様の画像の観者の方位を検出するように構成された観者検出手段をさらに備え、レンダリング手段は、照明情報、各画素の向きの情報、表示手段の表示面の方位及び凹凸の模様の画像の観者の方位に基づいて、凹凸の模様の表示データをレンダリングするように構成されている。

本発明の第２の態様は、上記建築素材凹凸模様画像処理システムにより実行される、建築素材凹凸模様画像処理方法である。

本発明の第３の態様は、上記建築素材凹凸模様画像処理方法をコンピュータに実行させるプログラムである。

以上説明したように、本発明によれば、観察環境の変化や素材の向きの変化に応じた素材の画像を表示する建築素材凹凸模様画像処理システム、方法およびプログラムを提供することが可能となる。

本発明の一実施形態にかかる建築素材凹凸模様画像処理システムの機能ブロック図である。 本発明の一実施形態を説明するための図であり、（ａ）はエンボス版の凹凸の模様の情報を示すグレー画像であり、（ｂ）および（ｃ）はから凹凸の模様の情報から形状特性への変換を説明するための図であり、（ｄ）はグレー画像と凹凸の深さの対応関係を示す図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態を説明するための図である。 本発明の一実施形態に係る画像処理方法のフロー図である。

以下、図面を参照しながら本発明の実施形態について詳細に説明する。以下に説明する建築素材凹凸模様画像処理システム、方法、及びプログラムは、建築物の建築素材の質感を画像表示する建築素材凹凸模様画像処理システム、方法、及びプログラムに関する。本実施形態の建築素材凹凸模様画像処理システム、方法、及びプログラムによれば、観察環境の変化や建築素材の向きの変化に応じた当該建築素材の凹凸の模様の画像または絵柄（模様および／又は色彩）と凹凸の模様とを組合せた建築素材の画像を表示して質感を確認することが可能となる。したがって、エンボス版の試作または絵柄（模様および／又は色彩）と凹凸の模様との組合せた素材の試作を繰り返す回数を減らすことを可能にする。

限定するものではないが、建築物の建築素材（以下単に、素材ともいう。）は、例えば、床材、壁材、外壁材、天井材、建具造作材、屋根材、壁面収納材としての化粧材である。

図１は、本発明に係る建築素材凹凸模様画像処理システムの一実施形態である携帯型端末の機能ブロック図である。図１の携帯型端末１００は、例えば、タブレット端末であり、ディスプレイ、プロセッサ、メモリ、各種センサを備える。携帯型端末１００は、通信デバイス、キーボード、コンピュータマウスを含むポインティングデバイス、及びマイクロフォン等の入力デバイスを含んでもよい。入力デバイスは、入力部１１２を構成する。

ディスプレイデバイスは、画像の表示に適したディスプレイデバイスであればよく、これに限定するものではないが、電磁誘導式、静電容量式又は感圧式のタッチディスプレイデバイスが好ましい。ディスプレイデバイスは、表示部１０２を構成する。電磁誘導式、静電容量式又は感圧式のタッチディスプレイデバイスは、表示部１０２および入力部１１２を構成する。

プロセッサは、ＣＰＵの他、ＧＰＵやコプロセッサを含んでもよい。プロセッサは、表示部に表示される画像に対応する表示データを生成する。プロセッサは、レンダリング部（表示データ生成部）１０４、変換部１２０、編集部１２２を構成する。

メモリは、ＨＤＤなどの磁気ドライブ及びＳＳＤなどの半導体ドライブのいずれでもよい。メモリは、内蔵型でも外付型でも良い。メモリは、照明情報記憶部１０６、素材情報記憶部１１６及び編集結果記憶部１２３を構成する。メモリは、傾き検出部１１０により検出されたタブレット端末の傾き（ディスプレイ面の方位）の情報を記憶することもできる。

各種センサは、タブレット端末の周囲の照明情報（周囲照明情報）を取得するのに適したデバイス（以下、周囲照明情報取得デバイス）及びタブレット端末の傾きの検出に適したデバイス（傾き検出デバイス）であればよい。例えば、周囲照明情報取得デバイスは、測光デバイス、照度センサ及びカメラの１以上とすることができる。周囲照明情報取得デバイスは内蔵型でも外付型でもよい。また、例えば、傾き検出デバイスは、ジャイロセンサ、加速度センサ、磁気センサの１以上とすることができる。周囲照明情報取得デバイスは、プロセッサと共に又は単独で、周囲照明情報取得部１０８を構成する。また、傾き検出デバイスは、プロセッサと共に又は単独で、傾き検出部１１０を構成する。さらに、各種センサは、観者（例えば、観者の目）の位置を検出するのに適したデバイスを備えてもよい。このようなデバイスは、赤外線センサ及びカメラの１以上とすることができる。

例えば、周囲照明情報取得デバイスとしてのカメラは、周囲全周囲画像カメラまたは全天球撮影カメラ（omnidirectional camera）とすることができ、このようなカメラでタブレット端末の全周囲を撮影した全周囲画像の色味や輝度を実環境の照明情報（周囲照明情報）とすることができる。あるいは、内蔵型でも外付型のカメラで、カメラを水平面に置いた状態で撮影した基準画像と、カメラの向きを変えて複数回に分けて撮影したタブレット端末の全周囲を画像とを組み合わせて（繋ぎ合わせて）、全周囲画像を生成し、生成された全周囲画像の色味や輝度を実環境の照明情報（周囲照明情報）とすることができる。カメラが備えるイメージセンサのダイナミックレンジ（ラチチュード（latitude））がタブレット端末の周囲の実環境の輝度分布の輝度レンジより狭い場合は、露光量を多段に変えて撮影した後に合成する写真技法（ハイダイナミックレンジ合成（high dynamic range imaging：HDR）を用いてもよい。

例えば、タブレット端末の内蔵カメラ（またはタブレット端末との相対的位置関係が既知である外付けカメラ）で撮影される画像から、当該タブレット端末の操作者（観者）の顔（目）の位置を特定することで、タブレット端末の表示面と観者の相対的位置関係を特定することができる。撮影と観者の顔（目）の位置の特定を短い時間間隔で繰り返すことで、タブレット端末の表示面と観者の相対的位置関係をリアルタイムで特定することができる。

通信デバイスは、外部機器との接続用のバス（例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ））インタフェース、有線通信用のネットワークインターフェースカード（ＮＩＣ）及び無線通信用の無線デバイスの１以上とすることができる。通信デバイスは、通信部１１４を構成する。タブレット端末１００は、通信部１１４を介して外部（他のコンピュータ又はサーバ）から照明情報（仮想空間についてモデル化された照明情報（空間照明情報））及び素材情報を取得することもできる。外部から取得した照明情報は、周囲照明情報（実空間の照明情報）の代替として用いることができる。タブレット端末１００は、通信部１１４を介して外部（他のコンピュータ又はサーバ）から取得した素材情報を、変換部１２０による変換で取得した素材情報の代替として用いることもできる。

変換部１２０は、入力部１１２、通信部１１４または予めメモリに記憶された素材の絵柄（模様および／又は色彩）情報、エンボス版の凹凸柄の情報、反射の情報を、素材情報に変換する。

素材情報は、素材の質感に関する情報である。素材情報は、ピクセル（画素）毎の法線情報（形状特性：装材（床材、壁材、天井材）におけるピクセルの面の向きを示す情報であり、例えば、画素の法線ベクトル情報である）を含む。また、素材情報は、画素毎のＲＧＢ情報（色特性：素材の地やコート層など、素材を構成する各層の色を示す情報）を含む。また、素材情報は、画素毎の光沢情報（反射特性：素材の表面に設けるコート層など、素材を構成する表面の光沢を示す情報）を含む。反射特性である光沢情報は、例えば、双方向反射率分布関数（BRDF）、双方向散乱面反射率分布関数（BSSRDF）を用いて反射モデル化されたものを用いることができる。モデル化された光沢情報としては、例えば、光沢の強さの情報と光沢の鋭さの情報で構成されるものが挙げられる。このとき、光沢情報は、光沢の強さの情報と光沢の鋭さの情報に加え、光沢の方向性の情報をさらに含むことができる。光沢の方向性の情報により、異方性反射を有する素材の質感を表現することができる。なお、光沢の強さの情報は、各ピクセルのＲＧＢ毎の強さの情報としてもよい。周囲照明情報（または外部から取得した空間照明情報）及び素材情報に基づいて表示データが生成される。この結果、素材の色とあわせ、素材の質感（光沢感、ざらつき感、凹凸感）が画像表示される。

例えば、建築素材としての化粧材は、設計段階では、基材（合板や繊維板など）の表面に形成される絵柄（模様および／又は色彩）の印刷用の情報（画素ごとの色の情報）、表面をエンボス加工（凹凸加工）するエンボス版の画素ごとの深さ（高さ）の情報、および追加される光沢を増加または減少させる材料（シート、ニス等）の分布を画素ごとに示す反射の情報で規定される。

例えば、素材の絵柄（模様および／又は色彩）の情報は、印刷のための画素毎のＣＭＹＫ情報である。変換部１２０は、各画素について、ＣＭＹＫ情報を、画像表示のためのＲＧＢ情報（色特性）に変換する。また、変換部１２０は、各画素について、ＲＧＢ情報をＣＭＹＫ情報に逆変換することもできる。ＣＭＹＫ情報とＲＢＧ情報との間の変換は、ＩＣＣ（International Color Consortium）プロファイルを用いたプログラム処理により実装することできる。

例えば、エンボス版の凹凸の模様の情報は、各画素の凹凸の深さ（または高さ）を２５６階調で表す値と最大の深さ（または高さ）を示す値Ｄを含む情報である。例えば、エンボス版の凹凸の模様の情報は、図２（ａ）に示すようなグレー画像としてとして与えられる。図２（ｂ）、（ｃ）に示すように、変換部１２０は、注目画素の左右方向（ｘ軸方向）および上下方向（ｙ軸方向）のそれぞれについて、注目画素を挟んで隣接する２つの画素の深さの差（Δｚ＿ｘ及びΔｚ＿ｙ）を計算する。また、画像の解像度、または、画像の画素数とエンボス版の大きさの関係を用いて、注目画素を挟んで隣接する２つの画素間の左右方向（ｘ軸方向）及び上下方向（ｙ軸方向）の距離（Δｘ及びΔｙ）を計算し、注目画素における左右方向（ｘ軸方向）の傾きをΔｚ＿ｘとΔｘから、注目画素における上下方向（ｙ軸方向）の傾きをΔｚ＿ｙとΔｙから求める。さらに、変換部１２０は、注目画素における左右方向（ｘ軸方向）の傾きと上下方向（ｙ軸方向）の傾きから注目画素の法線ベクトル（形状特性）を計算する。このようにして、変換部１２０は、エンボス版の凹凸の模様の情報（各画素の深さ（または高さ）の情報と、最大の深さ（または高さ）を示す値Ｄ）を、形状特性（画素の法線ベクトル）に変換する。また、変換部１２０は、画素の法線ベクトル（形状特性）を隣接する位置の深さに逆変換することもできる。各画素の凹凸の深さ（または高さ）と法線ベクトルとの間の変換および逆変換は、既知の技法を含む任意の技法で実現することができる。（例えば、非特許文献１，２参照）

例えば、反射の情報は、光沢特性が全面一様な光沢分布である場合、一様分布関数（数式）と、パラメータである光沢の強さと光沢の鋭さの数値の最大値および最小値が指定される。例えば、最小値から最大値までの値は２５６階調とすることができる。変換部１２０は、数式とパラメータで指定された反射の情報を、数式（一様分布関数の確率）にしたがって、各画素についての光沢の強さと光沢の鋭さの値に変換することができる。一様分布関数にしたがうと、各画素の光沢の強さと光沢の鋭さの値の分布は、指定された最大値から最小値の間の値が同じ確率で生じる分布となる。最小値と最大値に同じ値を指定すると、光沢は全面で完全に一様となる。また、最小値と最大値に異なる値を指定すれば、製造上生じる面内のムラを反映することができる。数式は、一様分布関に限らず、例えば、正規分布関数と、パラメータである光沢の強さと光沢の鋭さの平均値と標準偏差とが指定されても良い。あるいは、反射の情報は、画素毎に光沢が異なる場合には、反射の情報は、画像として指定される。例えば、ＲＧＢ画像フォーマットを用い、光沢の強さおよび光沢の鋭さをそれぞれ２５６階調で表す情報（０は最小値、２５５は最大値）とし、ＲチャネルおよびＧチャネルに指定する（Ｂチャネルは使用されない）。または、反射の情報は、化粧材の表面の各画素に用いられる一種の表面コート材（ニス）または二種以上の表面コート材の混合割合として指定される。例えば、変換部１２０は、一種の表面コート材（ニス）または二種以上の表面コート材を種々の混合割合で混合した混合物と、光沢の強さと光沢の鋭さの値との関係を予め測定し格納したデータベースを参照して、指定された一種の表面コート材または二種以上の表面コート材の混合割合を、各画素についての光沢の強さと光沢の鋭さの値に変換することができる。さらに、変換部１２０は、データベースを参照して、各画素についての光沢の強さと光沢の鋭さの値を、一種の表面コート材または二種以上の表面コート材の混合割合に逆変換することができる。例えば、二種以上の表面コート材の混合割合は、光沢度の低いマットニスと光沢度の高いグロスニスの混合割合とすることができる。１つの表面コート材（ニス）または複数の表面コート材の混合物の光沢の強さおよび光沢の鋭さの値は、予め測定しデータベースに格納した値の代替として検量線または近似モデル式により求めた値を用いてもよい。データベースは、携帯型端末１００に備えられてもよく、通信部１１４を介してアクセス可能な他のコンピュータ又はサーバに備えられたデータベースであっても良い。

照明情報記憶部１０６は、周囲照明情報取得部１０８によって取得された周囲照明情報又は通信部１１４を介して外部から取得された空間照明情報を記憶する。

素材情報記憶部１１６は、変換部１２０により変換された素材情報、または通信部１１４を介して外部から取得された素材情報を記憶する。

タブレット端末１００は、観者とのインタラクションのためのユーザ・インタフェース（ＵＩ）を提供するＵＩ提供部（不図示）を備える。観者は、ＵＩを介して、表示させたい素材を選択することができる。すなわち、タブレット端末１００は、ＵＩを介して観者からの素材の選択を受信し、当該素材をディスプレイに表示することができる。ＵＩは、観者が表示させたい素材を選択することができる、階層形式のカテゴリ別メニュー（素材カテゴリ）を含んでもよい。例えば、素材を壁材、床材及び天井材のようなカテゴリ別に分類し、観者がカテゴリの階層にしたがって素材を選択できるようにしてよい。サブカテゴリでは複数の素材のサムネールを提示して、観者が表示させたい素材を選択させてもよい。また、観者は、ＵＩを介して、表示させた素材の一部または全部を選択して、素材情報（色特性、形状特性、反射特性）を編集すること（素材情報（色特性、形状特性、反射特性）の変更を指示すること）ができる。

編集部１２２は、ＵＩを介して観者からの指示を受け取り、素材情報（色特性、形状特性、反射特性）を変更する。例えば、編集部１２２は、観者からの指示にしたがって、選択された絵柄（模様および／又は色彩）の一部または全部の画素について色（ＲＧＢの値）を変えること、回転すること、拡大または縮小すること、および／または平行移動することができる。また、編集部１２２は、観者からの指示にしたがって、観者により光沢の分布から選択された一部または全部の画素についての光沢の強さおよび光沢の鋭さを変更すること、位置を回転すること、範囲を拡大または縮小すること、および／または平行移動することができる。また、編集部１２２は、観者からの指示にしたがって、選択された一部または全部の画素について、グレー画像における対応する画素の階調値又は最大の深さを表す値Ｄ若しくは対応する画素の形状特性（画素の法線ベクトル）を操作することで、エンボス版の凹凸の深さ（または高さ）を変更すること、深さの最大値Ｄを変更すること、凹凸の模様を回転すること、凹凸の模様を拡大または縮小すること、および／または凹凸の模様を平行移動することができる。編集部１２２が、選択された一部または全部の画素について、グレー画像における対応する画素の階調値又は最大の深さを表す値Ｄを直接操作する場合には、変換部１２０は、編集部１２２により操作されたグレー画像の各画素の凹凸の深さ（または高さ）を階調で表す値と最大の深さ（または高さ）を示す値Ｄを、形状特性（画素の法線ベクトル）に変換する。

編集結果記憶部１２３は、編集部１２２により変更された素材情報（色特性、形状特性、反射特性）を記憶する。素材情報（色特性、形状特性、反射特性）のうちの変更された特性のみが記憶されてもよい。編集結果記憶部１２３に記憶された素材情報（色特性、形状特性、反射特性）の少なくとも一部は、素材の製造のため製造情報として外部へ出力されても良い。例えば、携帯型端末１００は、編集結果記憶部１２３に記憶された素材情報の形状特性（画素の法線ベクトル）を、グレー画像の各画素の凹凸の深さ（または高さ）を階調で表す値と最大の深さ（または高さ）を示す値Ｄへ、変換部１２０で逆変換した後に、通信部１１４を介して外部へ送信するように構成されてもよい。

図３は、周囲照明情報取得部１０８によって周囲照明情報が取得される空間を示す。図６において、ｘ軸及びｙ軸は水平面内で互いに直交する軸であり、ｚ軸は水平面内に直交する軸である。図３の空間には、２つの電灯２０２及び２０４と太陽２０６を含む合計３つの光源が示されている。ｘ軸、ｙ軸及びｚ軸の交点を周囲照明情報取得部１０８の位置として、２つの電灯２０２及び２０４並びに太陽２０６の３つの光源からの光を観測し、光源毎に観測される光の方位、色成分及び強度（輝度）を、空間における周囲照明情報として取得する。光源の数は、３つに限定されない。光源は、発光体に限定されず、周囲照明情報取得部１０８に向けて光を反射する反射体でもよい。空間内で観測される全ての光源の周囲照明情報（光の方位、色成分及び強度）を取得してもよい。取得された周囲照明情報は、照明情報記憶部１０６に記憶される。

周囲照明情報代替として、通信部１１４を介して外部から空間照明情報を取得することができる。空間照明情報及び周囲照明情報を単に照明情報という。空間照明情報は、南向きの窓（太陽光が差し込む窓）があり４灯のダウンライトがある部屋や、窓の無く電灯が１つの寝室など、モデル化された空間における照明の情報（予め外部の仮想空間画像処理装置又はサーバなどに格納されている照明の情報）とすることができる。モデル化された空間は、販売中／建設予定の建築物件のモデルルームの間取り内の１つ又は複数の空間とすることができる。

図４は、図３に示した空間にタブレット端末１００を配置した状態を示す。図４には、タブレット端末１００によって表示される画像の観者の目２０８も示されている。タブレット端末１００は、ディスプレイ面を上向きにして、ディスプレイ面がｘｙ面に平行と成るように、ｘ軸、ｙ軸及びｚ軸の交点に配置されている。目２０８の方位は、観者検出部１１８によって検出されるディスプレイ面の法線に対する方位でもよく、ディスプレイ面の法線に予め決められた方位と（観者検出部１１８によって検出しない）してもよい。

図４に示す状態で、レンダリング部１０４は、素材の面がディスプレイ面に重ねられているかのように素材の表示データを生成する。生成された表示データがディスプレイデバイスに表示されると、タブレット端末１００を持っている観者は、あたかも素材を自身の手で持っているかのように、素材の質感を観察することができることができる。

レンダリング部１０４は、素材情報記憶部１１６からレンダリングする素材の素材情報（ピクセル毎の法線情報（形状特性）、ＲＧＢ情報（色特性）、光沢の強さの情報及び光沢の鋭さの情報）を読み出し、照明情報記憶部１０６から照明情報（１つまたは複数の光源からの光の方位、色成分及び強度（輝度））を読み出し、各画素における観者の方位に反射する色成分及び強度（輝度）を計算して表示データを生成する。生成された表示データが用いられ、表示部に画像が表示される。図７に示す状態では、素材の表面に３つの光源（２つの電灯２０２及び２０４並びに太陽２０６）から入射し、目２０８の方位に反射する光の色成分及び強度（輝度））が計算される。

図５に示す状態では、タブレット端末１００のディスプレイ面は水平面（ｘｙ面）から傾斜している。この傾斜は、電灯２０２の光がディスプレイ面に入射しない程度の傾きである。傾き検出部１１０がこの傾斜を検出し、レンダリング部１０４は、表示データの生成の際に考慮する。すなわち、レンダリング部１０４は、素材の表面に２つの光源（１つの電灯２０４及び太陽２０６）から入射し、目２０８の方位に反射する光の色成分及び強度（輝度））を計算し表示データを生成する。

さらに、図６に示す状態では、タブレット端末１００のディスプレイ面はｚ軸に平行に配置されている。この配置は、２つの電灯２０２及び２０４の光がディスプレイ面に入射しない配置である。傾き検出部１１０がこのときのタブレット端末１００の傾斜を検出し、レンダリング部１０４は、表示データの生成の際に考慮する。すなわち、レンダリング部１０４は、素材の表面に１つの光源（太陽２０６）のみから入射し、目２０８の方位に反射する光の色成分及び強度（輝度））を計算し表示データを生成する。

図４から６を参照して説明したように、レンダリング部１０４によって生成された表示データは、タブレット端末１００の傾き（ディスプレイ面の方位）および目の位置（方位）が反映されている。したがって、タブレット端末１００を持っている観者は、タブレット端末１００を傾けたり、目の位置（方位）を変えたりすることで、素材の実物を観察している時と同様に、素材の質感を観察することができることができる。

レンダリング部１０４は、ズーム機能を実装することもできる。上述したように、レンダリング部１０４は、素材の面がディスプレイ面に重ねられているかのように素材の表示データを生成する。ディスプレイ面と、タブレット端末１００を保持する観者との間の距離は、略観者の腕の長さとなり、大きく変化しない。したがって、ユーザ・インタフェース（ＵＩ）を介して受信する観者からのズーム・インの指示に応答して、素材がディスプレイ面と観者との間に置かれているかのように素材の表示データを生成する、あるいは、ＵＩを介して受信するズーム・アウトの指示に応答して、ディスプレイ面が素材と観者との間に置かれている（素材がディスプレイ面の裏側に置かれている）かのように素材の表示データを生成する、ズーム機能をレンダリング部１０４に実装することは有用である。例えば、観者は、ディスプレイ面が水平面に垂直となるようにタブレット端末を保持し、壁材の素材をさせる際に、ズーム・アウト機能を使用して、２〜３ｍは離れた位置の壁を想定して、素材の質感を観察することが可能になる。

以上説明したように、レンダリング部１０４は、素材の質感に関する素材情報（色特性、反射特性および形状特性）と、照明情報と、ブレット端末１００のディスプレイ面及び観者の相対的位置関係に基づいて、建設素材の表示データをレンダリングすることができる。また、レンダリング部１０４は、建設素材の質感に関する素材情報の内の形状特性と、照明情報と、ブレット端末１００のディスプレイ面及び観者の相対的位置関係に基づいて、建設素材に形成される凹凸の模様の表示データをレンダリングすることができる。凹凸の模様の表示データは予め定められた色の輝度の分布とすることができる。

図７は、建築素材凹凸模様画像処理システムの処理のフローチャートであり、上述した携帯型端末１００によって実行される処理フローの一例である。図７の処理フローは、携帯型端末１００が、観察環境の変化や建築素材の向きの変化に応じた凹凸の模様の表示データをレンダリングして、凹凸の模様の画像を表示するフローを例示する。

ステップＳ６０１で、携帯型端末１００（変換部１２０）は、エンボス版の凹凸の模様の画素毎の深さまたは高さの情報を、各画素の形状特性に変換する。たとえば、形状特性は凹凸の模様の各画素の法線ベクトル情報である。入力部１１２、通信部１１４を介して入力された（または入力され素材情報記憶部１１６に記憶された）エンボス版の凹凸の模様の深さまたは高さの情報が、形状特性に変換される。変換された形状特性は、素材情報記憶部１１６に記憶される。

ステップＳ６０３で、携帯型端末１００（レンダリング部１０４）は、周囲照明情報を取得する。当該携帯型端末が配置された実環境において周囲照明情報取得部１０８によって取得された照明情報、又は周囲照明情報記憶部１０６に格納された照明情報が取得される。代替として、通信部１１４を介して取得されたモデル化された空間における外部照明情報、又は通信部１１４を介して取得され周囲照明情報記憶部１０６に格納された外部照明情報が取得される。

ステップＳ６０５で、携帯型端末１００（レンダリング部１０４）は、照明、ディスプレイ面及び観者の相対的位置関係を特定する。携帯型端末１００（レンダリング部１０４）は、照明、ディスプレイ面及び観者の相対的位置関係を、照明情報に含まれる光の方位と、ディスプレイ面の方位及び観者の目の方位の少なくとも１つとを用いて計算することにより、特定することができる。携帯型端末の傾き及び観者の目の方位は、傾き検出部１１０及び観者検出部１１８によってそれぞれ検出され、レンダリング部１０４がアクセスできるようにメモリなどに保持されている。

ステップＳ６０７で、携帯型端末１００（レンダリング部１０４）は、取得した照明情報と、計算した相対的位置関係と、形状特性（各画素の向きの情報）とに基づいて、凹凸の模様の表示データをレンダリングする。

ステップＳ６０９で、表示部１０２は、表示データを用いて凹凸の模様の画像を表示（再表示）する。

ステップＳ６１１で、表示部１０２に画像表示された凹凸の模様の編集が指示されたか否かを判定する。

凹凸の模様の編集が指示された場合、ステップＳ６１３で、指示にしたがって、形状特性（画素の向きの情報）を変更する。変更した形状特性（画素の向きの情報）は編集結果記憶部１２３に記憶される。

ステップ６１１で凹凸の模様の編集が指示されない場合、またはステップＳ６１３の後に、ステップＳ６１５で、プログラムの終了が指示されたかどうかを判定する。プログラムの終了が指示されている場合は、処理のフローを終了する。プログラムの終了が指示されていない場合は、ステップＳ６０３へ戻る。ステップＳ６１３で形状特性が変更された場合には、ステップ６０７において、変更した形状特性に基づいて凹凸の模様の表示データをレンダリングする。これにより、編集した凹凸の模様の質感を確認することができる。

なお、プログラムの終了が指示されていない場合に、ステップＳ６１５からＳ６０５へ戻ってもよい。ステップＳ６０３で、仮想空間についてモデル化された照明情報（空間照明情報）を取得した場合には、再取得する必要はない。

携帯型端末１００は、編集結果記憶部１２３に記憶された素材情報（色特性、形状特性、反射特性）の少なくとも一部を出力するように構成されてもよい。例えば、携帯型端末１００は、編集結果記憶部１２３に記憶された素材情報の形状特性を、変換部１２０により逆変換した後に、通信部１１４を介して外部へ送信するように構成されてもよい。また、図７を参照して説明した処理フローは、編集結果記憶部１２３に記憶された素材情報の形状特性を、変換部１２０により逆変換した後に、通信部１１４を介して外部へ送信するステップを含んでもよい。

以上、説明したように、本発明によれば、観察環境の変化や素材の向きの変化に応じた凹凸の模様の画像を表示し、質感や見えの疑似体験を可能にする建築素材凹凸模様画像処理システム、方法、及びプログラムを提供できる。

１００ 携帯型端末
１０２ 表示部（感圧式ディスプレイ）
１０４ レンダリング部（表示データ生成部）
１０６ 照明情報記憶部
１０８ 周囲照明情報取得部（測光デバイス、照度センサ、カメラ）
１１０ 傾き検出部（ジャイロセンサ、加速度センサ、磁気センサ）
１１２ 入力部（キーボード、キーパッド、マウス、ポインティングデバイス、マイク）
１１４ 通信部（ネットワークＩＦカード（ＮＩＣ）、無線デバイス）
１１６ 素材情報記憶部
１１８ 観者検出部（赤外線センサ、カメラ）
１２０ 変換部
１２２ 編集部
１２３ 編集結果記憶部
２０２，２０４ 電灯
２０６ 太陽
２０８ 目

Claims (17)

1. 建設素材の凹凸の模様の画像を処理する建築素材凹凸模様画像処理システムであって、
   前記凹凸の模様の画像を表示する表示手段と、
   各画素について、隣接する２つの画素の深さまたは高さの差および距離から傾き求めることで、前記建設素材の前記凹凸の模様の画素毎の深さまたは高さの情報を、各画素の向きの情報に変換するように構成された変換手段と、
   照明情報、前記各画素の向きの情報、並びに照明、前記表示手段の表示面及び観者の相対的位置関係に基づいて、前記凹凸の模様の表示データをレンダリングするように構成されレンダリング手段であり、前記表示データを用いて前記表示手段により前記凹凸の模様の画像が表示される、前記レンダリング手段と
   を備えた、建築素材凹凸模様画像処理システム。
2. 前記各画素の向きの情報を編集するように構成された編集手段をさらに備えた、請求項１に記載の建築素材凹凸模様画像処理システム。
3. 前記凹凸の模様の画素毎の深さまたは高さの情報を編集するように構成された編集手段をさらに備えた、請求項１に記載の建築素材凹凸模様画像処理システム。
4. 前記編集手段により編集された前記各画素の向きの情報または前記凹凸の模様の画素毎の深さまたは高さの情報を記憶するように構成された編集結果記憶手段をさらに備えた、請求項２または３のいずれかに記載の建築素材凹凸模様画像処理システム。
5. 前記変換手段は、前記編集手段により編集された前記各画素の向きの情報を、凹凸の模様の画素毎の深さまたは高さの情報に変換するようにさらに構成され、前記各画素の向きの情報から変換された前記凹凸の模様の画素毎の深さまたは高さの情報は外部に出力される、請求項２に記載の建築素材凹凸模様画像処理システム。
6. 前記表示手段の表示面の方位を検出するように構成された傾き検出手段をさらに備え、
   前記レンダリング手段は、照明情報、前記各画素の向きの情報及び前記表示手段の表示面の方位に基づいて、前記凹凸の模様の表示データをレンダリングするように構成されている、請求項１乃至５のいずれかに記載の建築素材凹凸模様画像処理システム。
7. 前記表示手段の周囲照明情報を取得するように構成された周囲照明情報取得手段をさらに備え、前記凹凸の模様の表示データがレンダリングされる際に用いられる前記照明情報は、前記周囲照明情報取得手段により取得された前記周囲照明情報である、請求項１乃至６のいずれかに記載の建築素材凹凸模様画像処理システム。
8. 前記凹凸の模様の画像の観者の方位を検出するように構成された観者検出手段をさらに備え、
   前記レンダリング手段は、前記照明情報、前記各画素の向きの情報、前記表示手段の表示面の方位及び前記凹凸の模様の画像の観者の方位に基づいて、前記凹凸の模様の表示データをレンダリングするように構成されている、請求項１乃至７のいずれかに記載の建築素材凹凸模様画像処理システム。
9. 建設素材の凹凸の模様の画像を表示するように構成された表示手段と、変換手段と、レンダリング手段とを備えた建築素材凹凸模様画像処理システムにおける建築素材凹凸模様画像処理方法であって、
   前記変換手段が、各画素について、隣接する２つの画素の深さまたは高さの差および距離から傾き求めることで、前記建設素材の前記凹凸の模様の画素毎の深さまたは高さの情報を、各画素の向きの情報に変換することと、
   前記レンダリング手段が、照明情報、前記各画素の向きの情報、並びに照明、前記表示手段の表示面及び観者の相対的位置関係に基づいて、前記凹凸の模様の表示データをレンダリングすることと、
   前記表示手段が、前記表示データを用いて前記凹凸の模様の画像を表示することと
   を含む、建築素材凹凸模様画像処理方法。
10. 前記建築素材凹凸模様画像処理システムは、編集手段をさらに備え、前記建築素材凹凸模様画像処理方法は、
    前記編集手段が、前記各画素の向きの情報を編集することをさらに含む、請求項９に記載の建築素材凹凸模様画像処理方法。
11. 前記建築素材凹凸模様画像処理システムは、編集手段をさらに備え、前記建築素材凹凸模様画像処理方法は、
    前記編集手段が、前記凹凸の模様の画素毎の深さまたは高さの情報を編集することをさらに含む、請求項９に記載の建築素材凹凸模様画像処理方法。
12. 前記建築素材凹凸模様画像処理システムは、編集結果記憶手段をさらに備え、前記建築素材凹凸模様画像処理方法は、
    前記編集結果記憶手段に、前記編集手段により編集された前記各画素の向きの情報または前記凹凸の模様の画素毎の深さまたは高さの情報を記憶することをさらに含む、請求項１０または１１に記載の建築素材凹凸模様画像処理方法。
13. 前記変換手段が、前記編集手段により編集された前記各画素の向きの情報を、凹凸の模様の画素毎の深さまたは高さの情報に変換することと、
    前記各画素の向きの情報から変換された前記凹凸の模様の画素毎の深さまたは高さの情報を外部に出力することと
    をさらに含む、請求項１１に記載の建築素材凹凸模様画像処理方法。
14. 前記建築素材凹凸模様画像処理システムは、検出手段をさらに備え、前記建築素材凹凸模様画像処理方法は、
    前記検出手段が、前記表示手段の表示面の方位を検出することと、
    前記凹凸の模様の表示データをレンダリングすることは、前記レンダリング手段が、照明情報、前記各画素の向きの情報及び前記表示手段の表示面の方位に基づいて、前記凹凸の模様の表示データをレンダリングすることを含む、請求項９乃至１３のいずれかに記載の建築素材凹凸模様画像処理方法。
15. 前記建築素材凹凸模様画像処理システムは、周囲照明情報取得手段をさらに備え、前記建築素材凹凸模様画像処理方法は、
    前記周囲照明情報取得手段が、前記表示手段の周囲照明情報を取得することをさらに含み、
    前記凹凸の模様の表示データをレンダリングする際に用いられる前記照明情報は、前記周囲照明情報取得手段により取得された前記周囲照明情報である、請求項９乃至１４のいずれかに記載の建築素材凹凸模様画像処理方法。
16. 前記建築素材凹凸模様画像処理システムは、前記凹凸の模様の画像の観者の方位を検出する観者検出手段をさらに備え、
    前記凹凸の模様の表示データをレンダリングすることは、前記レンダリング手段が、前記照明情報、前記各画素の向きの情報、前記表示手段の表示面の方位及び前記凹凸の模様の画像の観者の方位に基づいて、前記凹凸の模様の表示データをレンダリングすることを含む、請求項９乃至１５のいずれかに記載の建築素材凹凸模様画像処理方法。
17. コンピュータシステムに、請求項９乃至１６のいずれかに記載の建築素材凹凸模様画像処理方法を実行させるプログラム。